Flink

Supported OS Windows Mac OS

통합 버전3.0.0

개요

이 점검은 Flink를 모니터링합니다. Datadog은 Datadog’s HTTP API를 사용하는 Flink의 Datadog HTTP Reporter를 통해 Flink 메트릭을 수집합니다.

설정

설치

Flink 점검은 Datadog Agent 패키지에 포함되어 있습니다. 따라서 서버에 추가 설치가 필요하지 않습니다.

구성

메트릭 수집

  1. Flink에서 Datadog HTTP Reporter를 구성합니다.

    <FLINK_HOME>/conf/flink-conf.yaml에서 다음 줄을 추가하여 <DATADOG_API_KEY>를 Datadog API 키로 변경합니다.

    metrics.reporter.dghttp.factory.class: org.apache.flink.metrics.datadog.DatadogHttpReporterFactory
metrics.reporter.dghttp.apikey: <DATADOG_API_KEY>
metrics.reporter.dghttp.dataCenter: US #(optional) The data center (EU/US) to connect to, defaults to US.

  2. <FLINK_HOME>/conf/flink-conf.yaml에서 시스템 범위를 다시 매핑합니다.

    metrics.scope.jm: flink.jobmanager
metrics.scope.jm.job: flink.jobmanager.job
metrics.scope.tm: flink.taskmanager
metrics.scope.tm.job: flink.taskmanager.job
metrics.scope.task: flink.task
metrics.scope.operator: flink.operator

    참고: Flink 메트릭을 지원하려면 시스템 범위를 다시 매핑해야 합니다. 그렇지 않으면 커스텀 메트릭으로 제출됩니다.

  3. <FLINK_HOME>/conf/flink-conf.yaml에서 추가 태그를 구성합니다. 다음은 커스텀 태그의 예입니다.

    metrics.reporter.dghttp.scope.variables.additional: <KEY1>:<VALUE1>, <KEY1>:<VALUE2>

    참고: 기본적으로 메트릭 이름의 모든 변수는 태그로 전송되므로 job_id, task_id 등에 대한 커스텀 태그를 추가할 필요가 없습니다.

  4. Flink 메트릭을 Datadog으로 전송하려면 Flink를 다시 시작합니다.

로그 수집

Agent >6.0에서 사용 가능

  1. Flink는 기본적으로 log4j 로거를 사용합니다. 파일에 대한 로깅을 활성화하려면 Flink 배포 conf/ 디렉터리의 log4j*.properties 구성 파일을 편집하여 형식을 사용자 정의합니다. 설정과 관련된 구성 파일에 대한 정보는 Flink 로깅 문서를, 기본 구성은 Flink 리포지토리를 참조하세요.

  2. 기본적으로 통합 파이프라인은 다음 레이아웃 패턴을 지원합니다.

    %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    유효한 타임스탬프의 예는 2020-02-03 18:43:12,251입니다.

    형식이 다른 경우 통합 파이프라인을 복제하고 편집합니다.

  3. Datadog 에이전트에서 로그 수집은 기본적으로 사용하지 않도록 설정되어 있습니다. datadog.yaml파일에서 로그 수집을 사용하도록 설정합니다.

    logs_enabled: true

  4. flink.d/conf.yaml 파일에서 로그 구성 블록의 주석 처리를 제거하고 편집합니다. 환경에 따라 path 및 service 파라미터 값을 변경합니다. 사용 가능한 모든 구성 옵션은 샘플 flink.d/conf.yaml을 참조하세요.

    logs:
  - type: file
    path: /var/log/flink/server.log
    source: flink
    service: myapp
    #To handle multi line that starts with yyyy-mm-dd use the following pattern
    #log_processing_rules:
    #  - type: multi_line
    #    pattern: \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])
    #    name: new_log_start_with_date

  5. 에이전트를 다시 시작합니다.

검증

Agent의 상태 하위 명령을 실행하고 Checks 섹션에서 flink를 찾습니다.

수집한 데이터

메트릭

서비스 점검

Flink는 서비스 점검을 포함하지 않습니다.

이벤트

Flink는 이벤트를 포함하지 않습니다.

트러블슈팅

도움이 필요하세요? Datadog 지원팀에 문의하세요.

PREVIEWING: may/embedded-workflows