개요

로그스태시(Logstash)에서 실시간으로 메트릭을 받아 다음을 수행할 수 있습니다.

• 로그스태시(Logstash) 상태 시각화 및 모니터링
• 로그스태시(Logstash) 이벤트에 대한 알림을 받습니다.

설정

설치

로그스태시(Logstash) 점검이 Datadog 에이전트 패키지에 포함되어 있지 않습니다. 그러므로 패키지를 설치해야 합니다.

FROM gcr.io/datadoghq/agent:latest
RUN datadog-agent integration install -r -t datadog-logstash==<INTEGRATION_VERSION>

구성

메트릭 수집

로그 수집

Datadog에는 출력 플러그인이 있습니다. 로그스태시(Logstash)를 Datadog 플랫폼으로 전송하는 작업을 처리합니다.

이 플러그인을 설치하려면 다음 명령을 실행하세요.

• logstash-plugin install logstash-output-datadog_logs

그런 다음 Datadog API 키를 사용하여 datadog_logs 플러그인을 설정하다 합니다.

output {
    datadog_logs {
        api_key => "<DATADOG_API_KEY>"
    }
}

기본값으로 플러그인은 gzip 압축을 사용하여 HTTPS(포트 443)를 통해 로그를 전송하도록 설정됩니다. 다음 파라미터를 사용하여 해당 작업을 변경할 수 있습니다.

• use_http: TCP 전달을 사용하려면 false로 설정하고 host 및 port를 적절히 업데이트합니다(기본값은 true).
• use_compression: 압축은 HTTP에만 사용할 수 있습니다. false(기본값은 true)로 설정하여 비활성화합니다.
• compression_level: HTTP에서 압축 수준을 설정합니다. 범위는 1에서 9까지이며 9가 가장 좋은 비율입니다(기본값은 6).

추가로 파라미터를 사용하여 프록시을 통과하기 위해 사용하는 엔드포인트를 변경할 수 있습니다.

• host: 로그의 프록시 엔드포인트가 Datadog로 직접 전달되지 않습니다(기본값: http-intake.logs.datadoghq.com).
• port: 로그의 프록시 포트가 Datadog으로 직접 전달되지 않습니다(기본값: 80).
• ssl_port: 로그에 사용되는 포트는 보안 TCP/SSL 연결을 통해 Datadog으로 전달됩니다(기본값: 443).
• use_ssl: Datadog에 대한 보안 TCP/SSL 연결을 초기화하도록 에이전트에 지시합니다(기본값: true).
• no_ssl_validation: SSL 호스트 이름 유효성 검사를 비활성화합니다(기본값: false).

참고: host 및 port을 해당 지역 으로 설정합니다.

output {
   datadog_logs {
       api_key => "<DATADOG_API_KEY>"
       host => "http-intake.logs.datadoghq.eu"
   }
}

로그에 메타데이터 추가하기

Datadog에서 로그를 최대한 활용하려면 호스트명과 소스 등 로그와 관련된 적절한 메타데이터를 확보하는 것이 중요합니다. 기본적으로, Datadog 예약된 속성에 대한 기본 리매핑 덕분에 호스트 이름과 타임스탬프가 올바르게 리매핑되어야 합니다. 서비스가 올바르게 리매핑되었는지 확인하려면 서비스 리매핑 목록에 해당 속성 값을 추가하세요.

Source

필터를 설정하여 로그스태시(Logstash) 필터를 설정하여 로그에서 소스(Datadog 통합 이름)를 설정합니다.

filter {
  mutate {
    add_field => {
 "ddsource" => "<MY_SOURCE_VALUE>"
       }
    }
 }

이렇게 하면 Datadog에서 통합 자동 설정이 트리거됩니다.

커스텀 태그

호스트 태그는 인프라스트럭처 목록에 일치하는 호스트 네임이 있는 경우 로그에 자동으로 설정됩니다. ddtags 속성을 사용하여 커스텀 태그를 로그에 추가합니다.

filter {
  mutate {
    add_field => {
        "ddtags" => "env:test,<KEY:VALUE>"
       }
    }
 }

검증

[에이전트의 status 하위 명령]을 실행하고9 점검 섹션에서 logstash를 찾습니다.

호환성

로그스태시(Logstash) 점검 은 로그스태시(Logstash) 5.x, 6.x 및 7.x 버전과 함께 호환됩니다. 또한 로그스태시(Logstash) 6.0에 도입된 새로운 멀티파이프라인 메트릭을 지원합니다. 로그스태시(Logstash) 버전 5.6.15, 6.3.0 및 7.0.0에서 테스트되었습니다.

수집한 데이터

메트릭

이벤트

로그스태시(Logstash) 점검에는 이벤트가 포함되어 있지 않습니다.

서비스 점검

logstash.can_connect
Returns Critical if the Agent cannot connect to Logstash to collect metrics, returns OK otherwise.
Statuses: ok, critical

트러블슈팅

에이전트 연결 불가

    logstash
    -------
      - instance #0 [ERROR]: "('Connection aborted.', error(111, 'Connection refused'))"
      - Collected 0 metrics, 0 events & 1 service check

conf.yaml의 url가 올바른지 확인합니다.

추가 정보가 필요한 경우 Datadog 지원으로 문의하세요.