Información general

Este check monitoriza Flink. Datadog recopila métricas de Flink a través del Reportador HTTP de Datadog de Flink, que utiliza la API HTTP de Datadog.

Configuración

Instalación

El check de Flink está incluido en el paquete del Datadog Agent. No es necesaria ninguna instalación adicional en tu servidor.

Configuración

Recopilación de métricas

1. Configura el Reportador HTTP de Datadog en Flink.

   En tu <FLINK_HOME>/conf/flink-conf.yaml, añade estas líneas, sustituyendo <DATADOG_API_KEY> por tu clave de API Datadog:

   metrics.reporter.dghttp.factory.class: org.apache.flink.metrics.datadog.DatadogHttpReporterFactory
   metrics.reporter.dghttp.apikey: <DATADOG_API_KEY>
   metrics.reporter.dghttp.dataCenter: US #(optional) The data center (EU/US) to connect to, defaults to US.
   

2. Vuelve a asignar contextos de sistema en tu <FLINK_HOME>/conf/flink-conf.yaml.

   metrics.scope.jm: flink.jobmanager
   metrics.scope.jm.job: flink.jobmanager.job
   metrics.scope.tm: flink.taskmanager
   metrics.scope.tm.job: flink.taskmanager.job
   metrics.scope.task: flink.task
   metrics.scope.operator: flink.operator
   

   Nota: Los contextos de sistema deben ser reasignados para que tus métricas de Flink sean compatibles, de lo contrario se envían como métricas personalizadas.

3. Configura etiquetas (tags) adicionales en <FLINK_HOME>/conf/flink-conf.yaml. El siguiente es un ejemplo de etiquetas personalizadas:

   metrics.reporter.dghttp.scope.variables.additional: <KEY1>:<VALUE1>, <KEY1>:<VALUE2>
   

   Nota: Por defecto, cualquier variable en los nombres de las métrica se envía como etiqueta, por lo que no es necesario añadir etiquetas personalizadas para job_id, task_id, etc.

4. Reinicia Flink para empezar a enviar tus métricas de Flink a Datadog.

Recopilación de logs

Disponible para la versión 6.0 o posteriores del Agent

1. Flink utiliza el generador de logs log4j por defecto. Para habilitar la generación de logs en un archivo, personaliza el formato editando los archivos de configuración log4j*.properties en el directorio conf/ de la distribución de Flink. Consulta la documentación de generación de logs de Flink para obtener información sobre qué archivo de configuración es relevante para tu configuración. Consulta el repositorio de Flink para ver las configuraciones predeterminadas.

2. Por defecto, el pipeline de la integración admite el siguiente patrón de diseño:

   %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
   

   Un ejemplo de marca de tiempo válida es: 2020-02-03 18:43:12,251.

   Clona y edita el pipeline de la integración si tienes un formato diferente.

3. La recopilación de logs está desactivada por defecto en el Datadog Agent, actívala en tu archivo datadog.yaml:

   logs_enabled: true
   

4. Descomenta y edita el bloque de configuración de logs en tu archivo flink.d/conf.yaml. Cambia los valores de los parámetros path y service en función de tu entorno. Consulta el flink.d/conf.yaml de ejemplo para conocer todas las opciones de configuración disponibles.

   logs:
     - type: file
       path: /var/log/flink/server.log
       source: flink
       service: myapp
       #To handle multi line that starts with yyyy-mm-dd use the following pattern
       #log_processing_rules:
       #  - type: multi_line
       #    pattern: \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])
       #    name: new_log_start_with_date
   

5. Reinicia el Agent.

Validación

Ejecuta el subcomando de estado del Agent y busca flink en la sección Checks.

Datos recopilados

Métricas

Checks de servicio

Flink no incluye checks de servicio.

Eventos

Flink no incluye eventos.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.