Integración de HDFS DataNode
Rastrea la utilización del disco y los volúmenes fallidos en cada uno de tus HDFS DataNodes. Este check del Agent recopila métricas para estos, así como relacionados con bloques y métricas relacionadas con caché.
Utiliza este check (hdfs_datanode) y su check similar (hdfs_namenode), no el antiguo check dos en uno (HDFS); ese check está obsoleto.
Configuración
Sigue las instrucciones siguientes para instalar y configurar este check para un Agent que se ejecuta en un host. Para entornos de contenedores, consulta las Plantillas de integraciones de Autodiscovery para obtener orientación sobre la aplicación de estas instrucciones.
Instalación
El check de HDFS DataNode está incluido en el paquete del Datadog Agent, por lo que no necesitas instalar nada más en tus DataNodes.
Configuración
Conecta con el Agent
Host
Para Configurar este check para un Agent que se ejecuta en un host:
Edita el archivo hdfs_datanode.d/conf.yaml, en la carpeta conf.d/ en la raíz de tu directorio de configuración del Agent’. Consulta el ejemplo de hdfs_datanode.d/conf.yaml para ver todas las opciones disponibles de configuración:
init_config:
instances:
## @param hdfs_datanode_jmx_uri - string - required
## The HDFS DataNode check retrieves metrics from the HDFS DataNode's JMX
## interface via HTTP(S) (not a JMX remote connection). This check must be installed on a HDFS DataNode. The HDFS
## DataNode JMX URI is composed of the DataNode's hostname and port.
##
## The hostname and port can be found in the hdfs-site.xml conf file under
## the property dfs.datanode.http.address
## https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
#
- hdfs_datanode_jmx_uri: http://localhost:9864
Reinicia el Agent.
Contenedores
Para los entornos de contenedores, consulta las plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de los parámetros que se indican a continuación.
| Parámetro | Valor |
|---|
<INTEGRATION_NAME> | hdfs_datanode |
<INIT_CONFIG> | en blanco o {} |
<INSTANCE_CONFIG> | {"hdfs_datanode_jmx_uri": "http://%%host%%:9864"} |
Recopilación de logs
Disponible para el Agent >6.0
La recopilación de logs está desactivada en forma predeterminada en el Datadog Agent. Actívalo en el archivo datadog.yaml con:
Añade este bloque de configuración a tu archivo hdfs_datanode.d/conf.yaml para empezar a recopilar tus logs de DataNode:
logs:
- type: file
path: /var/log/hadoop-hdfs/*.log
source: hdfs_datanode
service: <SERVICE_NAME>
Cambia los valores de los parámetros path y service y configúralos para tu entorno.
Reinicia el Agent.
Validación
Ejecuta el subcomando de estado del Agent y busca hdfs_datanode en la sección de checks.
Datos recopilados
Métricas
Eventos
El check de HDFS-datanode no incluye ningún evento.
Check de servicio
Solucionar problemas
¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.
Referencias adicionales
Integración de HDFS NameNode
Dashboard de HDFS
Monitoriza tus NameNodes de HDFS primarios y de reserva para saber cuándo tu clúster entra en un estado precario: cuando sólo te queda un NameNode o cuando es el momento de añadir más capacidad al clúster. Este check del Agent recopila métricas para la capacidad restante, bloques corruptos/faltantes, DataNodes muertos, carga del sistema de archivos, bloques insuficientemente replicados, fallos de volumen totales (en todos los DataNodes) y muchos más.
Utiliza este check (hdfs_namenode) y su check similar (hdfs_datanode), no el antiguo check dos en uno (HDFS); ese check está obsoleto.
Configuración
Sigue las instrucciones siguientes para instalar y configurar este check para un Agent que se ejecuta en un host. Para entornos de contenedores, consulta las plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de estas instrucciones.
Instalación
El check de HDFS NameNode está incluido en el paquete del Datadog Agent, por lo que no necesitas instalar nada más en tus NameNodes.
Configuración
Conecta con el Agent
Host
Para configurar este check para un Agent que se ejecuta en un host:
Edita el archivo hdfs_namenode.d/conf.yaml en la carpeta conf.d/ en la raíz de tu directorio de configuración del Agent’. Consulta el ejemplo de hdfs_namenode.d/conf.yaml para todas las opciones disponibles de configuración:
init_config:
instances:
## @param hdfs_namenode_jmx_uri - string - required
## The HDFS NameNode check retrieves metrics from the HDFS NameNode's JMX
## interface via HTTP(S) (not a JMX remote connection). This check must be installed on
## a HDFS NameNode. The HDFS NameNode JMX URI is composed of the NameNode's hostname and port.
##
## The hostname and port can be found in the hdfs-site.xml conf file under
## the property dfs.namenode.http-address
## https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
#
- hdfs_namenode_jmx_uri: http://localhost:9870
Reinicia el Agent.
Contenedores
Para entornos de contenedores, consulta las plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de los parámetros que se indican a continuación.
| Parámetro | Valor |
|---|
<INTEGRATION_NAME> | hdfs_namenode |
<INIT_CONFIG> | en blanco o {} |
<INSTANCE_CONFIG> | {"hdfs_namenode_jmx_uri": "https://%%host%%:9870"} |
Recopilación de logs
Disponible para el Agent >6.0
La recopilación de logs está desactivada en forma predeterminada en el Datadog Agent. Actívala en el archivo datadog.yaml con:
Añade este bloque de configuración a tu archivo hdfs_namenode.d/conf.yaml para empezar a recopilar tus logs de NameNode:
logs:
- type: file
path: /var/log/hadoop-hdfs/*.log
source: hdfs_namenode
service: <SERVICE_NAME>
Cambia los valores de los parámetros path y service y configúralos para tu entorno.
Reinicia el Agent.
Validación
Ejecuta el subcomando de estado del Agent y busca hdfs_namenode en la sección Checks.
Datos recogidos
Métricas
Eventos
El check de HDFS-namenode no incluye ningún evento.
Checks de servicio
Solucionar problemas
¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.
Referencias adicionales
