Hudi

Supported OS Linux Mac OS Windows

Intégration2.1.1

Présentation

Ce check permet de surveiller Hudi. Il est compatible avec les versions 0.10.0 et ultérieures d’Hudi.

Configuration

Installation

Le check Hudi est inclus avec le package de l’Agent Datadog. Vous n’avez donc rien d’autre à installer sur votre serveur.

Procédure à suivre

Configurez l’outil de transmission de métriques JMX dans Hudi :

hoodie.metrics.on=true
hoodie.metrics.reporter.type=JMX
hoodie.metrics.jmx.host=<JMX_HOST>
hoodie.metrics.jmx.port=<JMX_PORT>

Modifiez le fichier hudi.d/conf.yaml dans le dossier conf.d/ à la racine du répertoire de configuration de votre Agent pour commencer à recueillir vos données de performance Hudi. Consultez le fichier d’exemple hudi.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
Ce check prévoit une limite de 350 métriques par instance. Exécutez la commande status de l’Agent Datadog pour vérifier le nombre de métriques actuellement renvoyées. Choisissez les métriques qui vous intéressent en modifiant la configuration. Pour découvrir comment modifier la liste des métriques à recueillir, consultez la documentation relative aux checks JMX afin d’obtenir des instructions détaillées. Si vous devez surveiller davantage de métriques, contactez l’assistance Datadog.
Redémarrez l’Agent.

Validation

Lancez la sous-commande status de l’Agent et cherchez hudi dans la section Checks.

Données collectées

Métriques

Collecte de logs

Disponible à partir des versions > 6.0 de l’Agent

Hudi utilise le logger log4j par défaut. Pour personnaliser le format des logs, modifiez le fichier log4j.properties dans votre répertoire conf Flink ou Spark. Voici un exemple de fichier log4j.properties :

 log4j.rootCategory=INFO, file
 log4j.appender.file=org.apache.log4j.FileAppender
 log4j.appender.file.File=/var/log/hudi.log
 log4j.appender.file.append=false
 log4j.appender.file.layout=org.apache.log4j.PatternLayout
 log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

Par défaut, le pipeline d’intégration de Datadog prend en charge l’expression de conversion suivante :
```
%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
```
2020-02-03 18:43:12,251 est un exemple d’horodatage valide.
Dupliquez et modifiez le pipeline d’intégration si vous utilisez un autre format.
La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml :
```
logs_enabled: true
```
Supprimez la mise en commentaire du bloc de configuration des logs du fichier hudi.d/conf.yaml et modifiez les paramètres. Modifiez les valeurs des paramètres path et service en fonction de votre environnement. Consultez le fichier d’exemple hudi.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
```
logs:
  - type: file
    path: /var/log/hudi.log
    source: hudi
    log_processing_rules:
      - type: multi_line
        pattern: \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])
        name: new_log_start_with_date
```