Hudi

Supported OS Linux Mac OS Windows

Intégration2.1.1

Présentation

Ce check permet de surveiller Hudi. Il est compatible avec les versions 0.10.0 et ultérieures d’Hudi.

Configuration

Installation

Le check Hudi est inclus avec le package de l’Agent Datadog. Vous n’avez donc rien d’autre à installer sur votre serveur.

Procédure à suivre

Configurez l’outil de transmission de métriques JMX dans Hudi :

hoodie.metrics.on=true
hoodie.metrics.reporter.type=JMX
hoodie.metrics.jmx.host=<JMX_HOST>
hoodie.metrics.jmx.port=<JMX_PORT>

Modifiez le fichier hudi.d/conf.yaml dans le dossier conf.d/ à la racine du répertoire de configuration de votre Agent pour commencer à recueillir vos données de performance Hudi. Consultez le fichier d’exemple hudi.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
Ce check prévoit une limite de 350 métriques par instance. Exécutez la commande status de l’Agent Datadog pour vérifier le nombre de métriques actuellement renvoyées. Choisissez les métriques qui vous intéressent en modifiant la configuration. Pour découvrir comment modifier la liste des métriques à recueillir, consultez la documentation relative aux checks JMX afin d’obtenir des instructions détaillées. Si vous devez surveiller davantage de métriques, contactez l’assistance Datadog.
Redémarrez l’Agent.

Validation

Lancez la sous-commande status de l’Agent et cherchez hudi dans la section Checks.

Données collectées

Métriques

hudi.action.bytes_written (rate)	The total amount of bytes written in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as byte
hudi.action.commit_time (gauge)	The commit time of an action (commit, deltacommit, replacecommit, compaction, etc) Shown as millisecond
hudi.action.compacted_records_updated (rate)	The amount of compacted records updated in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as record
hudi.action.create_time (rate)	The creation time of an action (commit, deltacommit, replacecommit, compaction, etc) Shown as millisecond
hudi.action.duration (gauge)	The amount of time it took to successfully perform an action on a batch of records (commit, deltacommit, replacecommit, compaction, etc) Shown as millisecond
hudi.action.files_inserted (rate)	The amount of files inserted (commit, deltacommit, replacecommit, compaction, etc) Shown as file
hudi.action.files_updated (rate)	The amount of files updated (commit, deltacommit, replacecommit, compaction, etc) Shown as file
hudi.action.insert_records_written (rate)	The number of insert records written in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as record
hudi.action.log_files_compacted (rate)	The number of log files compacted in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as file
hudi.action.log_files_size (rate)	The size of all the log files in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as byte
hudi.action.partitions_written (rate)	The number of partitions written in an action (commit, deltacommit, replacecommit, compaction, etc)
hudi.action.records_written (rate)	The number of records written in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as record
hudi.action.scan_time (rate)	The total time spent scanned in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as millisecond
hudi.action.time.50th_percentile (gauge)	Measures 50th percentile of time to complete the action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.75th_percentile (gauge)	Measures 75th percentile of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.95th_percentile (gauge)	Measures 95th percentile of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.98th_percentile (gauge)	Measures 98th percentile of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.999th_percentile (gauge)	Measures 999th percentile of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.99th_percentile (gauge)	Measures 99th percentile of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.count (rate)	Measures count of times to complete an action (commit, deltacommit, replacecommit, compaction, etc)
hudi.action.time.max (gauge)	Measures maximum amount of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.mean (gauge)	Measures mean amount of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.min (gauge)	Measures minimum amount of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.time.std_dev (gauge)	Measures standard deviation of time to complete an action (commit, deltacommit, replacecommit, compaction, etc) Shown as nanosecond
hudi.action.update_records_written (rate)	The amount of update records written in an action (commit, deltacommit, replacecommit, compaction, etc) Shown as record
hudi.action.upsert_time (rate)	The upsert time of an action (commit, deltacommit, replacecommit, compaction, etc) Shown as millisecond
hudi.clean.duration (gauge)	The total time spent cleaning Shown as millisecond
hudi.clean.files_deleted (gauge)	The number of files deleted in cleans Shown as file
hudi.finalize.duration (gauge)	The total time spent finalizing Shown as millisecond
hudi.finalize.files_finalized (gauge)	The number of files finalized" Shown as file
hudi.index.command.duration (gauge)	The time spent performing an index command (UPSERT, INSERT_OVERWRITE, etc) Shown as millisecond
hudi.rollback.duration (gauge)	The total time spent in rollback Shown as millisecond
hudi.rollback.files_deleted (gauge)	The number of files deleted in rollback Shown as file

Collecte de logs

Disponible à partir des versions > 6.0 de l’Agent

Hudi utilise le logger log4j par défaut. Pour personnaliser le format des logs, modifiez le fichier log4j.properties dans votre répertoire conf Flink ou Spark. Voici un exemple de fichier log4j.properties :

 log4j.rootCategory=INFO, file
 log4j.appender.file=org.apache.log4j.FileAppender
 log4j.appender.file.File=/var/log/hudi.log
 log4j.appender.file.append=false
 log4j.appender.file.layout=org.apache.log4j.PatternLayout
 log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

Par défaut, le pipeline d’intégration de Datadog prend en charge l’expression de conversion suivante :
```
%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
```
2020-02-03 18:43:12,251 est un exemple d’horodatage valide.
Dupliquez et modifiez le pipeline d’intégration si vous utilisez un autre format.
La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml :
```
logs_enabled: true
```
Supprimez la mise en commentaire du bloc de configuration des logs du fichier hudi.d/conf.yaml et modifiez les paramètres. Modifiez les valeurs des paramètres path et service en fonction de votre environnement. Consultez le fichier d’exemple hudi.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
```
logs:
  - type: file
    path: /var/log/hudi.log
    source: hudi
    log_processing_rules:
      - type: multi_line
        pattern: \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])
        name: new_log_start_with_date
```

Événements

L’intégration Hudi n’inclut aucun événement.

Checks de service

hudi.can_connect
Returns CRITICAL if the Agent is unable to connect to and collect metrics from the monitored Hudi instance, WARNING if no metrics are collected, and OK otherwise.
Statuses: ok, critical, warning

Dépannage

Besoin d’aide ? Contactez l’assistance Datadog.