Présentation
Ce check surveille deux composants de Hive : Hive Metastore et HiveServer2.
Configuration
Installation
Le check Hive est inclus avec le package de l’Agent Datadog. Vous n’avez donc rien d’autre à installer sur votre serveur.
Configuration
Configuration de Hive
Modifiez le fichier de configuration de Hive dans HIVE_HOME/conf/hive-site.xml pour activer les métriques de Hive Metastore et de HiveServer2 en ajoutant les propriétés suivantes :
<property>
<name>hive.metastore.metrics.enabled</name>
<value>true</value>
</property>
<property>
<name>hive.server2.metrics.enabled</name>
<value>true</value>
</property>
Activez une connexion JMX à distance pour HiveServer2 et/ou Hive Metastore. Définissez par exemple la variable d’environnement HADOOP_CLIENT_OPTS :
export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Dcom.sun.management.jmxremote \
-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false \
-Dcom.sun.management.jmxremote.port=8808"
Redémarrez ensuite HiveServer2 ou Hive Metastore. Hive Metastore et HiveServer2 ne peuvent pas partager la même connexion JMX.
Host
Pour configurer ce check lorsque l’Agent est exécuté sur un host :
Suivez les instructions ci-dessous pour configurer ce check lorsque l’Agent est exécuté sur un host. Consultez la section Environnement conteneurisé pour la configuration dans un environnement conteneurisé.
Collecte de métriques
Modifiez le fichier hive.d/conf.yaml dans le dossier conf.d/ à la racine du répertoire de configuration de votre Agent pour commencer à recueillir vos données de performance Hive. Consultez le fichier d’exemple hive.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
Ce check prévoit une limite de 350 métriques par instance. Le nombre de métriques renvoyées est indiqué sur la page d’informations. Choisissez les métriques qui vous intéressent en modifiant la configuration ci-dessous.
Pour découvrir comment modifier la liste des métriques à recueillir, consultez la documentation relative aux checks JMX afin d’obtenir des instructions détaillées. Si vous souhaitez surveiller davantage de métriques, contactez l’assistance Datadog.
Redémarrez l’Agent.
Collecte de logs
Disponible à partir des versions > 6.0 de l’Agent
La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml :
Ajoutez ce bloc de configuration à votre fichier hive.d/conf.yaml pour commencer à recueillir vos logs Hive :
logs:
- type: file
path: /tmp/<USER>/hive.log
source: hive
service: '<SERVICE_NAME>'
log_processing_rules:
- type: multi_line
name: new_log_start_with_date
pattern: \d{4}\-\d{2}\-\d{2}
Modifiez les valeurs des paramètres path et service et configurez-les pour votre environnement. Consultez le fichier d’exemple hive.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
Redémarrez l’Agent.
Environnement conteneurisé
Consultez la documentation relative aux modèles d’intégration Autodiscovery pour découvrir comment appliquer les paramètres ci-dessous à un environnement conteneurisé.
Collecte de métriques
Pour recueillir des métriques avec l’intégration Datadog/Hive, consultez le guide Autodiscovery avec JMX.
Collecte de logs
Disponible à partir des versions > 6.0 de l’Agent
La collecte des logs est désactivée par défaut dans l’Agent Datadog. Pour l’activer, consultez la section Collecte de logs Kubernetes.
| Paramètre | Valeur |
|---|
<CONFIG_LOG> | {"source": "hive", "service": "<NOM_SERVICE>", "log_processing_rules":{"type":"multi_line","name":"new_log_start_with_date", "pattern":"\d{4}\-\d{2}\-\d{2}"}} |
Validation
Lancez la sous-commande status de l’Agent et cherchez Hive dans la section Checks.
Données collectées
Métriques
Événements
Le check Hive n’inclut aucun événement.
Checks de service
Dépannage
Besoin d’aide ? Contactez l’assistance Datadog.
