
Présentation
Recueillez des métriques du service MapReduce en temps réel pour :
- Visualiser et surveiller les statuts de MapReduce
- Être informé des failovers et des événements de MapReduce
Configuration
Installation
Le check MapReduce est inclus avec le package de l’Agent Datadog : vous n’avez donc rien d’autre à installer sur vos serveurs.
Configuration
Host
Pour configurer ce check lorsque l’Agent est exécuté sur un host :
Modifiez le fichier mapreduce.d/conf.yaml
dans le dossier conf.d/
à la racine du répertoire de configuration de votre Agent afin de spécifier votre serveur et votre port et de définir les masters à surveiller. Consultez le fichier d’exemple mapreduce.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
Redémarrez l’Agent.
Collecte de logs
La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml
:
Supprimez la mise en commentaire du bloc de configuration des logs du fichier mapreduce.d/conf.yaml
et modifiez les paramètres. Modifiez les valeurs des paramètres type
, path
et service
en fonction de votre environnement. Consultez le fichier d’exemple mapreduce.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
logs:
- type: file
path: <LOG_FILE_PATH>
source: mapreduce
service: <SERVICE_NAME>
# To handle multi line that starts with yyyy-mm-dd use the following pattern
# log_processing_rules:
# - type: multi_line
# pattern: \d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2},\d{3}
# name: new_log_start_with_date
Redémarrez l’Agent.
Environnement conteneurisé
Consultez la documentation relative aux modèles d’intégration Autodiscovery pour découvrir comment appliquer les paramètres ci-dessous à un environnement conteneurisé.
Paramètre | Valeur |
---|
<NOM_INTÉGRATION> | mapreduce |
<CONFIG_INIT> | vide ou {} |
<CONFIG_INSTANCE> | {"resourcemanager_uri": "https://%%host%%:8088", "cluster_name":"<NOM_CLUSTER_MAPREDUCE>"} |
Collecte de logs
La collecte des logs est désactivée par défaut dans l’Agent Datadog. Pour l’activer, consultez la section Collecte de logs avec Docker.
Définissez ensuite des intégrations de logs en tant qu’étiquettes Docker :
LABEL "com.datadoghq.ad.logs"='[{"source": "mapreduce", "service": "<NOM_SERVICE>"}]'
Validation
Lancez la sous-commande status de l’Agent et cherchez mapreduce
dans la section Checks.
Données collectées
Métriques
Événements
Le check Mapreduce n’inclut aucun événement.
Checks de service
mapreduce.resource_manager.can_connect
Renvoie CRITICAL
si l’Agent n’est pas capable de se connecter à Resource Manager. Si ce n’est pas le cas, renvoie OK
.
Statuses: ok, critical
mapreduce.application_master.can_connect
Renvoie CRITICAL
si l’Agent n’est pas capable de se connecter à Application Master. Si ce n’est pas le cas, renvoie OK
.
Statuses: ok, critical
Dépannage
Besoin d’aide ? Contactez l’assistance Datadog.
Pour aller plus loin