Map Reduce

Supported OS Linux Mac OS Windows

Intégration3.1.0

Dashboard MapReduce

Présentation

Recueillez des métriques du service MapReduce en temps réel pour :

  • Visualiser et surveiller les statuts de MapReduce
  • Être informé des failovers et des événements de MapReduce

Configuration

Installation

Le check MapReduce est inclus avec le package de l’Agent Datadog : vous n’avez donc rien d’autre à installer sur vos serveurs.

Configuration

Host

Pour configurer ce check lorsque l’Agent est exécuté sur un host :

  1. Modifiez le fichier mapreduce.d/conf.yaml dans le dossier conf.d/ à la racine du répertoire de configuration de votre Agent afin de spécifier votre serveur et votre port et de définir les masters à surveiller. Consultez le fichier d’exemple mapreduce.d/conf.yaml pour découvrir toutes les options de configuration disponibles.

  2. Redémarrez l’Agent.

Collecte de logs
  1. La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml :

    logs_enabled: true
    
  2. Supprimez la mise en commentaire du bloc de configuration des logs du fichier mapreduce.d/conf.yaml et modifiez les paramètres. Modifiez les valeurs des paramètres type, path et service en fonction de votre environnement. Consultez le fichier d’exemple mapreduce.d/conf.yaml pour découvrir toutes les options de configuration disponibles.

    logs:
      - type: file
        path: <LOG_FILE_PATH>
        source: mapreduce
        service: <SERVICE_NAME>
        # To handle multi line that starts with yyyy-mm-dd use the following pattern
        # log_processing_rules:
        #   - type: multi_line
        #     pattern: \d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2},\d{3}
        #     name: new_log_start_with_date
    
  3. Redémarrez l’Agent.

Environnement conteneurisé

Consultez la documentation relative aux modèles d’intégration Autodiscovery pour découvrir comment appliquer les paramètres ci-dessous à un environnement conteneurisé.

ParamètreValeur
<NOM_INTÉGRATION>mapreduce
<CONFIG_INIT>vide ou {}
<CONFIG_INSTANCE>{"resourcemanager_uri": "https://%%host%%:8088", "cluster_name":"<NOM_CLUSTER_MAPREDUCE>"}
Collecte de logs

La collecte des logs est désactivée par défaut dans l’Agent Datadog. Pour l’activer, consultez la section Collecte de logs avec Docker.

Définissez ensuite des intégrations de logs en tant qu’étiquettes Docker :

LABEL "com.datadoghq.ad.logs"='[{"source": "mapreduce", "service": "<NOM_SERVICE>"}]'

Validation

Lancez la sous-commande status de l’Agent et cherchez mapreduce dans la section Checks.

Données collectées

Métriques

Événements

Le check Mapreduce n’inclut aucun événement.

Checks de service

mapreduce.resource_manager.can_connect
Renvoie CRITICAL si l’Agent n’est pas capable de se connecter à Resource Manager. Si ce n’est pas le cas, renvoie OK.
Statuses: ok, critical

mapreduce.application_master.can_connect
Renvoie CRITICAL si l’Agent n’est pas capable de se connecter à Application Master. Si ce n’est pas le cas, renvoie OK.
Statuses: ok, critical

Dépannage

Besoin d’aide ? Contactez l’assistance Datadog.

Pour aller plus loin

PREVIEWING: may/embedded-workflows