Présentation
Ce check recueille des métriques à partir de votre YARN ResourceManager, notamment (sans s’y limiter) :
- Des métriques propres à votre cluster, comme le nombre d’applications lancées, les conteneurs exécutés, les nœuds qui ne sont pas sains, etc.
- Des métriques propres à une application, comme l’avancement de l’application, le temps d’exécution écoulé, les conteneurs exécutés, la mémoire utilisée, etc.
- Des métriques propres à vos nœuds, comme les vCores disponibles, la date de dernière vérification de l’état de santé, etc.
Métriques obsolètes
Les métriques yarn.apps.<MÉTRIQUE> ne sont plus utilisées et ont été remplacées par les métriques yarn.apps.<MÉTRIQUE>_gauge. En effet, les métriques yarn.apps étaient envoyées en tant que RATE, et non en tant que GAUGE.
Configuration
Installation
Le check YARN est inclus avec le package de l’Agent Datadog : vous n’avez donc rien d’autre à installer sur votre YARN ResourceManager.
Configuration
Host
Pour configurer ce check lorsque l’Agent est exécuté sur un host :
Modifiez le fichier yarn.d/conf.yaml dans le dossier conf.d/ à la racine du répertoire de configuration de votre Agent.
init_config:
instances:
## @param resourcemanager_uri - string - required
## The YARN check retrieves metrics from YARNS's ResourceManager. This
## check must be run from the Master Node and the ResourceManager URI must
## be specified below. The ResourceManager URI is composed of the
## ResourceManager's hostname and port.
## The ResourceManager hostname can be found in the yarn-site.xml conf file
## under the property yarn.resourcemanager.address
##
## The ResourceManager port can be found in the yarn-site.xml conf file under
## the property yarn.resourcemanager.webapp.address
#
- resourcemanager_uri: http://localhost:8088
## @param cluster_name - string - required - default: default_cluster
## A friendly name for the cluster.
#
cluster_name: default_cluster
Consultez un exemple de configuration du check pour découvrir la liste complète des options du check, ainsi que leur description.
Redémarrez l’Agent pour commencer à envoyer des métriques YARN à Datadog.
Environnement conteneurisé
Consultez la documentation relative aux modèles d’intégration Autodiscovery pour découvrir comment appliquer les paramètres ci-dessous à un environnement conteneurisé.
| Paramètre | Valeur |
|---|
<NOM_INTÉGRATION> | yarn |
<CONFIG_INIT> | vide ou {} |
<CONFIG_INSTANCE> | {"resourcemanager_uri": "http://%%host%%:%%port%%", "cluster_name": "<NOM_CLUSTER>"} |
Collecte de logs
La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml :
Supprimez la mise en commentaire du bloc de configuration des logs du fichier yarn.d/conf.yaml et modifiez les paramètres. Modifiez les valeurs des paramètres type, path et service en fonction de votre environnement. Consultez le fichier d’exemple yarn.d/conf.yaml pour découvrir toutes les options de configuration disponibles.
logs:
- type: file
path: <LOG_FILE_PATH>
source: yarn
service: <SERVICE_NAME>
# To handle multi line that starts with yyyy-mm-dd use the following pattern
# log_processing_rules:
# - type: multi_line
# pattern: \d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2},\d{3}
# name: new_log_start_with_date
Redémarrez l’Agent.
Pour activer les logs pour les environnements Docker, consultez la section Collecte de logs avec Docker.
Validation
Lancez la sous-commande status de l’Agent et cherchez yarn dans la section Checks.
Données collectées
Métriques
Événements
Le check Yarn n’inclut aucun événement.
Checks de service
yarn.can_connect
Renvoie CRITICAL si l’Agent n’est pas capable de se connecter à l’URI ResourceManager pour recueillir des métriques. Si ce n’est pas le cas, renvoie OK.
Statuses: ok, critical
Dépannage
Besoin d’aide ? Contactez l’assistance Datadog.
Pour aller plus loin
