Amazon Elastic Map Reduce
Présentation
Amazon Elastic Map Reduce (Amazon EMR) est un service Web qui facilite le traitement rapide et rentable de grandes quantités de données.
Activez cette intégration pour visualiser dans Datadog vos métriques d’EMR.
Configuration
Installation
Si vous ne l’avez pas déjà fait, configurez d’abord l’intégration Amazon Web Services.
Collecte de métriques
Dans le carré d’intégration AWS, assurez-vous que l’option EMR est cochée dans la section concernant la collecte des métriques.
Ajoutez les autorisations suivantes à votre stratégie IAM Datadog afin de recueillir des métriques Amazon EMR. Pour en savoir plus sur les stratégies EMR, consultez la documentation du site Web d’AWS.
| Autorisation AWS | Description |
|---|
elasticmapreduce:ListClusters | Énumère les clusters disponibles. |
elasticmapreduce:DescribeCluster | Ajoute des tags aux métriques EMR de CloudWatch. |
Installez l’intégration Datadog/AWS EMR.
Collecte de logs
Activer le logging
Configurez Amazon EMR de façon à ce que ses logs soient envoyés vers un compartiment S3 ou vers Cloudwatch.
Remarque : si vous envoyez vos logs vers un compartiment S3, assurez-vous que amazon_emr est défini en tant que Target prefix.
Envoyer des logs à Datadog
Si vous ne l’avez pas déjà fait, configurez la fonction Lambda de collecte de logs AWS avec Datadog.
Une fois la fonction Lambda installée, ajoutez manuellement un déclencheur sur le compartiment S3 ou sur le groupe de logs Cloudwatch qui contient vos logs Amazon EMR dans la console AWS :
Données collectées
Métriques
Chacune des métriques récupérées à partir d’AWS se voit assigner les mêmes tags que ceux qui apparaissent dans la console AWS, y compris, mais sans s’y limiter, le hostname et les groupes de sécurité.
Événements
L’intégration AWS Elastic MapReduce n’inclut aucun événement.
Checks de service
L’intégration AWS Elastic MapReduce n’inclut aucun check de service.
Dépannage
Besoin d’aide ? Contactez l’assistance Datadog.
