Présentation

Amazon Managed Streaming for Apache Kafka (MSK) est un service entièrement géré qui vous permet de créer et d’exécuter facilement des applications qui utilisent Apache Kafka pour traiter les données en streaming.

Cette intégration utilise un crawler qui recueille les métriques de CloudWatch. Consultez la page Amazon MSK (Agent) pour en savoir plus sur la surveillance de MSK via l’Agent Datadog.

Configuration

Activez le crawler Amazon MSK pour visualiser les métriques MSK de CloudWatch dans Datadog.

Configurer l’Agent Datadog pour l’APM

Si vous ne l’avez pas déjà fait, configurez d’abord l’intégration Amazon Web Services.

Collecte de métriques

1. Sur la page de l’intégration AWS, vérifiez que Kafka est activé dans l’onglet Metric Collection.

2. Installez l’intégration Amazon MSK.

Collecte de logs

Activer le logging

Configurez Amazon MSK de façon à ce que ses logs soient envoyés vers un compartiment S3 ou vers CloudWatch.

Remarques :

• Si vous stockez vos logs dans un compartiment S3, assurez-vous que amazon_msk est défini en tant que Target prefix.
• Si vous stockez vos logs dans un groupe de logs CloudWatch, assurez-vous que son nom contient la sous-chaîne msk.

Envoyer des logs à Datadog

1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda du Forwarder Datadog.

2. Une fois la fonction Lambda installée, ajoutez manuellement un déclencheur sur le compartiment S3 ou sur le groupe de logs CloudWatch qui contient vos logs Amazon MSK dans la console AWS :

   • Ajouter un déclencheur manuel sur le compartiment S3
   • Ajouter un déclencheur manuel sur le groupe de logs CloudWatch

Données collectées

Métriques

Events

Le crawler Amazon MSK n’inclut aucun événement.

Service Checks

L’intégration Amazon MSK n’inclut aucun check de service.

Dépannage

Besoin d’aide ? Contactez l’assistance Datadog.

Documentation, liens et articles supplémentaires utiles:

Surveiller l'intégration Amazon Managed Streaming for Apache Kafka avec DatadogGITHUB