Présentation

Ce check permet de surveiller des composants de Confluent Platform et de Kafka avec l’Agent Datadog.

Cette intégration recueille des métriques JMX pour les composants suivants :

• Broker
• Connect
• Replicator
• Schema Registry
• ksqlDB Server
• Streams
• REST Proxy

Configuration

Installation

Le check Confluent Platform est inclus avec le package de l’Agent Datadog. Vous n’avez donc rien d’autre à installer sur le serveur du composant Confluent Platform.

Remarque : ce check recueille des métriques via JMX, une JVM est donc nécessaire sur chaque nœud pour que l’Agent puisse exécuter jmxfetch. Nous vous conseillons d’utiliser un JVM fourni par Oracle.

Configuration

1. Modifiez le fichier confluent_platform.d/conf.yaml dans le dossier conf.d/ à la racine du répertoire de configuration de votre Agent pour recueillir vos données de performance Confluent Platform. Consultez le fichier d’exemple confluent_platform.d/conf.yaml pour découvrir toutes les options de configuration disponibles.

   Une instance distincte doit être créée pour chaque composant dont vous souhaitez recueillir les métriques JMX. Les métriques par défaut recueillies sont énumérées dans le fichier metrics.yaml, par exemple :

   instances:
    - host: localhost
      port: 8686
      name: broker_instance
      user: username
      password: password
    - host: localhost
      port: 8687
      name: schema_registry_instance
    - host: localhost
      port: 8688
      name: rest_proxy_instance
   

2. Redémarrez l’Agent.

Collecte de logs

Disponible à partir des versions > 6.0 de l’Agent

1. La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml :

   logs_enabled: true
   

2. Ajoutez ce bloc de configuration à votre fichier confluent_platform.d/conf.yaml pour commencer à recueillir vos logs de composant Confluent Platform :

     logs:
       - type: file
         path: <CONFLUENT_COMPONENT_PATH>/logs/*.log
         source: confluent_platform
         service: <SERVICE_NAME>
         log_processing_rules:
           - type: multi_line
             name: new_log_start_with_date
             pattern: \[\d{4}\-\d{2}\-\d{2}
   

   Modifiez les valeurs des paramètres path et service et configurez-les pour votre environnement. Consultez le fichier d’exemple confluent_platform.d/conf.yaml pour découvrir toutes les options de configuration disponibles.

3. Redémarrez l’Agent.

Collecte de métriques

Pour les environnements conteneurisés, consultez le guide Autodiscovery avec JMX.

Validation

Lancez la sous-commande status de l’Agent et cherchez confluent_platform dans la section JMXFetch :

    ========
    JMXFetch
    ========

      Initialized checks
      ==================
        confluent_platform
          instance_name : confluent_platform-localhost-31006
          message :
          metric_count : 26
          service_check_count : 0
          status : OK

Données collectées

Métriques

Événements

Le check Confluent Platform n’inclut aucun événement.

Checks de service

Dépannage

Besoin d’aide ? Contactez l’assistance Datadog.