Présentation

Associez le cluster TiDB à Datadog pour :

• Recueillir des métriques TiDB clés sur votre cluster
• Recueillir les logs de votre cluster, notamment les logs TiDB/TiKV/TiFlash et les logs sur les requêtes lentes
• Visualiser les performances de votre cluster dans le dashboard fourni

Remarque :

• Pour que cette intégration fonctionne, TiDB 4.0 ou ultérieur est requis.
• Pour intégrer TiDB Cloud, consultez la documentation à ce sujet.

Configuration

Installation

Commencez par télécharger et lancer l’Agent Datadog.

Installez ensuite manuellement le check TiDB. Les instructions varient en fonction de votre environnement.

Exécutez datadog-agent integration install -t datadog-tidb==<VERSION_INTÉGRATION>.

Procédure à suivre

Collecte de métriques

1. Modifiez le fichier tidb.d/conf.yaml dans le dossier conf.d/ à la racine du répertoire de configuration de votre Agent pour commencer à recueillir vos données de performance TiDB. Consultez le fichier d’exemple tidb.d/conf.yaml pour découvrir toutes les options de configuration disponibles.

L’exemple de fichier tidb.d/conf.yaml configure uniquement l’instance PD. Les autres instances au sein du cluster TiDB doivent être configurées manuellement, comme suit :

init_config:

instances:

  - pd_metric_url: http://localhost:2379/metrics
    send_distribution_buckets: true
    tags:
      - cluster_name:cluster01

  - tidb_metric_url: http://localhost:10080/metrics
    send_distribution_buckets: true
    tags:
      - cluster_name:cluster01

  - tikv_metric_url: http://localhost:20180/metrics
    send_distribution_buckets: true
    tags:
      - cluster_name:cluster01

  - tiflash_metric_url: http://localhost:8234/metrics
    send_distribution_buckets: true
    tags:
      - cluster_name:cluster01

  - tiflash_proxy_metric_url: http://localhost:20292/metrics
    send_distribution_buckets: true
    tags:
      - cluster_name:cluster01

3. Redémarrez l’Agent.

Collecte de logs

Disponible à partir des versions > 6.0 de l’Agent

1. La collecte de logs est désactivée par défaut dans l’Agent Datadog. Vous devez l’activer dans datadog.yaml :

   logs_enabled: true
   

   Copy

2. Ajoutez ce bloc de configuration à votre fichier tidb.d/conf.yaml pour commencer à recueillir vos logs TiDB :

   logs:
    # pd log
    - type: file
      path: "/tidb-deploy/pd-2379/log/pd*.log"
      service: "tidb-cluster"
      source: "pd"
   
    # tikv log
    - type: file
      path: "/tidb-deploy/tikv-20160/log/tikv*.log"
      service: "tidb-cluster"
      source: "tikv"
   
    # tidb log
    - type: file
      path: "/tidb-deploy/tidb-4000/log/tidb*.log"
      service: "tidb-cluster"
      source: "tidb"
      exclude_paths:
        - /tidb-deploy/tidb-4000/log/tidb_slow_query.log
    - type: file
      path: "/tidb-deploy/tidb-4000/log/tidb_slow_query*.log"
      service: "tidb-cluster"
      source: "tidb"
      log_processing_rules:
        - type: multi_line
          name: new_log_start_with_datetime
          pattern: '#\sTime:'
      tags:
        - "custom_format:tidb_slow_query"
   
    # tiflash log
    - type: file
      path: "/tidb-deploy/tiflash-9000/log/tiflash*.log"
      service: "tidb-cluster"
      source: "tiflash"
   

   Copy

   Modifiez les paramètres path et service en fonction de la configuration de votre cluster.

   Utilisez les commandes suivantes pour afficher le chemin de l’ensemble de vos logs :

   # show deploying directories
   tiup cluster display <YOUR_CLUSTER_NAME>
   # find specific logging file path by command arguments
   ps -fwwp <TIDB_PROCESS_PID/PD_PROCESS_PID/etc.>
   

   Copy

3. Redémarrez l’Agent.

Validation

Lancez la sous-commande status de l’Agent et cherchez tidb dans la section Checks.

Données collectées

Métriques

Il est possible d’utiliser l’option de configuration metrics pour recueillir des métriques supplémentaires depuis un cluster TiDB.

Événements

Le check TiDB n’inclut aucun événement.

Checks de service

tidb_cluster.prometheus.health
Returns CRITICAL if the Agent cannot fetch Prometheus metrics, otherwise returns OK.
Statuses: ok, critical

Dépannage

Métriques manquantes sur le processeur et la mémoire pour les instances TiKB et TiFlash sous macOS

Les métriques sur le processeur et la mémoire ne sont pas fournies pour les instances TiKV et TiFlash dans les configurations suivantes :

• Les instances TiKV ou TiFlash sont exécutées avec le playground tiup sous macOS.
• Les instances TiKV ou TiFlash sont exécutées avec docker-compose up sur une nouvelle machine dotée d’une puce M1 Apple.

Trop de métriques

Le check TiDB active les métriques distribution de Datadog par défaut. Cette partie des données est très volumineuse et peut consommer une grande quantité de ressources. Ce comportement peut être modifié dans le fichier tidb.yml :

• send_distribution_buckets: false

Étant donné qu’un cluster TiDB comprend de nombreuses métriques importantes, le check TiDB définit le paramètre max_returned_metrics sur 10000 par défaut. Vous pouvez définir une valeur max_returned_metrics plus basse dans le fichier tidb.yml si nécessaire :

• max_returned_metrics: 1000

Besoin d’aide ? Contactez l’assistance Datadog.