Présentation
Cloud Dataproc est un service cloud rapide, facile à utiliser et entièrement géré qui permet une exécution plus simple et plus rentable des clusters Apache Spark et Apache Hadoop.
Utilisez l’intégration Datadog/Google Cloud Platform pour recueillir des métriques de Google Cloud Dataproc.
Configuration
Installation
Si vous ne l’avez pas déjà fait, configurez d’abord l’intégration Google Cloud Platform. Aucune autre procédure d’installation n’est requise.
Collecte de logs
Les logs Google Cloud Dataproc sont recueillis avec Google Cloud Logging et envoyés à un Cloud Pub/Sub via un forwarder Push HTTP. Si vous ne l’avez pas déjà fait, configurez un Cloud Pub/Sub à l’aide d’un forwarder Push HTTP.
Une fois cette opération effectuée, exportez vos logs Google Cloud Dataproc depuis Google Cloud Logging vers le Pub/Sub :
- Accédez à la page Google Cloud Logging et filtrez les logs Google Cloud Dataproc.
- Cliquez sur Create Export et nommez le récepteur.
- Choisissez Cloud Pub/Sub comme destination et sélectionnez le Pub/Sub créé à cette fin. Remarque : le Pub/Sub peut se situer dans un autre projet.
- Cliquez sur Create et attendez que le message de confirmation s’affiche.
Données collectées
Métriques
Événements
L’intégration Google Cloud Dataproc n’inclut aucun événement.
Checks de service
L’intégration Google Cloud Dataproc n’inclut aucun check de service.
Dépannage
Besoin d’aide ? Contactez l’assistance Datadog.
