Información general

Google Cloud Dataproc es un servicio de nube rápido, fácil de utilizar y totalmente gestionado para ejecutar clústeres Apache Spark y Apache Hadoop de una forma más sencilla y rentable.

Utiliza la integración Google Cloud Platform en Datadog para recopilar métricas de Google Cloud Dataproc.

Configuración

Instalación

Si aún no lo has hecho, primero configura la integración Google Cloud Platform. No es necesario realizar ningún otro paso de instalación.

Recopilación de logs

Los logs de Google Cloud Dataproc se recopilan con Google Cloud Logging y se envían a una tarea de Dataflow a través de un tema Cloud Pub/Sub. Si aún no lo has hecho, configura la generación de logs con la plantilla Dataflow de Datadog.

Una vez hecho esto, exporta tus logs de Google Cloud Dataproc de Google Cloud Logging al tema Pub/Sub:

1. Ve a la página de Google Cloud Logging y filtra logs de Google Cloud Dataproc.
2. Haz clic en Create Export (Crear exportación) y asigna un nombre al sumidero.
3. Elige “Cloud Pub/Sub” como destino y selecciona el tema Pub/Sub creado para tal fin. Nota: El tema Pub/Sub puede estar ubicado en un proyecto diferente.
4. Haz clic en Create (Crear) y espera a que aparezca el mensaje de confirmación.

Datos recopilados

Métricas

Eventos

La integración Google Cloud Dataproc no incluye eventos.

Checks de servicio

La integración Google Cloud Dataproc no incluye checks de servicio.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.