Recopilar logs de Google Cloud con una suscripción Pub/Sub Push
Esta página describe características obsoletas con información de configuración relevante para suscripciones legacy Pub/Sub Push útiles para solucionar problemas o para modificar configuraciones de legacy. Utiliza una suscripción
Pull con la plantilla Datadog Dataflow para reenviar tus logs de Google Cloud a Datadog en su lugar. Consulta
la colección de logs en la página de integración de Google Cloud para obtener instrucciones.
Esta guía describe cómo reenviar logs desde los servicios de Google Cloud a Datadog a través de una suscripción Push a un tema Google Cloud Pub/Sub.
Para recopilar logs de las aplicaciones que se ejecutan en GCE o GKE, también puedes utilizar el Datadog Agent .
Nota: Si tienes una VPC de Google Cloud en tu entorno de Google Cloud, la suscripción Push no podrá acceder a puntos finales fuera de la VPC.
Ajustes
Requisitos previos
La integración de Google Cloud Platform se ha instalado correctamente.
Crear un tema de Cloud Pub/Sub
Ve a la Consola de Cloud Pub/Sub y crea un nuevo tema.
Dale a ese tema un nombre explícito como export-logs-to-datadog y haz clic en Crear.
Advertencia: Los pub/subs están sujetos a cuotas y limitaciones de Google Cloud. Si el número de logs que tienes es superior a esas limitaciones, Datadog te recomienda dividir tu logs en varios temas. Consulta la sección de monitorizar el reenvío de logs para obtener información sobre cómo configurar la monitorización de notificaciones si te acercas a esos límites.
Reenvía logs a Datadog con una suscripción Cloud Pub/Sub
- En la consola Cloud Pub/Sub, selecciona Suscripciones en el menú de navegación de la izquierda. Haz clic en Crear suscripción.
- Crea una ID de suscripción y selecciona el tema que creaste anteriormente.
- Selecciona el método
Push e introduce el siguiente comando, sustituyendo <Datadog_API_KEY> por el valor de una clave API de Datadog válida:
https://gcp-intake.logs.
Nota: Asegúrate de que el selector Datadog site de la derecha de la página esté configurado en tu sitio de Datadog antes de copiar el comando anterior.
- Configura cualquier opción adicional, como Caducidad de la suscripción, Fecha límite de acuse de recibo, Duración de la retención del mensaje o Carta muerta.
- En Política de reintento, selecciona Reintentar tras retraso exponencial.
- Haz clic en Crear en la parte inferior.
El Pub/Sub está listo para recibir logs de Google Cloud Logging y reenviarlos a Datadog.
Exportar logs desde Google Cloud
Ve a la página del Explorador de Google Cloud logs y filtra los logs que deben exportarse.
Desde la pestaña de loguear Router, selecciona Crear sumidero.
Indica un nombre para el sumidero.
Elige Cloud Pub/Sub como destino y selecciona el pub/sub que se creó a tal efecto.
Nota: El pub/sub puede estar ubicado en un proyecto diferente.
Haz clic en Crear sumidero y espera a que aparezca el mensaje de confirmación.
Nota: Es posible crear varias exportaciones desde Google Cloud Logging al mismo Pub/Sub con diferentes sumideros.
Monitorizar el reenvío de logs
Los pub/subs están sujetos a cuotas y limitaciones de Google Cloud. Si el número de logs que tienes es superior a esas limitaciones, Datadog te recomienda dividir tu logs en varios temas, utilizando diferentes filtros.
Para recibir una notificación automática cuando alcances esta cuota, activa la integración de métricas de Pub/Sub y configura un monitor de métricas gcp.pubsub.subscription.num_outstanding_messages . Filtra este monitor en la suscripción que exporta logs a Datadog para asegurarte de que nunca supere los 1000, como en el siguiente ejemplo:
Muestreo de logs
Opcionalmente, puedes muestrear logs mientras realizas la consulta utilizando la función de muestreo. Por ejemplo, para incluir sólo el 10% de los logs, utiliza sample(insertId, 0.1).
Leer más
Más enlaces, artículos y documentación útiles:
