Información general

Puede reenviar tus logs de servicio de AWS almacenados en grupos de CloudWatch Log a un Amazon Kinesis Data Stream, para su posterior entrega a través de Amazon Data Firehose a uno o varios destinos. Datadog es uno de los destinos predeterminados para las transmisiones de entrega de Amazon Data Firehose.

AWS administra completamente Amazon Data Firehose, por lo que no necesitas mantener ninguna infraestructura adicional ni reenviar configuraciones para transmitir logs. Puedes configurar un flujo (stream) de entrega de Amazon Data Firehose en la consola de AWS Firehose o configurar automáticamente el destino mediante una plantilla de CloudFormation.

Configuración

Envía logs de AWS a tu flujo de Firehose

CloudWatch Logs necesita permiso para poner datos en tu flujo de entrega de Kinesis Data Stream o Amazon Data Firehose, según el enfoque que estés utilizando. Crea un rol y política de IAM. A continuación, suscribe tu nuevo flujo de Kinesis o flujo de entrega de Amazon Data Firehose a los grupos de log de CloudWatch que desees ingestar en Datadog. Las suscripciones pueden crearse a través de la consola de AWS o la CLI.
Nota: Cada grupo de CloudWatch Log solo puede tener dos suscripciones.

Crear un rol y política de IAM

Crea un rol de IAM y una política de permisos para permitir que CloudWatch Logs introduzca datos en tu flujo de Kinesis.

1. Asegúrate de que logs.amazonaws.com o logs.<region>.amazonaws.com está configurado como la entidad principal del servicio en las Relaciones de confianza del rol. Por ejemplo:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Statement1",
      "Effect": "Allow",
      "Principal": {
        "Service": "logs.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

2. Asegúrate de que la política de permisos adjuntos del rol permita las acciones firehose:PutRecord firehose:PutRecordBatch , kinesis:PutRecord y kinesis:PutRecords. Si estás utilizando un Kinesis Data Stream, especifica tu ARN en el campo Resource (Recurso). Si no utilizas Kinesis Data Stream, especifica el ARN de tu flujo de Amazon Data Firehose en el campo Resource (Recurso). Por ejemplo:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "firehose:PutRecord",
        "firehose:PutRecordBatch",
        "kinesis:PutRecord",
        "kinesis:PutRecords"
      ],
      "Resource": "arn:aws:kinesis:<REGION>:<ACCOUNT_ID>:stream/<DELIVERY_STREAM>
    }
  ]
}

Utiliza el ejemplo Filtros de suscripción con Kinesis Data Streams (pasos 3 a 6) para ver un ejemplo de configuración con la CLI de AWS.

Crear un filtro de suscripción

Interfaz de línea de comandos (CLI)

El siguiente ejemplo crea un filtro de suscripción a través de la CLI de AWS:

  aws logs put-subscription-filter \
    --log-group-name "<MYLOGGROUPNAME>" \
    --filter-name "<MyFilterName>" \
    --filter-pattern "" \
    --destination-arn "<DESTINATIONARN> (data stream or delivery stream)" \
    --role-arn "<MYROLEARN>"

Consola

Sigue estos pasos para crear un filtro de suscripción a través de la consola de AWS.

1. Ve a tu grupo de log en CloudWatch y haz clic en la pestaña Subscription filters (Filtros de suscripción), luego en Create (Crear).

   • Si envías logs a través de un Kinesis Data Stream, selecciona Create Kinesis subscription filter.
   • Si vas a enviar logs directamente desde tu grupo de log a tu flujo de entrega de Amazon Data Firehose, selecciona Create Amazon Data Firehose subscription filter.

2. Selecciona el flujo de datos o el flujo de entrega de Firehose según corresponda, así como el rol de IAM creado previamente.

3. Introduce un nombre para el filtro de suscripción y haz clic en Start streaming (Iniciar transmisión).

Nota importante: El destino del filtro de suscripción debe estar en la misma cuenta que el grupo de log, tal y como se describe en la Referencia de la API de Amazon CloudWatch Logs.

Validación

Comprueba la pestaña Subscription filters (Filtros de suscripción) de la página de detalles de tu grupo de log en CloudWatch para confirmar que el nuevo flujo de Kinesis o flujo de Amazon Data Firehose está suscrito a tu grupo de log.

Encuentra tus logs en Datadog

Una vez configurado el flujo de entrega de Amazon Data Firehose, puedes analizar los logs suscritos a tu flujo de entrega en Datadog.

Para rellenar todos los logs por ARN:

1. Ve al Log Explorer en Datadog.
2. En la barra de búsqueda, escribe @aws.firehose.arn:"<ARN>", sustituye <ARN> por tu ARN de Amazon Data Firehose y pulsa Enter (Intro) para ver todos tus logs suscritos.

Nota: Una sola carga útil de Kinesis no debe superar los 65.000 mensajes de log. Los mensajes de log que superen ese límite se descartarán.

Leer más

Más enlaces, artículos y documentación útiles:

Aprende a explorar tus logsDOCUMENTACIÓN Realizar análisis de los logsDOCUMENTACIÓN Aprende a procesar tus logsDOCUMENTACIÓN Envía los logs del flujo de Amazon VPC a Amazon Kinesis Data Firehose y DatadogBLOG