El destino Azure Storage está disponible para la plantilla Logs de archivos. Utiliza este destino para enviar tus logs en formato rehidratable en Datadog a un bucket de Azure Storage para archivarlo. Debes configurar logs de archivos de Datadog, si aún no lo has hecho y, a continuación, debes configurar el destino en la interfaz de usuario del pipeline.

Configurar archivos de logs

Si ya tienes un archivo de log de Datadog configurado para Observability Pipelines, ve directamente a Configurar el destino de tu pipeline.

Para configurar archivos de logs de Datadog necesitas tener instalada la integración Google Cloud Platform de Datadog.

Crear una cuenta de almacenamiento

Crea una cuenta de almacenamiento de Azure si aún no tienes una.

  1. Navega hasta Storage accounts (Cuentas de almacenamiento).
  2. Haz clic en Create (Crear).
  3. Selecciona el nombre de la suscripción y el nombre del recurso que deseas utilizar.
  4. Introduce un nombre para tu cuenta de almacenamiento.
  5. Selecciona una región en el menú desplegable.
  6. Selecciona el tipo de cuenta Standard o Premium.
  7. Haz clic en Next (Siguiente).
  8. En la sección Blob storage (Almacenamiento de globos), selecciona el almacenamiento Hot (En caliente) o Cool (En frío).
  9. Haz clic en Review + create (Revisar + crear).

Crear un bucket de almacenamiento

  1. En tu cuenta de almacenamiento, haz clic en Containers (Contenedores) dentro de Data storage (Almacenamiento de datos) en el menú de navegación de la izquierda.
  2. Haz clic en + Container (+ Contenedor) en la parte superior para crear un nuevo contenedor.
  3. Introduce un nombre para el nuevo contenedor. Este nombre se utilizará más adelante cuando configures el destino Azure Storage de Observability Pipelines.

Nota: No establezcas políticas de inmutabilidad porque los datos más recientes podrían necesitar ser reescritos en casos pocos frecuentes (típicamente cuando hay un tiempo de espera).

Conecta el contenedor de Azure a los archivos de logs de Datadog

  1. Navega a Reenvío de logs de Datadog.
  2. Haz clic en New archive (Nuevo archivo).
  3. Introduce un nombre de archivo descriptivo.
  4. Añade una consulta que filtre todos los logs que pasen por los pipelines de log para que ninguno de esos logs entre en este archivo. Por ejemplo, añade la consulta observability_pipelines_read_only_archive, suponiendo que ningún log que pase por el pipeline tenga esa etiqueta añadida.
  5. Selecciona Azure Storage (Almacenamiento de Azure).
  6. Selecciona el inquilino de Azure y el cliente en el que se encuentra tu cuenta de almacenamiento.
  7. Introduce el nombre de la cuenta de almacenamiento.
  8. Introduce el nombre del contenedor que has creado anteriormente.
  9. Opcionalmente, introduce una ruta.
  10. Opcionalmente, establece permisos, añade etiquetas y define el tamaño máximo de escaneo para la rehidratación. Consulta Configuración avanzada para obtener más información.
  11. Haz clic en Save (Guardar).

Para más información, consulta la documentación de Archivos de logs.

Configurar el destino de tu pipeline

Configura el destino Amazon S3 y sus variables de entorno cuando configures un pipeline de logs de archivos. La siguiente información se configura en la interfaz de usuario del pipeline.

  1. Introduce el nombre del contenedor de Azure que has creado anteriormente.
  2. Si lo deseas, introduce un prefijo.
    • Los prefijos son útiles para particionar objetos. Por ejemplo, puedes utilizar un prefijo como clave de objeto para almacenar objetos en un directorio concreto. Si se utiliza un prefijo con este fin, debe terminar en / para que actúe como una ruta de directorio; no se añade automáticamente un / al final.
    • Consulta sintaxis de plantillas si deseas dirigir logs a diferentes claves de objeto en función de campos específicos de tus logs.

Configurar las variables de entorno

Enter the Azure connection string you created earlier. The connection string gives the Worker access to your Azure Storage bucket.

To get the connection string:

  1. Navigate to Azure Storage accounts.
  2. Click Access keys under Security and networking in the left navigation menu.
  3. Copy the connection string for the storage account and paste it into the Azure connection string field on the Observability Pipelines Worker installation page.

Cómo funciona el destino

Colocación de eventos en lotes

Un lote de eventos se descarga cuando se cumple uno de estos parámetros. Para obtener más información, consulta la colocación de eventos en lotes.

Eventos máximosBytes máximosTiempo de espera (segundos)
Ninguno100,000,000900
PREVIEWING: guacbot/translation-pipeline