(LEGACY) Configurar el worker de pipelines de observabilidad

Los pipelines de observabilidad no se encuentran disponible en el sitio US1-FED de Datadog.

If you upgrade your OP Workers version 1.8 or below to version 2.0 or above, your existing pipelines will break. Do not upgrade your OP Workers if you want to continue using OP Workers version 1.8 or below. If you want to use OP Worker 2.0 or above, you must migrate your OP Worker 1.8 or earlier pipelines to OP Worker 2.x.

Datadog recommends that you update to OP Worker versions 2.0 or above. Upgrading to a major OP Worker version and keeping it updated is the only supported way to get the latest OP Worker functionality, fixes, and security updates.

Información general

El worker de pipelines de observabilidad puede recopilar, procesar y enrutar logs desde cualquier origen a cualquier destino. Con Datadog, puedes crear y gestionar todos tus despliegues del worker de pipelines de observabilidad a escala.

Hay varias formas de comenzar a usar el worker de pipelines de observabilidad.

Este documento te guiará a través de los pasos de instalación de inicio rápido y luego te proporcionará recursos para los próximos pasos. El uso y el funcionamiento de este software se rigen por el acuerdo de licencia de usuario final.

Modos de despliegue

Remote configuration for Observability Pipelines is in private beta. Contact Datadog support or your Customer Success Manager for access.

If you are enrolled in the private beta of Remote Configuration, you can remotely roll out changes to your Workers from the Datadog UI, rather than make updates to your pipeline configuration in a text editor and then manually rolling out your changes. Choose your deployment method when you create a pipeline and install your Workers.

See Updating deployment modes on how to change the deployment mode after a pipeline is deployed.

Requisitos previos

Para instalar el worker de pipelines de observabilidad, necesitarás lo siguiente:

Para generar una clave de API y pipeline nuevos:

  1. Ve a Observability Pipelines (Pipelines de observabilidad).
  2. Haz clic en New Pipeline (Pipeline nuevo).
  3. Ingresa un nombre para tu pipeline.
  4. Haz clic en Next (Siguiente).
  5. Selecciona la plantilla que quieras y sigue las instrucciones.

Inicio rápido

Sigue las siguientes instrucciones para instalar el worker y despliega una configuración de pipeline de muestra que use datos de demostración.

Instalar el worker de pipelines de observabilidad

    La imagen de Docker del worker de pipelines de observabilidad se publica en Docker Hub aquí.

    1. Descarga el archivo de configuración del pipeline de muestra. Esta configuración emite datos de demostración, analiza y estructura los datos y, a continuación, los envía a la consola y Datadog. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    2. Ejecuta el siguiente comando para iniciar el worker de pipelines de observabilidad con Docker:

      docker run -i -e DD_API_KEY=<API_KEY> \
  -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
  -e DD_SITE=<SITE> \
  -p 8282:8282 \
  -v ./pipeline.yaml:/etc/observability-pipelines-worker/pipeline.yaml:ro \
  datadog/observability-pipelines-worker run

      Reemplaza <API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de configuración de pipelines de observabilidad y <SITE> con . Nota: ./pipeline.yaml debe ser la ruta relativa o absoluta a la configuración que descargaste en el paso 1.

    1. Descarga el archivo de valores del Helm chart para AWS EKS. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    2. En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:

      helm repo add datadog https://helm.datadoghq.com

      helm repo update

      helm upgrade --install \
    opw datadog/observability-pipelines-worker \
    -f aws_eks.yaml

    1. Descarga el archivo de valores del Helm chart para Azure AKS. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    2. En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:

      helm repo add datadog https://helm.datadoghq.com

      helm repo update

      helm upgrade --install \
  opw datadog/observability-pipelines-worker \
  -f azure_aks.yaml

    1. Descarga el archivo de valores del Helm chart para Google GKE. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    2. En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:

      helm repo add datadog https://helm.datadoghq.com

      helm repo update

      helm upgrade --install \
  opw datadog/observability-pipelines-worker \
  -f google_gke.yaml

    Instala el worker con el script de instalación de una línea o de forma manual.

    Script de instalación de una línea

    1. Ejecuta el comando de instalación de una línea para instalar el worker. Reemplaza <DD_API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de pipelines de observabilidad y <SITE> con .

      DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"

    2. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    3. Inicia el worker:

      sudo systemctl restart observability-pipelines-worker

    Instalación manual

    1. Ejecuta los siguientes comandos a fin de configurar APT para descargar a través de HTTPS:

      sudo apt-get update
sudo apt-get install apt-transport-https curl gnupg

    2. Ejecuta los siguientes comandos para configurar el repositorio deb de Datadog en tu sistema y crear un conjunto de claves de archivo de Datadog:

      sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/datadog-archive-keyring.gpg] https://apt.datadoghq.com/ stable observability-pipelines-worker-1' > /etc/apt/sources.list.d/datadog-observability-pipelines-worker.list"
sudo touch /usr/share/keyrings/datadog-archive-keyring.gpg
sudo chmod a+r /usr/share/keyrings/datadog-archive-keyring.gpg
curl https://keys.datadoghq.com/DATADOG_APT_KEY_CURRENT.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_06462314.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_F14F620E.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_C0962C7D.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch

    3. Ejecuta los siguientes comandos para actualizar tu repositorio apt local e instalar el worker:

      sudo apt-get update
sudo apt-get install observability-pipelines-worker datadog-signing-keys

    4. Añade tus claves y el sitio () a las variables de entorno del worker:

      sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
EOF

    5. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host.

    6. Inicia el worker:

      sudo systemctl restart observability-pipelines-worker

    Instala el worker con el script de instalación de una línea o de forma manual.

    Script de instalación de una línea

    1. Ejecuta el comando de instalación de una línea para instalar el worker. Reemplaza <DD_API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de pipelines de observabilidad y <SITE> con .

      DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"

    2. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    3. Ejecuta el siguiente comando para iniciar el worker:

      sudo systemctl restart observability-pipelines-worker

    Instalación manual

    1. Ejecuta los siguientes comandos para configurar el repositorio rpm de Datadog en tu sistema:

      cat <<EOF > /etc/yum.repos.d/datadog-observability-pipelines-worker.repo
[observability-pipelines-worker]
name = Observability Pipelines Worker
baseurl = https://yum.datadoghq.com/stable/observability-pipelines-worker-1/\$basearch/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://keys.datadoghq.com/DATADOG_RPM_KEY_CURRENT.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_4F09D16B.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_B01082D3.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_FD4BF915.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_E09422B3.public
EOF

      Nota: Si ejecutas RHEL 8.1 o CentOS 8.1, usa repo_gpgcheck=0 en lugar de repo_gpgcheck=1 en la configuración anterior.

    2. Actualiza tus paquetes e instala el worker:

      sudo yum makecache
sudo yum install observability-pipelines-worker

    3. Añade tus claves y el sitio () a las variables de entorno del worker:

      sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
EOF

    4. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    5. Ejecuta el siguiente comando para iniciar el worker:

      sudo systemctl restart observability-pipelines-worker
    1. Descarga la configuración de muestra.
    2. Configura el módulo del worker en tu Terraform existente con la configuración de muestra. Asegúrate de actualizar los valores en vpc-id, subnet-ids y region para que coincidan con tu despliegue de AWS en la configuración. Además, actualiza los valores en datadog-api-key y pipeline-id para que coincidan con tu pipeline.

    Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

    Consulta Trabajo con datos para obtener más información sobre cómo transformar tus datos.

    Actualización de los modos de despliegue

    After deploying a pipeline, you can also switch deployment methods, such as going from a manually managed pipeline to a remote configuration enabled pipeline or vice versa.

    If you want to switch from a remote configuration deployment to a manually managed deployment:

    1. Navigate to Observability Pipelines and select the pipeline.
    2. Click the settings cog.
    3. In Deployment Mode, select manual to enable it.
    4. Set the DD_OP_REMOTE_CONFIGURATION_ENABLED flag to false and restart the Worker. Workers that are not restarted with this flag continue to be remote configuration enabled, which means that the Workers are not updated manually through a local configuration file.

    If you want to switch from manually managed deployment to a remote configuration deployment:

    1. Navigate to Observability Pipelines and select the pipeline.
    2. Click the settings cog.
    3. In Deployment Mode, select Remote Configuration to enable it.
    4. Set the DD_OP_REMOTE_CONFIGURATION_ENABLED flag to true and restart the Worker. Workers that are not restarted with this flag are not polled for configurations deployed in the UI.
    5. Deploy a version in your version history, so that the Workers receive the new version configuration. Click on a version. Click Edit as Draft and then click Deploy.

    Siguientes pasos

    Con la guía de inicio rápido aprendiste a instalar el worker y desplegar una configuración de pipeline de muestra. Para obtener instrucciones sobre cómo instalar el worker a fin de recibir y enrutar datos desde tus Datadog Agents a Datadog, o desde tu Splunk HEC a Splunk y Datadog, selecciona tu caso de uso específico:

    Datadog
    Splunk

    Para obtener recomendaciones sobre cómo desplegar y escalar varios workers:

    Lectura adicional

    Más enlaces, artículos y documentación útiles:

    Trabajo con datos en pipelines de observabilidadDOCUMENTACIÓN more more Principios y diseño del despliegue para el worker de pipelines de observabilidadDOCUMENTACIÓN more more Principios y diseño del despliegue para el worker de pipelines de observabilidadDOCUMENTACIÓN more more Procesamiento local seguro y protegido con pipelines de observabilidadCENTRO DE APRENDIZAJE more more
    PREVIEWING: sadhbh-a/gcp_guide