(レガシー) Observability Pipelines Worker のセットアップ

Observability Pipelines is not available on the US1-FED Datadog site.

バージョン 1.8 以下の OP Worker をバージョン 2.0 以上にアップグレードすると、既存のパイプラインが破損します。OP Worker バージョン 1.8 以下を引き続き使用する場合は、OP Worker をアップグレードしないでください。OP Worker 2.0 以上を使用する場合は、OP Worker 1.8 以前のパイプラインを OP Worker 2.x に移行する必要があります。

Datadog では、OP Worker バージョン 2.0 以上への更新を推奨しています。OP Worker のメジャーバージョンにアップグレードして更新し続けることが、OP Worker の最新の機能、修正、セキュリティ更新を入手するために唯一サポートされた方法です。

概要

The Observability Pipelines Worker can collect, process, and route logs from any source to any destination. Using Datadog, you can build and manage all of your Observability Pipelines Worker deployments at scale.

観測可能性パイプラインワーカーを使い始めるには、いくつかの方法があります。

  • クイックスタート: デモデータを出力するシンプルなパイプラインを備えたワーカーをインストールすれば、すぐに使い始められます。
  • Datadog セットアップガイド: Datadog Agent からデータを受信し、Datadog へルーティングするためのすぐに使えるパイプラインを備えたワーカーをインストールします。
  • Datadog アーカイブセットアップガイド: Datadog Agent からデータを受信し、Datadog および S3 へルーティングするためのすぐに使えるパイプラインを備えたワーカーをインストールします。
  • Splunk セットアップガイド: Splunk HEC からデータを受信し、Splunk と Datadog の両方へルーティングするためのすぐに使えるパイプラインを備えたワーカーをインストールします。

このドキュメントでは、クイックスタートのインストール手順を説明し、次のステップのためのリソースを提供します。このソフトウェアの使用および運用には、エンドユーザーライセンス契約が適用されます。

Deployment Modes

観測可能性パイプラインのリモート構成は、非公開ベータ版です。アクセスについては、Datadog サポートまたはカスタマーサクセスマネージャーにお問い合わせください。

リモート構成の非公開ベータ版に登録している場合、テキストエディタでパイプライン構成の更新を行い、手動で変更をロールアウトするのではなく、Datadog UI からリモートでワーカーに変更をロールアウトすることができます。パイプラインを作成してワーカーをインストールするときに、デプロイメント方法を選択します。

パイプラインのデプロイ後にデプロイメントモードを変更する方法については、デプロイメントモードの更新を参照してください。

前提条件

観測可能性パイプラインワーカーをインストールするには、以下が必要です。

新しい API キーとパイプラインを生成するには

  1. Observability Pipelines に移動します。
  2. New Pipeline をクリックします。
  3. パイプラインの名前を入力します。
  4. Next をクリックします。
  5. 希望するテンプレートを選択し、指示に従います。

Quickstart

以下の手順に従ってワーカーをインストールし、デモデータを使用するサンプルパイプライン構成をデプロイします。

観測可能性パイプラインワーカーのインストール

    The Observability Pipelines Worker Docker image is published to Docker Hub here.

    1. サンプルのパイプラインコンフィギュレーションファイルをダウンロードします。この構成は、デモデータを出力し、データをパースして構造化し、それをコンソールと Datadog に送信します。サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    2. Run the following command to start the Observability Pipelines Worker with Docker:

      docker run -i -e DD_API_KEY=<API_KEY> \
  -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
  -e DD_SITE=<SITE> \
  -p 8282:8282 \
  -v ./pipeline.yaml:/etc/observability-pipelines-worker/pipeline.yaml:ro \
  datadog/observability-pipelines-worker run

      <API_KEY> は Datadog API キー、<PIPELINES_ID> は観測可能性パイプライン構成 ID、<SITE> は に置き換えてください。注: ./pipeline.yaml には、ステップ 1 でダウンロードした構成の相対パスまたは絶対パスを指定します。

    1. AWS EKS 用の Helm チャートの values ファイルをダウンロードします。サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    2. Helm チャートで、datadog.apiKey と datadog.pipelineId の値をパイプラインに合わせて置き換え、site の値には を使用します。その後、以下のコマンドでクラスターにインストールします。

      helm repo add datadog https://helm.datadoghq.com

      helm repo update

      helm upgrade --install \
    opw datadog/observability-pipelines-worker \
    -f aws_eks.yaml

    1. Azure AKS 用の Helm チャートの values ファイルをダウンロードします。サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    2. Helm チャートで、datadog.apiKey と datadog.pipelineId の値をパイプラインに合わせて置き換え、site の値には を使用します。その後、以下のコマンドでクラスターにインストールします。

      helm repo add datadog https://helm.datadoghq.com

      helm repo update

      helm upgrade --install \
  opw datadog/observability-pipelines-worker \
  -f azure_aks.yaml

    1. Google GKE 用の Helm チャートの values ファイルをダウンロードします。サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    2. Helm チャートで、datadog.apiKey と datadog.pipelineId の値をパイプラインに合わせて置き換え、site の値には を使用します。その後、以下のコマンドでクラスターにインストールします。

      helm repo add datadog https://helm.datadoghq.com

      helm repo update

      helm upgrade --install \
  opw datadog/observability-pipelines-worker \
  -f google_gke.yaml

    1 行のインストールスクリプトまたは手動でワーカーをインストールします。

    1 行のインストールスクリプト

    1. 1 行のインストールコマンドを実行して、ワーカーをインストールします。<DD_API_KEY> を Datadog API キー、<PIPELINES_ID> を観測可能性パイプライン ID、<SITE> を に置き換えます。

      DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"

    2. サンプルのコンフィギュレーションファイルをホストの /etc/observability-pipelines-worker/pipeline.yaml にダウンロードします。サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    3. ワーカーを起動します。

      sudo systemctl restart observability-pipelines-worker

    手動インストール

    1. 以下のコマンドを実行し、APT が HTTPS 経由でダウンロードするようにセットアップします。

      sudo apt-get update
sudo apt-get install apt-transport-https curl gnupg

    2. 以下のコマンドを実行して、システム上に Datadog の deb リポジトリをセットアップし、Datadog のアーカイブキーリングを作成します。

      sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/datadog-archive-keyring.gpg] https://apt.datadoghq.com/ stable observability-pipelines-worker-1' > /etc/apt/sources.list.d/datadog-observability-pipelines-worker.list"
sudo touch /usr/share/keyrings/datadog-archive-keyring.gpg
sudo chmod a+r /usr/share/keyrings/datadog-archive-keyring.gpg
curl https://keys.datadoghq.com/DATADOG_APT_KEY_CURRENT.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_06462314.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_F14F620E.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_C0962C7D.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch

    3. Run the following commands to update your local apt repo and install the Worker:

      sudo apt-get update
sudo apt-get install observability-pipelines-worker datadog-signing-keys

    4. Add your keys and the site () to the Worker’s environment variables:

      sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
EOF

    5. ホストの /etc/observability-pipelines-worker/pipeline.yaml にサンプルコンフィギュレーションファイルをダウンロードします。

    6. ワーカーを起動します。

      sudo systemctl restart observability-pipelines-worker

    1 行のインストールスクリプトまたは手動でワーカーをインストールします。

    1 行のインストールスクリプト

    1. 1 行のインストールコマンドを実行して、ワーカーをインストールします。<DD_API_KEY> を Datadog API キー、<PIPELINES_ID> を観測可能性パイプライン ID、<SITE> を に置き換えます。

      DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"

    2. サンプルのコンフィギュレーションファイルをホストの /etc/observability-pipelines-worker/pipeline.yaml にダウンロードします。サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    3. 以下のコマンドを実行してワーカーを起動します。

      sudo systemctl restart observability-pipelines-worker

    手動インストール

    1. 以下のコマンドを実行して、システム上に Datadog の rpm リポジトリをセットアップします。

      cat <<EOF > /etc/yum.repos.d/datadog-observability-pipelines-worker.repo
[observability-pipelines-worker]
name = Observability Pipelines Worker
baseurl = https://yum.datadoghq.com/stable/observability-pipelines-worker-1/\$basearch/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://keys.datadoghq.com/DATADOG_RPM_KEY_CURRENT.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_4F09D16B.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_B01082D3.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_FD4BF915.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_E09422B3.public
EOF

      注: RHEL 8.1 または CentOS 8.1 を使用している場合は、上記の構成で repo_gpgcheck=1 の代わりに repo_gpgcheck=0 を使用してください。

    2. パッケージを更新し、ワーカーをインストールします。

      sudo yum makecache
sudo yum install observability-pipelines-worker

    3. Add your keys and the site () to the Worker’s environment variables:

      sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
EOF

    4. サンプルのコンフィギュレーションファイルをホストの /etc/observability-pipelines-worker/pipeline.yaml にダウンロードします。サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    5. 以下のコマンドを実行してワーカーを起動します。

      sudo systemctl restart observability-pipelines-worker
    1. サンプル構成をダウンロードします。
    2. サンプル構成を使って、既存の Terraform に Worker モジュールをセットアップします。必ず、構成内の vpc-id、subnet-ids、region の値を AWS のデプロイに合わせて更新します。また、パイプラインに合わせて datadog-api-key と pipeline-id の値も更新します。

    サンプル構成で使用されているソース、トランスフォーム、シンクの詳細については、構成を参照してください。

    データの変換については、データを活用するを参照してください。

    Updating deployment modes

    パイプラインをデプロイした後、手動で管理するパイプラインからリモート構成が有効なパイプラインへ、またはその逆など、デプロイメント方法を切り替えることもできます。

    リモート構成のデプロイメントから手動管理のデプロイメントに切り替えたい場合

    1. Observability Pipelines に移動し、パイプラインを選択します。
    2. 設定歯車をクリックします。
    3. Deployment Mode で、manual を選択して有効にします。
    4. DD_OP_REMOTE_CONFIGURATION_ENABLED フラグを false に設定し、ワーカーを再起動します。このフラグで再起動されていないワーカーはリモート構成が有効であり続け、つまりワーカーはローカルコンフィギュレーションファイルを通して手動で更新されません。

    手動で管理していたデプロイメントからリモート構成のデプロイメントに切り替えたい場合

    1. Observability Pipelines に移動し、パイプラインを選択します。
    2. 設定歯車をクリックします。
    3. Deployment Mode で、Remote Configuration を選択して有効にします。
    4. DD_OP_REMOTE_CONFIGURATION_ENABLED フラグを true に設定し、ワーカーを再起動します。このフラグで再起動されていないワーカーは UI にデプロイされた構成に対してポーリングされません。
    5. バージョン履歴にあるバージョンをデプロイして、ワーカーが新しいバージョン構成を受け取れるようにします。バージョンをクリックします。Edit as Draft をクリックし、Deploy をクリックします。

    次のステップ

    クイックスタートでは、ワーカーのインストールとサンプルパイプライン構成のデプロイについて説明しました。データを受信して Datadog Agent から Datadog へ、または Splunk HEC から Splunk と Datadog へルーティングするためのワーカーのインストール方法については、特定のユースケースを選択してください。

    Datadog
    Splunk

    複数の Worker のデプロイとスケーリングに関する推奨事項については、こちらをご覧ください。

    参考資料

    お役に立つドキュメント、リンクや記事:

    観測可能性パイプラインのデータの操作ドキュメント more more 観測可能性パイプラインワーカーのデプロイ設計と原則ドキュメント more more 観測可能性パイプラインワーカーの本番デプロイ設計と原則ドキュメント more more 観測可能性パイプラインによる安心・安全なローカル処理ラーニングセンター more more
    PREVIEWING: safchain/fix-custom-agent