概要

Amazon Managed Streaming for Apache Kafka (MSK) は、Apache Kafka を使用してストリーミングデータを処理するアプリケーションを、簡単に構築して実行できるフルマネージド型のサービスです。

このインテグレーションからメトリクスを収集する方法は、Datadog Agent を使用する方法と、クローラーを使用して CloudWatch からメトリクスを収集する方法の 2 通りあります。

セットアップ

Agent チェックは、Datadog Agent を通じて、Amazon Managed Streaming for Apache Kafka (Amazon MSK) を監視します。

ホストで実行されている Agent 用にこのチェックをインストールおよび構成する場合は、以下の手順に従ってください。コンテナ環境の場合は、オートディスカバリーのインテグレーションテンプレートのガイドを参照してこの手順を行ってください。

この OpenMetrics ベースのインテグレーションには、最新モード (use_openmetrics: true) とレガシーモード (use_openmetrics: false) があります。すべての最新機能を利用するために、Datadog は最新モードを有効にすることを推奨します。詳しくは、OpenMetrics ベースのインテグレーションにおける最新バージョニングとレガシーバージョニングを参照してください。

インストール

1. まだ作成していない場合は、クライアントマシンを作成します。
2. クライアントマシンに権限ポリシー (arn:aws:iam::aws:policy/AmazonMSKReadOnlyAccess) が付与されている、または同等の資格情報が利用可能であることを確認します。
3. MSK 側で Prometheus によるオープンモニタリングを有効にし、JmxExporter および NodeExporter を有効にします。
4. 作成したクライアントマシンに Datadog Agent をインストールします。

構成

1. Amazon MSK のパフォーマンスデータの収集を開始するには、Agent の構成ディレクトリのルートにある conf.d/ フォルダーの amazon_msk.d/conf.yaml ファイルを編集します。

   このインテグレーションで提供されるすべてのメトリクスとサービスチェックに関連付けられるカスタムタグを含めます。

   tags:
     - <KEY_1>:<VALUE_1>
     - <KEY_2>:<VALUE_2>
   

   最新モードで利用可能なすべての構成オプションについては、amazon_msk.d/conf.yaml のサンプルを参照してください。このインテグレーションのレガシーモードについては、レガシー例を参照してください。

2. Agent を再起動します。

検証

Agent の status サブコマンドを実行し、Checks セクションで amazon_msk を探します。

収集データ

メトリクス

イベント

Amazon MSK チェックには、イベントは含まれません。

サービスチェック

このインテグレーションによって提供されるサービスチェックのリストについては、service_checks.json を参照してください。

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。

その他の参考資料

お役に立つドキュメント、リンクや記事:

• Datadog による Amazon Managed Streaming for Apache Kafka の監視