
概要
このチェックは、YARN ResourceManager からメトリクスを収集します。以下は、メトリクスの一例です。
- クラスター全体のメトリクス (実行中のアプリ、実行中のコンテナ、異常なノードの数など)
- アプリケーションごとのメトリクス (アプリの進捗状況、経過した実行時間、実行中のコンテナ数、メモリ使用量など)
- ノードメトリクス (使用可能な vCores、最新の健全性更新時間など)
非推奨のお知らせ
yarn.apps
メトリクスは GAUGE
ではなく RATE
として誤って報告されるため、yarn.apps.<メトリクス>
メトリクスは非推奨になりました。yarn.apps.<メトリクス>_gauge
メトリクスを使用してください。
セットアップ
インストール
YARN チェックは Datadog Agent パッケージに含まれています。YARN ResourceManager に追加でインストールする必要はありません。
構成
ホスト
ホストで実行中の Agent に対してこのチェックを構成するには
Agent の構成ディレクトリのルートにある conf.d/
フォルダーの yarn.d/conf.yaml
ファイルを編集します。
init_config:
instances:
## @param resourcemanager_uri - string - required
## The YARN check retrieves metrics from YARNS's ResourceManager. This
## check must be run from the Master Node and the ResourceManager URI must
## be specified below. The ResourceManager URI is composed of the
## ResourceManager's hostname and port.
## The ResourceManager hostname can be found in the yarn-site.xml conf file
## under the property yarn.resourcemanager.address
##
## The ResourceManager port can be found in the yarn-site.xml conf file under
## the property yarn.resourcemanager.webapp.address
#
- resourcemanager_uri: http://localhost:8088
## @param cluster_name - string - required - default: default_cluster
## A friendly name for the cluster.
#
cluster_name: default_cluster
すべてのチェックオプションの一覧と説明については、チェックコンフィギュレーションの例を参照してください。
Agent を再起動すると、Datadog への YARN メトリクスの送信が開始されます。
コンテナ化
コンテナ環境の場合は、オートディスカバリーのインテグレーションテンプレートのガイドを参照して、次のパラメーターを適用してください。
パラメーター | 値 |
---|
<INTEGRATION_NAME> | yarn |
<INIT_CONFIG> | 空白または {} |
<INSTANCE_CONFIG> | {"resourcemanager_uri": "http://%%host%%:%%port%%", "cluster_name": "<クラスター名>"} |
ログ収集
Datadog Agent で、ログの収集はデフォルトで無効になっています。以下のように、datadog.yaml
ファイルでこれを有効にします。
yarn.d/conf.yaml
ファイルのコメントを解除して、ログコンフィギュレーションブロックを編集します。環境に基づいて、 type
、path
、service
パラメーターの値を変更してください。使用可能なすべての構成オプションの詳細については、サンプル yarn.d/conf.yaml を参照してください。
logs:
- type: file
path: <LOG_FILE_PATH>
source: yarn
service: <SERVICE_NAME>
# To handle multi line that starts with yyyy-mm-dd use the following pattern
# log_processing_rules:
# - type: multi_line
# pattern: \d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2},\d{3}
# name: new_log_start_with_date
Agent を再起動します。
Docker 環境のログを有効にするには、Docker ログ収集を参照してください。
検証
Agent の status サブコマンドを実行し、Checks セクションで yarn
を探します。
収集データ
メトリクス
イベント
Yarn チェックには、イベントは含まれません。
サービスチェック
トラブルシューティング
ご不明な点は、Datadog のサポートチームまでお問合せください。
その他の参考資料