Supported OS Linux Windows Mac OS

インテグレーションバージョン5.3.1

Hadoop Yarn

概要

このチェックは、YARN ResourceManager からメトリクスを収集します。以下は、メトリクスの一例です。

  • クラスター全体のメトリクス (実行中のアプリ、実行中のコンテナ、異常なノードの数など)
  • アプリケーションごとのメトリクス (アプリの進捗状況、経過した実行時間、実行中のコンテナ数、メモリ使用量など)
  • ノードメトリクス (使用可能な vCores、最新の健全性更新時間など)

非推奨のお知らせ

yarn.apps メトリクスは GAUGE ではなく RATE として誤って報告されるため、yarn.apps.<メトリクス> メトリクスは非推奨になりました。yarn.apps.<メトリクス>_gauge メトリクスを使用してください。

セットアップ

インストール

YARN チェックは Datadog Agent パッケージに含まれています。YARN ResourceManager に追加でインストールする必要はありません。

構成

ホスト

ホストで実行中の Agent に対してこのチェックを構成するには

  1. Agent の構成ディレクトリのルートにある conf.d/ フォルダーの yarn.d/conf.yaml ファイルを編集します。

    init_config:
    
    instances:
      ## @param resourcemanager_uri - string - required
      ## The YARN check retrieves metrics from YARNS's ResourceManager. This
      ## check must be run from the Master Node and the ResourceManager URI must
      ## be specified below. The ResourceManager URI is composed of the
      ## ResourceManager's hostname and port.
      ## The ResourceManager hostname can be found in the yarn-site.xml conf file
      ## under the property yarn.resourcemanager.address
      ##
      ## The ResourceManager port can be found in the yarn-site.xml conf file under
      ## the property yarn.resourcemanager.webapp.address
      #
      - resourcemanager_uri: http://localhost:8088
    
        ## @param cluster_name - string - required - default: default_cluster
        ## A friendly name for the cluster.
        #
        cluster_name: default_cluster
    

    すべてのチェックオプションの一覧と説明については、チェックコンフィギュレーションの例を参照してください。

  2. Agent を再起動すると、Datadog への YARN メトリクスの送信が開始されます。

コンテナ化

コンテナ環境の場合は、オートディスカバリーのインテグレーションテンプレートのガイドを参照して、次のパラメーターを適用してください。

パラメーター
<INTEGRATION_NAME>yarn
<INIT_CONFIG>空白または {}
<INSTANCE_CONFIG>{"resourcemanager_uri": "http://%%host%%:%%port%%", "cluster_name": "<クラスター名>"}
ログ収集
  1. Datadog Agent で、ログの収集はデフォルトで無効になっています。以下のように、datadog.yaml ファイルでこれを有効にします。

    logs_enabled: true
    
  2. yarn.d/conf.yaml ファイルのコメントを解除して、ログコンフィギュレーションブロックを編集します。環境に基づいて、 typepathservice パラメーターの値を変更してください。使用可能なすべての構成オプションの詳細については、サンプル yarn.d/conf.yaml を参照してください。

    logs:
      - type: file
        path: <LOG_FILE_PATH>
        source: yarn
        service: <SERVICE_NAME>
        # To handle multi line that starts with yyyy-mm-dd use the following pattern
        # log_processing_rules:
        #   - type: multi_line
        #     pattern: \d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2},\d{3}
        #     name: new_log_start_with_date
    
  3. Agent を再起動します

Docker 環境のログを有効にするには、Docker ログ収集を参照してください。

検証

Agent の status サブコマンドを実行し、Checks セクションで yarn を探します。

収集データ

メトリクス

イベント

Yarn チェックには、イベントは含まれません。

サービスチェック

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。

その他の参考資料

PREVIEWING: may/restructure-op-docs