Hudi

Supported OS Linux Windows Mac OS

インテグレーションバージョン4.0.0

概要

このチェックは Hudi を監視しています。 Hudi バージョン 0.10.0 以降と互換性があります。

セットアップ

インストール

Hudi チェックは Datadog Agent パッケージに含まれています。 サーバーに追加でインストールする必要はありません。

構成

  1. Hudi で JMX Metrics Reporter を構成します。

    hoodie.metrics.on=true
hoodie.metrics.reporter.type=JMX
hoodie.metrics.jmx.host=<JMX_HOST>
hoodie.metrics.jmx.port=<JMX_PORT>

  2. Agent の構成ディレクトリのルートにある conf.d/ フォルダーの hudi.d/conf.yaml ファイルを編集して、 hudi パフォーマンスデータの収集を開始します。 使用可能なすべてのコンフィギュレーションオプションの詳細については、サンプル hudi.d/conf.yaml を参照してください。

    このチェックは、1 インスタンスあたり 350 メトリクスの制限があります。返されたメトリクスの数は、Datadog Agent の status コマンドを実行したときに表示されます。 構成を編集することで、関心があるメトリクスを指定できます。 収集するメトリクスをカスタマイズする方法については、JMX チェックのドキュメントで詳細な手順を参照してください。 制限以上のメトリクスを監視する必要がある場合は、Datadog のサポートチームまでお問い合わせください。

  3. Agent を再起動します

検証

Agent の status サブコマンドを実行し、Checks セクションで hudi を探します。

収集データ

メトリクス

ログ収集

Agent バージョン 6.0 以降で利用可能

  1. Hudi はデフォルトで log4j というロガーを使用します。フォーマットをカスタマイズするには、Flink または Spark の conf ディレクトリにある log4j.properties ファイルを編集してください。以下に log4j.properties ファイルの例を挙げます。

     log4j.rootCategory=INFO, file
 log4j.appender.file=org.apache.log4j.FileAppender
 log4j.appender.file.File=/var/log/hudi.log
 log4j.appender.file.append=false
 log4j.appender.file.layout=org.apache.log4j.PatternLayout
 log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

  2. Datadog のインテグレーションパイプラインは、デフォルトで、次の変換パターンをサポートします。

    %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    タイムスタンプの部分には、たとえば 2020-02-03 18:43:12,251 などが入ります。

    フォーマットが異なる場合は、インテグレーションパイプラインを複製して編集してください。

  3. Datadog Agent で、ログの収集はデフォルトで無効になっています。以下のように、datadog.yaml ファイルでこれを有効にします。

    logs_enabled: true

  4. hudi.d/conf.yaml ファイルのコメントを解除して、ログコンフィギュレーションブロックを編集します。環境に基づいて、path パラメーターと service パラメーターの値を変更してください。使用可能なすべてのコンフィギュレーションオプションの詳細については、hudi.d/conf.yaml のサンプルを参照してください。

    logs:
  - type: file
    path: /var/log/hudi.log
    source: hudi
    log_processing_rules:
      - type: multi_line
        pattern: \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])
        name: new_log_start_with_date

イベント

Hudi インテグレーションには、イベントは含まれません。

サービスチェック

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問い合わせください。

PREVIEWING: may/embedded-workflows