Amazon EMR

概要

Data Jobs Monitoring は、EMR クラスター上の Spark ジョブの観測、トラブルシューティング、コスト最適化を支援します。

Amazon EMR は、膨大な量のデータを迅速かつコスト効率よく簡単に処理できる Web サービスです。

このインテグレーションを有効にすると、EMR メトリクスを Datadog に表示できます。

セットアップ

インストール

Amazon Web Services インテグレーションをまだセットアップしていない場合は、最初にセットアップします。

メトリクスの収集

  1. AWS インテグレーションページで、Metric Collection タブの下にある EMR が有効になっていることを確認します。

  2. Amazon EMR のメトリクスを収集するには、次のアクセス許可を Datadog IAM ポリシーに追加します。詳細については、AWS ウェブサイト上の EMR ポリシーを参照してください。

    AWS アクセス許可説明
    elasticmapreduce:ListClusters使用できるクラスターを一覧表示します。
    elasticmapreduce:DescribeClusterCloudWatch EMR メトリクスにタグを追加します。

  3. Datadog - Amazon EMR インテグレーションをインストールします。

ログ収集

ログの有効化

Amazon EMR から S3 バケットまたは CloudWatch のいずれかにログを送信するよう構成します。

注: S3 バケットにログを送る場合は、Target prefix が amazon_emr に設定されているかを確認してください。

ログを Datadog に送信する方法

  1. Datadog Forwarder Lambda 関数をまだセットアップしていない場合は、セットアップします。

  2. Lambda 関数がインストールされたら、AWS コンソールから、Amazon EMR ログを含む S3 バケットまたは CloudWatch のロググループに手動でトリガーを追加します。

収集データ

メトリクス

AWS から取得される各メトリクスには、ホスト名やセキュリティ グループなど、AWS コンソールに表示されるのと同じタグが割り当てられます。

イベント

Amazon EMR インテグレーションには、イベントは含まれません。

サービスチェック

Amazon EMR インテグレーションには、サービスのチェック機能は含まれません。

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。

PREVIEWING: may/embedded-workflows