概要
Google Cloud Dataproc は、Apache Spark と Apache Hadoop のクラスターを簡単かつコスト効率よく実行するための高速で使いやすいフルマネージド型のクラウドサービスです。
Datadog Google Cloud Platform インテグレーションを使用して、Google Cloud Dataproc からメトリクスを収集できます。
セットアップ
インストール
Google Cloud Platform インテグレーションをまだセットアップしていない場合は、最初にセットアップします。それ以上のインストール手順はありません。
ログ収集
Google Cloud Dataproc のログは Google Cloud Logging で収集され、Cloud Pub/Sub トピックを通じて Dataflow ジョブに送信されます。まだの場合は、Datadog Dataflow テンプレートでロギングをセットアップしてください。
これが完了したら、Google Cloud Dataproc のログを Google Cloud Logging から Pub/Sub トピックへエクスポートします。
- Google Cloud Logging のページに移動し、Google Cloud Dataproc のログを絞り込みます。
- Create Export をクリックし、シンクに名前を付けます。
- 宛先として “Cloud Pub/Sub” を選択し、その目的で作成された Pub/Sub トピックを選択します。注: Pub/Sub トピックは別のプロジェクトに配置できます。
- 作成をクリックし、確認メッセージが表示されるまで待ちます。
収集データ
メトリクス
イベント
Google Cloud Dataproc インテグレーションには、イベントは含まれません。
サービスチェック
Google Cloud Dataproc インテグレーションには、サービスのチェック機能は含まれません。
トラブルシューティング
ご不明な点は、Datadog のサポートチームまでお問い合わせください。
