概要
Google Cloud Dataflow は、ストリーム (リアルタイム) モードとバッチ (履歴) モードのどちらでも、同等の信頼性と表現力でデータを変換し、強化することができる、フルマネージド型のサービスです。
Datadog Google Cloud インテグレーションを使用して、Google Cloud Dataflow からメトリクスを収集できます。
セットアップ
メトリクスの収集
インストール
Google Cloud Platform インテグレーションをまだセットアップしていない場合は、最初にセットアップします。それ以上のインストール手順はありません。
収集データ
Google Cloud Dataflow のログは Google Cloud Logging で収集され、Cloud Pub/Sub トピックを通じて Dataflow ジョブに送信されます。まだの場合は、Datadog Dataflow テンプレートでロギングをセットアップしてください。
これが完了したら、Google Cloud Dataflow のログを Google Cloud Logging から Pub/Sub へエクスポートします。
- Google Cloud Logging のページに移動し、Google Cloud Dataflow のログを絞り込みます。
- シンクを作成し、シンクに適宜名前を付けます。
- 宛先として “Cloud Pub/Sub” を選択し、その目的で作成された Pub/Sub トピックを選択します。注: Pub/Sub トピックは別のプロジェクトに配置できます。
- 作成をクリックし、確認メッセージが表示されるまで待ちます。
収集データ
メトリクス
Google Cloud Dataflow を使って Apache Beam パイプラインのメトリクスを監視する場合、Gauge の静的メソッドから生成されたメトリクスは収集されないことに注意してください。これらのメトリクスを監視する必要がある場合は、
Micrometer を使用できます。
イベント
Google Cloud Dataflow インテグレーションには、イベントは含まれません。
サービスチェック
Google Cloud Dataflow インテグレーションには、サービスのチェック機能は含まれません。
トラブルシューティング
ご不明な点は、Datadog のサポートチームまでお問い合わせください。
その他の参考資料
