DataDog の Fiddler ダッシュボード
概要
Fiddler のモデルパフォーマンス管理プラットフォームは、モデルのパフォーマンスメトリクスが低下したときにリアルタイムでアラートを送信して機械学習モデルのパフォーマンスを監視し、ユーザーは推論データを分析してモデルのパフォーマンスが低下している理由を理解することが可能です。このインテグレーションには、メトリクスと精度、トラフィック、ドリフトなどのパフォーマンスメトリクスを表示するすぐに使えるダッシュボードが含まれています。
セットアップ
Fiddler チェックは Datadog Agent パッケージに含まれていないため、お客様自身でインストールする必要があります。
インストール
Agent v7.21 / v6.21 以降の場合は、下記の手順に従い Fiddler チェックをホストにインストールします。Docker Agent または 上記バージョン以前の Agent でインストールする場合は、コミュニティインテグレーションの使用をご参照ください。
以下のコマンドを実行して、Agent インテグレーションをインストールします。
datadog-agent integration install -t datadog-fiddler==3.0.0
Agent ベースのインテグレーションと同様にインテグレーションを構成します。
構成
Agent の構成ディレクトリのルートにある conf.d/ フォルダ内の fiddler.d/conf.yaml ファイルを編集し、Fiddler のパフォーマンスデータの収集を開始します。利用可能なすべての構成オプションは、サンプル fiddler.d/conf.yaml を参照してください。url、org、fiddler_api_key パラメーターは、インテグレーションがクエリしたい Fiddler 環境用に更新する必要があります。また、Fiddler は conf.yaml ファイル内の minimum_collection_interval 設定を 300 (5分) に設定することを推奨します。
Agent を再起動します。
検証
Agent の status サブコマンドを実行し、Checks セクションで fiddler を探します。
収集データ
メトリクス
このチェックによって提供されるメトリクスのリストについては、metadata.csv を参照してください。
サービスチェック
fiddler.can_connect
Returns CRITICAL if the Agent is unable to connect to and collect metrics from the monitored Fiddler instance. Returns OK otherwise.
Statuses: ok, critical
トラブルシューティング
ご不明な点は、Fiddler のサポートチームまでお問い合わせください。
