概要
Superwise は、大規模な機械学習 (ML) 運用のためのモデル観測性を提供します。
Superwise のモデル観測機能により、モデルの挙動を可視化し、コンテキストを提供することで、様々なユースケースに基づくモデルリスクを容易に監視することができます。Superwise を使用することで、データサイエンティスト、ML エンジニア、ビジネスオペレーションは、アラートに疲れることなくモデル観測性を得られるので、モデル管理について自信を持つことができます。
Superwise のモデルメトリクスとインシデントのインテグレーションは、ドリフト、アクティビティ、インシデント、カスタムメトリクスなど、すぐに使えるモデルメトリクスを Datadog に直接送信します。ユースケース、ロジック、セグメンテーション、しきい値、感度を任意に構成し、どのモデルが期待通りの結果を予測できていないかの概要を得ることができます。
Superwise で Datadog インテグレーションを構成すると、標準的なモデルメトリクスが Datadog に送信され、ユーザーは Datadog でモデル観測性のダッシュボードを取得できます。特定のモデルメトリクスやインシデントポリシーを構成し、Datadog に送信することで、ユースケースに合わせたモデル観測性を実現することが可能です。
セットアップ
Superwise ポータルで、Integrations を選択します。
Create a new channel をクリックし、Datadog を選択します。
Datadog の API キーとアプリケーションキーを入力し、Test をクリックします。インテグレーションを検証するために、Datadog アカウントにテストリクエストが送信されます。リクエストの送信が成功した場合、Superwise にテストが正常に配信された旨のメッセージが表示されます。セットアップを終了するには、Create channel をクリックします。
セットアップが完了すると、新しい Datadog インテグレーションウィジェットが利用できるようになります。
検証
Datadog の Metrics Explorer で、メトリクス superwise.integration.test を検索して、Superwise と Datadog 間のインテグレーションが機能していることを確認します。
収集データ
メトリクス
superwise.metric.overall.data_drift
(gauge) | Average distribution shifts across all features.
Shown as day |
superwise.metric.overall.weighted_data_drift
(gauge) | Average distribution shifts across all features weighted by importance.
Shown as day |
superwise.metric.overall.quantity
(gauge) | Number of records sent.
Shown as day |
イベント
Superwise インテグレーションには、イベントは含まれません。
サービスチェック
Superwise インテグレーションには、サービスのチェック機能は含まれません。
トラブルシューティング
サポートが必要な場合は、Superwise のドキュメントをご覧ください。
その他の参考資料
お役に立つドキュメント、リンクや記事:
