概要
Settings ページで LLM アプリケーションを設定することで、アプリケーションのパフォーマンスとセキュリティを最適化できます。
Evaluations:
Datadog が LLM アプリケーションを品質、セキュリティ、そして安全性などの観点で評価できるようにします。Evaluations を有効化することで、アプリケーションの応答効果を分析し、パフォーマンスおよびユーザーの安全面の両方で高い水準を維持できます。Evaluations の詳細については、Terms and Concepts を参照してください。
Topics:
topic relevancy の既定の評価機能において、無関係な入力を識別するのに役立ちます。これにより、LLM アプリケーションが本来の目的にしっかりと集中した状態を保てます。
アカウントを接続する
OpenAI の API キーを使用して、OpenAI アカウントを LLM Observability に接続します。
- Datadog で、LLM Observability > Settings > Integrations に移動します。
- OpenAI のタイルで Connect を選択します。
- タイル上の手順に従って進めます。
- OpenAI API キーを入力します。必ずこのキーに model capabilities の書き込み権限があることを確認してください。
- Use this API key to evaluate your LLM applications を有効にします。
OpenAI API キーを使用して Azure OpenAI アカウントを LLM Observability に接続します。評価には GPT-4o mini モデルの使用を強く推奨します。
- Datadog で、LLM Observability > Settings > Integrations に移動します。
- Azure OpenAI のタイルで Connect を選択します。
- タイル上の手順に従って進めます。
- Azure OpenAI API キーを入力します。必ずこのキーに model capabilities の書き込み権限があることを確認してください。
- リソース名 (Resource Name)、デプロイ ID (Deployment ID)、API バージョンを入力して、インテグレーションを完了します。
評価を選択して有効化する
- LLM Observability > Settings > Evaluations に移動します。
- 有効にしたい評価をクリックします。
- OpenAI または Azure OpenAI を LLM プロバイダーとして選択します。
- 評価を実行するアカウントを選択します。
- 評価を実行したい LLM アプリケーションを指定します。
Save をクリックすると、LLM Observability は提供された API キーを使用して GPT-4o mini モデルを呼び出します。
Evaluations の詳細については、Terms and Concepts を参照してください。
推定トークン使用量 (Estimated Token Usage)
LLM Observability では、Evaluations を動かすために消費されるトークン量を監視・管理できるメトリクスを提供しています。以下のメトリクスを使用して、Evaluations に必要な LLM リソースの利用状況を把握することができます。
ml_obs.estimated_usage.llm.input.tokensml_obs.estimated_usage.llm.output.tokensml_obs.estimated_usage.llm.total.tokens
これらのメトリクスには、ml_app、model_server、model_provider、model_name、evaluation_name といったタグが付与されるため、どのアプリケーション、モデル、評価が使用量に寄与しているかを正確に特定できます。
topic relevancy に使用するトピックを設定する
topic relevancy 評価を使用するには、あらかじめ Topics を設定します。
- LLM Observability > Applications に移動します。
- トピックを追加したいアプリケーションを選択します。
- 左のサイドバー下部にある Configuration を選択します。
- ポップアップでトピックを追加します。
トピックには複数の単語を含めることができ、できるだけ具体的かつ説明的な内容が望ましいです。例: インシデント管理を目的とした LLM アプリケーションであれば、「observability」「software engineering」「incident resolution」など。E コマースストアの顧客問い合わせを扱うアプリケーションの場合、「Customer questions about purchasing furniture on an e-commerce store」のように詳しい記述が有効です。
その他の参考資料
