Rastrear una aplicación LLM
LLM Observability no está disponible en el sitio seleccionado () en este momento.
Esta guía utiliza los SDK de LLM Observability para Python y Node.js. Si tu aplicación está escrita en otro lenguaje, puedes crear trazas (traces) llamando a la API en su lugar.
Configuración
Notebooks Jupyter
Para entender mejor los términos y conceptos de LLM Observability, puedes explorar los ejemplos en el repositorio de notebooks de LLM Observability. Estos notebooks proporcionan una experiencia práctica y te permiten aplicar estos conceptos en tiempo real.
Línea de comandos
Para generar una traza (trace) de LLM Observability, puedes ejecutar un script Python o Node.js.
Requisitos previos
- LLM Observability requiere una clave de API Datadog. Para obtener más información, consulta las instrucciones para crear una clave de API.
- El siguiente script de ejemplo utiliza OpenAI, pero puedes modificarlo para utilizar un proveedor diferente. Para ejecutar el script tal y como está escrito, necesitas:
Instala los paquetes de SDK y OpenAI:
pip install ddtrace
pip install openai
Crea un script, que hace una única llamada a OpenAI.
import os
from openai import OpenAI
oai_client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))
completion = oai_client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[
{"role": "system", "content": "You are a helpful customer assistant for a furniture store."},
{"role": "user", "content": "I'd like to buy a chair for my living room."},
],
)
Ejecuta el script con el siguiente comando shell. Esto envía una traza de la llamada de OpenAI a Datadog.
DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=onboarding-quickstart \
DD_API_KEY=<YOUR_DATADOG_API_KEY> DD_SITE=<YOUR_DD_SITE> \
DD_LLMOBS_AGENTLESS_ENABLED=1 ddtrace-run python quickstart.py
Sustituye <YOUR_DATADOG_API_KEY> por tu clave de API Datadog y <YOUR_DD_SITE> por tu sitio Datadog.
Para obtener más información sobre las variables de entorno necesarias, consulta la documentación del SDK.
Instala los paquetes de SDK y OpenAI:
npm install dd-trace
npm install openai
Crea un script, que hace una única llamada a OpenAI.
const { OpenAI } = require('openai');
const oaiClient = new OpenAI(process.env.OPENAI_API_KEY);
function main () {
const completion = await oaiClient.chat.completions.create({
model: 'gpt-3.5-turbo',
messages: [
{ role: 'system', content: 'You are a helpful customer assistant for a furniture store.' },
{ role: 'user', content: 'I\'d like to buy a chair for my living room.' },
]
});
}
main();
Ejecuta el script con el siguiente comando shell. Esto envía una traza de la llamada de OpenAI a Datadog.
DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=onboarding-quickstart \
DD_API_KEY=<YOUR_DATADOG_API_KEY> DD_SITE=<YOUR_DD_SITE> \
DD_LLMOBS_AGENTLESS_ENABLED=1 NODE_OPTIONS="--import dd-trace/initialize.mjs" node quickstart.js
Sustituye <YOUR_DATADOG_API_KEY> por tu clave de API Datadog y <YOUR_DD_SITE> por tu sitio Datadog.
Para obtener más información sobre las variables de entorno necesarias, consulta la documentación del SDK.
Nota: DD_LLMOBS_AGENTLESS_ENABLED sólo es necesaria si no se está ejecutando el Datadog Agent. Si el Agent se está ejecutando en tu entorno de producción, asegúrate de que esta variable de entorno no está configurada.
Consulta la traza de tu llamada LLM en la pestaña Trazas de la página LLM Observability en Datadog.
La traza que ves se compone de un único tramo (span) LLM. El comando ddtrace-run o NODE_OPTIONS="--import dd-trace/initialize.mjs" automáticamente rastrea tus llamadas LLM desde la lista de integraciones compatibles de Datadog.
Si tu aplicación incluye avisos, cadenas complejas o flujos de trabajo más elaborados que involucran LLM, puedes rastrearlos utilizando la documentación de configuración y la documentación del SDK.
Referencias adicionales
Más enlaces, artículos y documentación útiles:
