Rastrear una aplicación LLM

Documentos > Observabilidad de LLM > Rastrear una aplicación LLM

Información general

Esta guía utiliza los SDK de LLM Observability para Python y Node.js. Si tu aplicación está escrita en otro lenguaje, puedes crear trazas (traces) llamando a la API en su lugar.

Para entender mejor los términos y conceptos de LLM Observability, puedes explorar los ejemplos en el repositorio de notebooks de LLM Observability. Estos notebooks proporcionan una experiencia práctica y te permiten aplicar estos conceptos en tiempo real.

Línea de comandos

Para generar una traza (trace) de LLM Observability, puedes ejecutar un script Python o Node.js.

Requisitos previos

LLM Observability requiere una clave de API Datadog. Para obtener más información, consulta las instrucciones para crear una clave de API.
El siguiente script de ejemplo utiliza OpenAI, pero puedes modificarlo para utilizar un proveedor diferente. Para ejecutar el script tal y como está escrito, necesitas:
- Una clave de API OpenAI almacenada en tu entorno como OPENAI_API_KEY. Para crear una, consulta la configuración de la cuenta y Configurar tu clave de API en la documentación oficial de OpenAI.
- Biblioteca OpenAI Python instalada. Para obtener instrucciones, consulta la configuración de Python en la documentación oficial de OpenAI.

Instala los paquetes de SDK y OpenAI:
```
pip install ddtrace
pip install openai
```

Crea un script, que hace una única llamada a OpenAI.

import os
from openai import OpenAI

oai_client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))

completion = oai_client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[
     {"role": "system", "content": "You are a helpful customer assistant for a furniture store."},
     {"role": "user", "content": "I'd like to buy a chair for my living room."},
 ],
)

Ejecuta el script con el siguiente comando shell. Esto envía una traza de la llamada de OpenAI a Datadog.
```
DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=onboarding-quickstart \
DD_API_KEY=<YOUR_DATADOG_API_KEY> DD_SITE=<YOUR_DD_SITE> \
DD_LLMOBS_AGENTLESS_ENABLED=1 ddtrace-run python quickstart.py
```
Sustituye <YOUR_DATADOG_API_KEY> por tu clave de API Datadog y <YOUR_DD_SITE> por tu sitio Datadog.
Para obtener más información sobre las variables de entorno necesarias, consulta la documentación del SDK.

Instala los paquetes de SDK y OpenAI:

npm install dd-trace
npm install openai

Crea un script, que hace una única llamada a OpenAI.

const { OpenAI } = require('openai');

const oaiClient = new OpenAI(process.env.OPENAI_API_KEY);

function main () {
   const completion = await oaiClient.chat.completions.create({
      model: 'gpt-3.5-turbo',
      messages: [
         { role: 'system', content: 'You are a helpful customer assistant for a furniture store.' },
         { role: 'user', content: 'I\'d like to buy a chair for my living room.' },
      ]
   });
}

main();

Ejecuta el script con el siguiente comando shell. Esto envía una traza de la llamada de OpenAI a Datadog.
```
DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=onboarding-quickstart \
DD_API_KEY=<YOUR_DATADOG_API_KEY> DD_SITE=<YOUR_DD_SITE> \
DD_LLMOBS_AGENTLESS_ENABLED=1 NODE_OPTIONS="--import dd-trace/initialize.mjs" node quickstart.js
```
Sustituye <YOUR_DATADOG_API_KEY> por tu clave de API Datadog y <YOUR_DD_SITE> por tu sitio Datadog.
Para obtener más información sobre las variables de entorno necesarias, consulta la documentación del SDK.

Nota: DD_LLMOBS_AGENTLESS_ENABLED sólo es necesaria si no se está ejecutando el Datadog Agent. Si el Agent se está ejecutando en tu entorno de producción, asegúrate de que esta variable de entorno no está configurada.

Consulta la traza de tu llamada LLM en la pestaña Trazas de la página LLM Observability en Datadog.

La traza que ves se compone de un único tramo (span) LLM. El comando ddtrace-run o NODE_OPTIONS="--import dd-trace/initialize.mjs" automáticamente rastrea tus llamadas LLM desde la lista de integraciones compatibles de Datadog.

Si tu aplicación incluye avisos, cadenas complejas o flujos de trabajo más elaborados que involucran LLM, puedes rastrearlos utilizando la documentación de configuración y la documentación del SDK.