Esta guía utiliza los SDK de LLM Observability para Python y Node.js. Si tu aplicación está escrita en otro lenguaje, puedes crear trazas (traces) llamando a la API en su lugar.
Para entender mejor los términos y conceptos de LLM Observability, puedes explorar los ejemplos en el repositorio de notebooks de LLM Observability. Estos notebooks proporcionan una experiencia práctica y te permiten aplicar estos conceptos en tiempo real.
El siguiente script de ejemplo utiliza OpenAI, pero puedes modificarlo para utilizar un proveedor diferente. Para ejecutar el script tal y como está escrito, necesitas:
Crea un script, que hace una única llamada a OpenAI.
importosfromopenaiimportOpenAIoai_client=OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))completion=oai_client.chat.completions.create(model="gpt-3.5-turbo",messages=[{"role":"system","content":"You are a helpful customer assistant for a furniture store."},{"role":"user","content":"I'd like to buy a chair for my living room."},],)
Ejecuta el script con el siguiente comando shell. Esto envía una traza de la llamada de OpenAI a Datadog.
Sustituye <YOUR_DATADOG_API_KEY> por tu clave de API Datadog y <YOUR_DD_SITE> por tu sitio Datadog.
Para obtener más información sobre las variables de entorno necesarias, consulta la documentación del SDK.
Instala los paquetes de SDK y OpenAI:
npm install dd-trace
npm install openai
Crea un script, que hace una única llamada a OpenAI.
const{OpenAI}=require('openai');constoaiClient=newOpenAI(process.env.OPENAI_API_KEY);functionmain(){constcompletion=awaitoaiClient.chat.completions.create({model:'gpt-3.5-turbo',messages:[{role:'system',content:'You are a helpful customer assistant for a furniture store.'},{role:'user',content:'I\'d like to buy a chair for my living room.'},]});}main();
Ejecuta el script con el siguiente comando shell. Esto envía una traza de la llamada de OpenAI a Datadog.
Sustituye <YOUR_DATADOG_API_KEY> por tu clave de API Datadog y <YOUR_DD_SITE> por tu sitio Datadog.
Para obtener más información sobre las variables de entorno necesarias, consulta la documentación del SDK.
Nota: DD_LLMOBS_AGENTLESS_ENABLED sólo es necesaria si no se está ejecutando el Datadog Agent. Si el Agent se está ejecutando en tu entorno de producción, asegúrate de que esta variable de entorno no está configurada.
La traza que ves se compone de un único tramo (span) LLM. El comando ddtrace-run o NODE_OPTIONS="--import dd-trace/initialize.mjs" automáticamente rastrea tus llamadas LLM desde la lista de integraciones compatibles de Datadog.