LLM Observability no está disponible en el sitio seleccionado () en este momento.
Resumen
Con LLM Observability, puedes monitorizar, solucionar problemas y evaluar tus aplicaciones impulsadas por LLM, como los chatbots. Puedes investigar la causa raíz de los problemas, monitorizar el rendimiento operativo y evaluar la calidad, privacidad y seguridad de tus aplicaciones de LLM.
Cada solicitud realizada por tu aplicación se representa como una traza (trace) en la página de LLM Observability en Datadog.
Un traza puede representar:
- Una inferencia de LLM individual, incluyendo tokens, información de error y latencia.
- Un flujo de trabajo de LLM predeterminado, que es una agrupación de llamadas de LLM y sus operaciones contextuales, como llamadas a herramientas o pasos de preprocesamiento
- Un flujo de trabajo de LLM dinámico ejecutado por un Agent de LLM
Cada traza contiene tramos (spans) que representan cada elección realizada por un Agent o cada paso de un flujo de trabajo dado. Una traza dada también puede incluir entrada y salida, latencia, problemas de privacidad, errores, etc. Para más información, consulta Términos y conceptos.
Solucionar problemas con el rastreo de extremo a extremo
Visualiza cada paso de las cadenas y llamadas de tu aplicación de LLM para localizar las solicitudes problemáticas e identificar la causa raíz de los errores.
Monitorizar métricas operativas y optimización de costes
Monitoriza el coste, la latencia, el rendimiento y las tendencias de uso de todas tus aplicaciones de LLM con dashboards predefinidos.
Evaluar la calidad y eficacia de tus aplicaciones de LLM
Identifica los clústeres problemáticas y monitoriza la calidad de las respuestas a lo largo del tiempo con agrupaciones temáticas y checks como sentimiento, falta de respuesta, etc.
Salvaguardar los datos confidenciales e identificar a los usuarios malintencionados
Escanea y redacta automáticamente cualquier dato confidencial en tus aplicaciones de IA e identifica inyecciones de prompts, entre otras evaluaciones.
Utilizar integraciones con LLM Observability
El SDK de LLM Observability para Python se integra con marcos como OpenAI, LangChain, AWS Bedrock y Anthropic. Automáticamente rastrea y anota llamadas a LLM, capturando métricas de latencia, errores y uso de tokens, sin cambios en el código.
Datadog ofrece diversas funciones de inteligencia artificial (IA) y Machine Learning (ML). Las integraciones de IA/ML en la página de integraciones y el Marketplace de Datadog son funcionalidades de toda la plataforma de Datadog. Por ejemplo, APM ofrece una integración nativa con OpenAI para la monitorización de tu uso de OpenAI, mientras que la Monitorización de infraestructura ofrece una integración con NVIDIA DCGM Exporter para monitorizar cargas de trabajo de IA de alto consumo de cómputo. Estas integraciones son diferentes de la oferta de LLM Observability.
Para obtener más información, consulta la documentación de Autoinstrumentación.
¿Estás listo para comenzar?
Consulta la Documentación de configuración para obtener instrucciones sobre cómo instrumentar tu aplicación de LLM o sigue la Guía Rastrear una aplicación de LLM para generar una traza utilizando el SDK de LLM Observability para Python.
Referencias adicionales
Más enlaces, artículos y documentación útiles:
