Uso de LLM Observability y APM

Documentos > Observabilidad de LLM > LLM Observability Guides > Uso de LLM Observability y APM

Información general

Esta guía explica cómo puedes utilizar tanto LLM Observability como APM para vincular tramos de LLM Observability y APM en Datadog.

Al instrumentar tus operaciones específicas de LLM con LLM Observability y tu aplicación más amplia con APM, puedes lograr lo siguiente:

Comprender la visibilidad de extremo a extremo: explora las solicitudes ascendentes y descendentes de tus aplicaciones de LLM en el contexto de toda tu aplicación.
Desde APM, profundizar en LLM Observability: investiga si un problema con tu aplicación es específico de aplicaciones específicas de LLM, como una llamada a OpenAI.

Configuración

El SDK de LLM Observability se basa en el dd-tracer de APM. Esto permite utilizar LLM Observability con Application Performance Monitoring (APM).

Si estás utilizando el SDK de LLM Observability para Python junto con el dd-tracer de APM, puedes navegar entre tramos en Datadog APM y LLM Observability sin configuración adicional.

Si utilizas la API de LLM Observability con dd-tracer para APM:

Utiliza el método apropiado para obtener el ID de tramo del rastreador (por ejemplo, utilizando span.Context().SpanID() para el rastreador de Go).
Incluye los IDs capturados de tramo (span) en todas las solicitudes de la API de LLM Observability. Esto vincula tramos de APM y LLM Observability en Datadog.

Navegar entre tramos

Mediante el uso de esta integración, puedes correlacionar los datos a través de tu stack tecnológico de aplicaciones y entender cómo tus aplicaciones de LLM interactúan con otros componentes. También puedes resolver problemas más rápidamente y optimizar el rendimiento de tu aplicación.

Desde LLM Observability a APM

Para comprender el contexto más amplio de tus operaciones de LLM dentro de tu ecosistema de aplicaciones, selecciona un tramo de LLM Observability en el LLM Observability Explorer y haz clic en APM span (Tramo de APM) para navegar al tramo de APM pertinente.

Un tramo de LLM Observability con un tramo de APM al que puedes navegar desde la página de Trazas en LLM Observability

De APM a LLM Observability

Para acceder a la información específica del LLM, selecciona un tramo de APM en el Trace Explorer y haz clic en View Span (Ver tramo) en la sección LLM Observability en la pestaña Info (Información) para navegar al tramo correspondiente de LLM Observability.