Puedes configurar tus aplicaciones LLM en la página de configuración con ajustes para optimizar el rendimiento y la seguridad de tu aplicación.
- Evaluaciones
- permite a Datadog evaluar tu aplicación LLM en dimensiones como Calidad, Seguridad y Protección. Al habilitar las evaluaciones, puedes evaluar la eficacia de las respuestas de tu aplicación y mantener altos estándares tanto de rendimiento como de seguridad del usuario. Para obtener más información sobre las evaluaciones, consulta Términos y conceptos.
- Temas
- ayuda a identificar las entradas irrelevantes para la evaluación “predefinida” de
topic relevancy, garantizando que tu solicitud LLM se mantenga centrada en su objetivo previsto.
Conectar tu cuenta
Conecta tu cuenta de OpenAI a LLM Observability con tu clave de API de OpenAI.
- En Datadog, navega a LLM Observability > Settings > Integrations (LLM Observability > Configuración > Integraciones)
- Selecciona Connect (Conectar) en el cuadro de OpenAI.
- Sigue las instrucciones del cuadro.
- Proporciona tu clave de API de OpenAI. Asegúrate de que esta clave tiene permiso de escritura para las capacidades del modelo.
- Habilita Use this API key to evaluate your LLM applications (Utilizar esta clave de API para evaluar tus aplicaciones LLM).
Conecta tu cuenta de Azure OpenAI a LLM Observability con tu clave de API de OpenAI. Recomendamos encarecidamente utilizar el modelo GPT-4o mini para las evaluaciones.
- En Datadog, navega a LLM Observability > Settings > Integrations (LLM Observability > Configuración > Integraciones)
- Selecciona Connect (Conectar) en el cuadro de Azure OpenAI.
- Sigue las instrucciones del cuadro.
- Proporciona tu clave de API de Azure OpenAI. Asegúrate de que esta clave tiene permiso de escritura para las capacidades del modelo.
- Indica el nombre del recurso, el ID de implementación y la versión de la API para completar la integración.
Seleccionar y activar evaluaciones
- Navega a LLM Observability > Settings > Evaluations (LLM Observability > Configuración > Evaluaciones).
- Haz clic en la evaluación que desees activar.
- Selecciona OpenAI o Azure OpenAI como tu proveedor de LLM.
- Selecciona la cuenta en la que deseas realizar la evaluación.
- Asigna la aplicación de LLM en la que deseas ejecutar la evaluación.
Después de hacer clic en Save (Guardar), LLM Observability invoca un modelo GPT-4o mini utilizando la clave de API que has proporcionado.
Para más información sobre las evaluaciones, consulta Términos y conceptos.
Uso estimado de tokens
LLM Observability proporciona métricas para ayudarte a monitorizar y gestionar el uso de tokens asociados a las evaluaciones que alimentan LLM Observability. Las siguientes métricas permiten realizar un seguimiento de los recursos de LLM consumidos para alimentar las evaluaciones:
ml_obs.estimated_usage.llm.input.tokensml_obs.estimated_usage.llm.output.tokensml_obs.estimated_usage.llm.total.tokens
Cada una de estas métricas tiene las etiquetas ml_app, model_server, model_provider, model_name y evaluation_name, lo que te permite localizar aplicaciones, modelos y evaluaciones específicas que contribuyen a tu uso.
Proporcionar temas para la relevancia temática
Proporcionar temas te permite utilizar la evaluación de relevancia del tema.
- Ve a LLM Observability > Applications (LLM Observability > Aplicaciones).
- Selecciona la aplicación para la que deseas añadir temas.
- En la parte inferior de la barra lateral izquierda, selecciona Configuration.
- Añadir temas en el modal emergente.
Los temas pueden contener varias palabras y deben ser lo más específicos y descriptivos posible. Por ejemplo, para una aplicación LLM diseñada para la gestión de incidencias, añade “observabilidad”, “ingeniería de software” o “resolución de incidencias”. Si tu aplicación gestiona las consultas de los clientes de una tienda de comercio electrónico, puedes utilizar “Preguntas de los clientes sobre la compra de muebles en una tienda de comercio electrónico”.
Referencias adicionales
Más enlaces, artículos y documentación útiles:
