Información general

Este check monitoriza TorchServe a través del Datadog Agent .

Configuración

Sigue las siguientes instrucciones para instalar y configurar este check para un Agent que se ejecuta en un host. Para entornos de contenedores, consulta las Plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de estas instrucciones.

Instalación

A partir del Agent versión 7.47.0, el check de TorchServe está incluido en el paquete del Datadog Agent. No es necesaria ninguna instalación adicional en tu servidor.

Requisitos previos

El check de TorchServe recopila las métricas y los datos de rendimiento de TorchServe utilizando tres endpoints diferentes:

• La interferencia de la API para recopilar el estado de mantenimiento general de tu instancia de TorchServe.
• La API de administración para recopilar métricas sobre los distintos modelos que estás ejecutando.
• El endpoint de OpenMetrics expuesto por TorchServe.

Puedes configurar estos endpoints utilizando el archivo config.properties, como se describe en la documentación de TorchServe. Por ejemplo:

inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082
metrics_mode=prometheus
number_of_netty_threads=32
default_workers_per_model=10
job_queue_size=1000
model_store=/home/model-server/model-store
workflow_store=/home/model-server/wf-store
load_models=all

Este archivo de configuración expone los tres endpoints diferentes que puede utilizar la integración para monitorizar tu instancia.

Endpoint de OpenMetrics

Para activar el endpoint de Prometheus, necesitas configurar dos opciones:

• metrics_address: Dirección de enlace a la API de métricas. En forma predeterminada, es http://127.0.0.1:8082
• metrics_mode: TorchServe admite dos modos de métricas: log y prometheus. En forma predeterminada, es log. Tienes que configurarlo en prometheus para recopilar métricas desde este endpoint.

Por ejemplo:

metrics_address=http://0.0.0.0:8082
metrics_mode=prometheus

En este caso, el endpoint de OpenMetrics se expone en esta URL: http://<TORCHSERVE_ADDRESS>:8082/metrics.

Configuración

Estos tres endpoints diferentes pueden monitorizarse en forma independiente y deben configurarse por separado en el archivo de configuración, una API por instancia. Consulta el ejemplo de torchserve.d/conf.yaml para ver todas las opciones disponibles de configuración.

init_config:
  ...
instances:
  - openmetrics_endpoint: http://<TORCHSERVE_ADDRESS>:8082/metrics

init_config:
  ...
instances:
  - inference_api_url: http://<TORCHSERVE_ADDRESS>:8080

init_config:
  ...
instances:
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081

init_config:
  ...
instances:
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081
    limit: 25
    include: 
      - my_model.* 

init_config:
  ...
instances:
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081
    exclude: 
      - test.* 

Configuración completa

init_config:
  ...
instances:
  - openmetrics_endpoint: http://<TORCHSERVE_ADDRESS>:8082/metrics
    # Also collect your own TorchServe metrics
    extra_metrics:
      - my_custom_torchserve_metric
  - inference_api_url: http://<TORCHSERVE_ADDRESS>:8080
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081
    # Include all the model names that match this regex   
    include:
      - my_models.*
    # But exclude all the ones that finish with `-test`
    exclude: 
      - .*-test 
    # Refresh the list of models only every hour
    interval: 3600

labels:
  com.datadoghq.ad.checks: '{"torchserve":{"instances":[{"openmetrics_endpoint":"http://%%host%%:8082/metrics","extra_metrics":["my_custom_torchserve_metric"]},{"inference_api_url":"http://%%host%%:8080"},{"management_api_url":"http://%%host%%:8081","include":["my_models.*"],"exclude":[".*-test"],"interval":3600}]}}'

apiVersion: v1
kind: Pod
metadata:
  name: '<POD_NAME>'
  annotations:
    ad.datadoghq.com/torchserve.checks: |-
      {
        "torchserve": {
          "instances": [
            {
              "openmetrics_endpoint": "http://%%host%%:8082/metrics",
              "extra_metrics": [
                "my_custom_torchserve_metric"
              ]
            },
            {
              "inference_api_url": "http://%%host%%:8080"
            },
            {
              "management_api_url": "http://%%host%%:8081",
              "include": [
                ".*"
              ],
              "exclude": [
                ".*-test"
              ],
              "interval": 3600
            }
          ]
        }
      }      
    # (...)
spec:
  containers:
    - name: 'torchserve'
# (...)

Validación

Ejecuta el subcomando del estado del Agent y busca torchserve en la sección checks.

Datos recopilados

Métricas

Se colocan prefijos en las métricas mediante la API de la que proceden:

• torchserve.openmetrics.* para métricas procedentes del endpoint de OpenMetrics.
• torchserve.inference_api.* para métricas procedentes de la API de inferencia.
• torchserve.management_api.* para métricas procedentes de la API de administración.

Eventos

La integración de TorchServe incluye tres eventos utilizando la API de administración:

• torchserve.management_api.model_added: Este evento se activa cuando se añade un nuevo modelo.
• torchserve.management_api.model_removed: Este evento se activa cuando se ha eliminado un modelo.
• torchserve.management_api.default_version_changed: Este evento se activa cuando se ha configurado una versión en forma predeterminada para un modelo determinado.

Checks de servicio

torchserve.openmetrics.health
Returns CRITICAL if the Agent is unable to connect to the OpenMetrics endpoint, otherwise returns OK.
Statuses: ok, critical

torchserve.inference_api.health
Returns CRITICAL if the Agent is unable to connect to the Inference API endpoint or if it is unhealthy, otherwise returns OK.
Statuses: ok, critical

torchserve.management_api.health
Returns CRITICAL if the Agent is unable to connect to the Management API endpoint, otherwise returns OK.
Statuses: ok, critical

Logs

La integración de TorchServe puede recopilar logs del servicio de TorchServe y reenviarlos a Datadog.

1. La recopilación de logs está desactivada en forma predeterminada en el Datadog Agent. Actívala en tu archivo datadog.yaml:

   logs_enabled: true
   

2. Quita el comentario y edita el bloque de configuración de logs en tu archivo torchserve.d/conf.yaml. He aquí un ejemplo:

   logs:
     - type: file
       path: /var/log/torchserve/model_log.log
       source: torchserve
       service: torchserve
     - type: file
       path: /var/log/torchserve/ts_log.log
       source: torchserve
       service: torchserve
   

Consulta el ejemplo de archivo de configuración para saber cómo recopilar todos los logs.

Para obtener más información sobre el registro de configuración con TorchServe, consulta la documentación oficial de TorchServe.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el equipo de asistencia de Datadog.