Federator.ai

Supported OS Linux

Información general

ProphetStor Federator.ai es una solución basada en IA que se ha diseñado con el fin de mejorar la gestión de recursos informáticos para clústeres de Kubernetes y máquinas virtuales (VMs). Gracias a su capacidad de observación integral de las operaciones de TI, incluido el entrenamiento de modelos de lenguaje de gran tamaño (LLM) para varios inquilinos, se pueden asignar de manera eficiente recursos para aplicaciones, espacios de nombres, nodos y clústeres críticos, y se pueden lograr los KPIs de manera efectiva con un desperdicio mínimo de recursos.

Al usar algoritmos avanzados de machine learning para predecir las cargas de trabajo de las aplicaciones, Federator.ai ofrece:

  • Predicción de la carga de trabajo basada en IA para aplicaciones en contenedores en clústeres de Kubernetes, así como VMs en clústeres de VMware, Amazon Web Services (AWS), Elastic Compute Cloud (EC2), Azure Virtual Machine y Google Compute Engine
  • Recomendaciones de recursos basadas en la predicción de la carga de trabajo, la aplicación, Kubernetes y otras métricas relacionadas
  • Suministración automática de CPU/memoria para controladores/espacios de nombres de aplicaciones genéricas de Kubernetes
  • Escalado automático de contenedores de aplicaciones de Kubernetes, grupos de consumidores de Kafka y servicios ascendentes de NGINX Ingress
  • Recomendaciones y análisis de costes de varias nubes basadas en predicciones de la carga de trabajo para clústeres de Kubernetes y VM
  • Coste real y ahorros potenciales basados ​​en recomendaciones para clústeres, aplicaciones de Kubernetes, VMs y espacios de nombres de Kubernetes
  • Observabilidad del entrenamiento de LLM para varios inquilinos y optimizaciones de recursos procesables sin comprometer el rendimiento

ProphetStor Federator.ai proporciona una observabilidad completa a través de sus APIs integradas con los Datadog Agents, desde cargas de trabajo a nivel de aplicación, incluido el entrenamiento de LLM, hasta el consumo de recursos a nivel de clúster. Esta integración fomenta un bucle dinámico entre la monitorización en vivo y el análisis predictivo, lo que mejora de manera continua la gestión de recursos, optimiza los costes y garantiza el funcionamiento eficiente de las aplicaciones. Puedes rastrear y predecir con facilidad los usos de recursos de los contenedores, espacios de nombres y nodos de clúster de Kubernetes para brindar las recomendaciones adecuadas a fin de evitar un costoso exceso de suministración o una suministración insuficiente que afecte el rendimiento. Con una sencilla integración con el pipeline de CI/CD, Federator.ai permite la optimización continua de los contenedores siempre que se desplieguen en un clúster de Kubernetes. Mediante predicciones de la carga de trabajo de la aplicación, Federator.ai escala de manera automática los contenedores de la aplicación en el momento adecuado y optimiza el rendimiento con la cantidad correcta de réplicas de contenedor a través del HPA de Kubernetes o Datadog Watermark Pod Autoscaling (WPA).

Para obtener información adicional sobre Federator.ai, consulta los vídeos de Demostración de la función de ProphetStor Federator.ai y ProphetStor Federator.ai para Datadog.

Información general sobre el clúster de ProphetStor Federator.ai

Información general sobre el clúster de ProphetStor Federator.ai

  • Predicciones y recomendaciones sobre el uso de recursos del clúster

    • En esta tabla se muestra el valor máximo, mínimo y promedio de la predicción de la carga de trabajo de la memoria de la CPU y el uso de recursos de memoria de la CPU recomendado por Federator.ai para la planificación de recursos del clúster.
  • Predicciones y recomendaciones sobre el uso de recursos de los nodos del clúster

    • En esta tabla se muestra el valor máximo, mínimo y promedio de la predicción de la carga de trabajo de la memoria de la CPU y el uso de recursos de memoria de la CPU recomendado por Federator.ai para la planificación de recursos del nodo.
  • Uso de memoria actual/previsto del nodo (diario)

    • En esta gráfica se muestra el uso de memoria diario previsto por Federator.ai y el uso de memoria de los nodos.
  • Uso de memoria actual/previsto del nodo (semanal)

    • En esta gráfica se muestra el uso de memoria semanal previsto por Federator.ai y el uso de memoria de los nodos.
  • Uso de memoria actual/previsto del nodo (mensual)

    • En esta gráfica se muestra el uso de memoria mensual previsto por Federator.ai y el uso de memoria de los nodos.
  • Uso de CPU actual/previsto del nodo (diario)

    • En esta gráfica se muestra el uso de CPU diario previsto por Federator.ai y el uso de CPU de los nodos.
  • Uso de CPU actual/previsto del nodo (semanal)

    • En esta gráfica se muestra el uso de CPU semanal previsto por Federator.ai y el uso de CPU de los nodos.
  • Uso de CPU actual/previsto del nodo (mensual)

    • En esta gráfica se muestra el uso de CPU mensual previsto por Federator.ai y el uso de CPU de los nodos.

Información general sobre la aplicación de ProphetStor Federator.ai

Dashboard de información general sobre la aplicación

  • Predicción de la carga de trabajo para las próximas 24 horas

    • En esta tabla se muestra el valor máximo, mínimo y promedio de la predicción de la carga de trabajo de la memoria de la CPU y el uso de recursos de memoria de la CPU recomendado por Federator.ai para la planificación de recursos del controlador en las próximas 24 horas.
  • Predicción de la carga de trabajo para los próximos 7 días

    • En esta tabla se muestra el valor máximo, mínimo y promedio de la predicción de la carga de trabajo de la memoria de la CPU y el uso de recursos de memoria de la CPU recomendado por Federator.ai para la planificación de recursos del controlador en los próximos 7 días.
  • Predicción de la carga de trabajo para los próximos 30 días

    • En esta tabla se muestra el valor máximo, mínimo y promedio de la predicción de la carga de trabajo de la memoria de la CPU y el uso de recursos de memoria de la CPU recomendado por Federator.ai para la planificación de recursos del controlador en los próximos 30 días.
  • Uso de CPU actual/previsto (diario)

    • En esta gráfica se muestra el uso de CPU diario previsto por Federator.ai y el uso de CPU de los controladores.
  • Uso de CPU actual/previsto (semanal)

    • En esta gráfica se muestra el uso de CPU semanal previsto por Federator.ai y el uso de CPU de los controladores.
  • Uso de CPU actual/previsto (mensual)

    • En esta gráfica se muestra el uso de CPU mensual previsto por Federator.ai y el uso de CPU de los controladores.
  • Uso de memoria actual/previsto (diario)

    • En esta gráfica se muestra el uso de memoria diario previsto por Federator.ai y el uso de memoria de los controladores.
  • Uso de memoria actual/previsto (semanal)

    • En esta gráfica se muestra el uso de memoria semanal previsto por Federator.ai y el uso de memoria de los controladores.
  • Uso de memoria actual/previsto (mensual)

    • En esta gráfica se muestra el uso de memoria mensual previsto por Federator.ai y el uso de memoria de los controladores.
  • Réplicas actuales/deseadas/recomendadas

    • En esta gráfica se muestran las réplicas recomendadas por Federator.ai y las réplicas deseadas y actuales de los controladores.
  • Uso/solicitud/límite de memoria frente al límite de memoria recomendado

    • En esta gráfica se muestra el límite de memoria recomendado por Federator.ai y el uso de memoria solicitado, limitado y actual de los controladores.
  • Uso/solicitud/límite de CPU frente al límite de CPU recomendado

    • En esta gráfica se muestra el límite de CPU recomendado por Federator.ai y el uso de CPU solicitado, limitado y actual de los controladores.
  • Uso de CPU/utilización límite

    • En esta gráfica se muestra la utilización de CPU del controlador y se puede ver si la utilización de CPU está por encima o por debajo del límite.

Información general sobre Kafka de ProphetStor Federator.ai

Dashboard de información general

  • Réplicas recomendadas frente a réplicas actuales/deseadas

    • En esta gráfica de series temporales se muestran las réplicas recomendadas por Federator.ai y las réplicas deseadas y actuales en el sistema.
  • Producción frente a consumo frente a predicción de la producción

    • En esta gráfica de series temporales se muestra la tasa de producción de mensajes de Kafka, la tasa de consumo y la tasa de producción prevista por Federator.ai.
  • Retraso del consumidor de Kafka

    • En esta gráfica de series temporales se muestra la suma de los retrasos del consumidor de todas las particiones.
  • Latencia de la cola del consumidor (ms)

    • En esta gráfica de series temporales se muestra la latencia promedio de un mensaje en la cola de mensajes antes de que lo reciba un consumidor.
  • Uso de memoria de despliegue

    • En esta gráfica de series temporales se muestra el uso de memoria de los consumidores.
  • Uso de CPU de despliegue

    • En esta gráfica de series temporales se muestra el uso de CPU de los consumidores.

Información general sobre el análisis de costes de varias nubes de ProphetStor Federator.ai

Información general sobre el análisis de costes de varias nubes

  • Coste y configuración actual del clúster

    • En estas tablas se muestran el costo actual y la configuración del entorno de los clústeres.
  • Clúster recomendado - AWS y configuración de clúster recomendada - AWS

    • En estas tablas se muestra la configuración de las instancias de AWS recomendadas por Federator.ai y el coste de las instancias de AWS recomendadas.
  • Clúster recomendado - Azure y configuración de clúster recomendada - Azure

    • En estas tablas se muestra la configuración de las instancias de Azure recomendadas por Federator.ai y el coste de las instancias de Azure recomendadas.
  • Clúster recomendado - GCP y configuración de clúster recomendada - GCP

    • En estas tablas se muestra la configuración de las instancias de GCP recomendadas por Federator.ai y el coste de las instancias de GCP recomendadas.
  • Espacio de nombres con el coste más alto ($/día)

    • En esta gráfica se muestra el coste diario más alto de los espacios de nombres en el clúster actual.
  • Espacio de nombres con el coste previsto más alto ($/mes)

    • En esta gráfica se muestra el coste mensual previsto más alto de los espacios de nombres en el clúster actual.

Configuración

  • Sigue las siguientes instrucciones para descargar y configurar Federator.ai.

Instalación

  1. Inicia sesión en tu clúster de OpenShift/Kubernetes

  2. Instala Federator.ai para OpenShift/Kubernetes con el siguiente comando:

    $ curl https://raw.githubusercontent.com/containers-ai/prophetstor/master/deploy/federatorai-launcher.sh | bash
    
    $ curl https://raw.githubusercontent.com/containers-ai/prophetstor/master/deploy/federatorai-launcher.sh | bash
    ...
    Please enter Federator.ai version tag [default: latest]:latest
    Please enter the path of Federator.ai directory [default: /opt]:
    
    Downloading v4.5.1-b1562 tgz file ...
    Done
    Do you want to use a private repository URL? [default: n]:
    Do you want to launch Federator.ai installation script? [default: y]:
    
    Executing install.sh ...
    Checking environment version...
    ...Passed
    Enter the namespace you want to install Federator.ai [default: federatorai]:
    .........
    Downloading Federator.ai alamedascaler sample files ...
    Done
    ========================================
    Which storage type you would like to use? ephemeral or persistent?
    [default: persistent]:
    Specify log storage size [e.g., 2 for 2GB, default: 2]:
    Specify AI engine storage size [e.g., 10 for 10GB, default: 10]:
    Specify InfluxDB storage size [e.g., 100 for 100GB, default: 100]:
    Specify storage class name: managed-nfs-storage
    Do you want to expose dashboard and REST API services for external access? [default: y]:
    
    ----------------------------------------
    install_namespace = federatorai
    storage_type = persistent
    log storage size = 2 GB
    AI engine storage size = 10 GB
    InfluxDB storage size = 100 GB
    storage class name = managed-nfs-storage
    expose service = y
    ----------------------------------------
    Is the above information correct [default: y]:
    Processing...
    
    (snipped)
    .........
    All federatorai pods are ready.
    
    ========================================
    You can now access GUI through https://<YOUR IP>:31012
    Default login credential is admin/admin
    
    Also, you can start to apply alamedascaler CR for the target you would like to monitor.
    Review administration guide for further details. 
    ========================================
    ========================================
    You can now access Federatorai REST API through https://<YOUR IP>:31011
    The default login credential is admin/admin
    The REST API online document can be found in https://<YOUR IP>:31011/apis/v1/swagger/index.html
    ========================================
    
    Install Federator.ai v4.5.1-b1562 successfully
    
    Downloaded YAML files are located under /opt/federatorai/installation
    
    Downloaded files are located under /opt/federatorai/repo/v4.5.1-b1562
    
  3. Verifica que los pods de Federator.ai funcionen correctamente.

    $ kubectl get pod -n federatorai
    
  4. Inicia sesión en la GUI de Federator.ai. La URL y las credenciales de inicio de sesión se pueden encontrar en el resultado del Paso 2.

Configuración

  1. Inicia sesión en Datadog con tu cuenta y obtén una clave de API y de aplicación para usar la API de Datadog.

  2. Configura Federator.ai para la fuente de datos de métricas por clúster.

    • Inicia la GUI de Federator.ai->Configuration ->Clusters ->Haz clic en «Add Cluster» (Configuración ->Clústeres ->Añadir clúster)
    • Ingresa la clave de API y de aplicación

    Ventana de Añadir clúster

  3. Consulta la Guía de instalación y configuración de Federator.ai y la Guía del usuario para obtener más detalles.

Datos recopilados

Métricas

federatorai.integration.status
(gauge)
integration status for showing Federator.ai health status.
federatorai.recommendation
(gauge)
recommended deployment/statefulset replicas.
federatorai.prediction.kafka
(gauge)
Workload prediction for Kafka metrics.
federatorai.kafka.broker_offset_rate
(gauge)
The delta of kafka.broker_offset timeseries in one minute.
federatorai.kafka.consumer_offset_rate
(gauge)
The delta of kafka.consumer_offset timeseries in one minute.
federatorai.prediction.node
(gauge)
Workload prediction for a Kubernetes node.
federatorai.prediction.node.avg
(gauge)
The average value of workload predictions for a Kubernetes node over a prediction window.
federatorai.prediction.node.min
(gauge)
The minimum value of workload predictions for a Kubernetes node over a prediction window.
federatorai.prediction.node.max
(gauge)
The maximum value of workload predictions for a Kubernetes node over a prediction window.
federatorai.prediction.controller
(gauge)
Workload prediction for a specific controller
federatorai.prediction.controller.avg
(gauge)
The average value of workload predictions for a specific controller over a prediction window.
federatorai.prediction.controller.min
(gauge)
The minimum value of workload predictions for a specific controller over a prediction window.
federatorai.prediction.controller.max
(gauge)
The maximum value of workload predictions for a specific controller over a prediction window.
federatorai.prediction.nginx_ingress_controller_request_rate
(gauge)
Workload prediction of request rate for the upstream service of Nginx ingress
federatorai.resource_planning.node
(gauge)
Workload predictions for resource planning of a Kubernetes node.
federatorai.resource_planning.controller
(gauge)
Workload predictions for resource planning of a Kubernetes controller.
federatorai.recommendation.instance
(gauge)
Cost of a recommended cloud instance.
federatorai.cost_analysis.instance.cost
(gauge)
Cost analysis for a cloud instance.
federatorai.cost_analysis.namespace.cost
(gauge)
Cost analysis for a namespace in a Kubernetes cluster
federatorai.prediction.namespace.cost
(gauge)
Cost prediction for a namespace in a Kubernetes cluster
federatorai.kubernetes.cpu.usage.total.controller
(gauge)
The number of cores (in millicore) used by the Kubernetes controller.
federatorai.kubernetes.memory.usage.controller
(gauge)
The memory usage (in bytes) of the Kubernetes controller.
federatorai.kubernetes.cpu.usage.total.node
(gauge)
The number of cores (in millicore) used by the Kubernetes node.
federatorai.kubernetes.memory.usage.node
(gauge)
The memory usage (in bytes) of the Kubernetes node.
federatorai.cost_analysis.resource_alloc_cost.cluster
(gauge)
The cost per hour/per 6 hours/per day based on resource allocation of a Kubernetes cluster for daily/weekly/monthly cost analysis
federatorai.cost_analysis.resource_alloc_cost.node
(gauge)
The cost per hour/per 6 hours/ per day based on resource allocation of a Kubernetes node for daily/weekly/monthly cost analysis
federatorai.cost_analysis.resource_alloc_cost.namespace
(gauge)
The cost per hour/per 6 hours/per day based on resource allocation of a Kubernetes namespace for daily/weekly/monthly cost analysis
federatorai.cost_analysis.resource_usage_cost.cluster
(gauge)
The cost per hour/per 6 hours/per day based on resource usage of a Kubernetes cluster for daily/weekly/monthly cost analysis
federatorai.cost_analysis.resource_usage_cost.node
(gauge)
The cost per hour/per 6 hours/per day based on resource usage of a Kubernetes node for daily/weekly/monthly cost analysis
federatorai.cost_analysis.resource_usage_cost.namespace
(gauge)
The cost per hour/per 6 hours/per day based on resource usage of a Kubernetes namespace for daily/weekly/monthly cost analysis
federatorai.cost_analysis.cost_per_day.cluster
(gauge)
The cost of the entire 24 hours based on resource allocation of a Kubernetes cluster
federatorai.cost_analysis.cost_per_day.node
(gauge)
The cost of the entire 24 hours based on resource allocation of a Kubernetes node
federatorai.cost_analysis.cost_per_day.namespace
(gauge)
The cost of the entire 24 hours based on resource allocation of a Kubernetes namespace
federatorai.cost_analysis.cost_per_week.cluster
(gauge)
The cost of the entire 7 days based on resource allocation of a Kubernetes cluster
federatorai.cost_analysis.cost_per_week.node
(gauge)
The cost of the entire 7 days based on resource allocation of a Kubernetes node
federatorai.cost_analysis.cost_per_week.namespace
(gauge)
The cost of the entire 7 days based on resource allocation of a Kubernetes namespace
federatorai.cost_analysis.cost_per_month.cluster
(gauge)
The cost of the entire 30 days based on resource allocation of a Kubernetes cluster
federatorai.cost_analysis.cost_per_month.node
(gauge)
The cost of the entire 30 days based on resource allocation of a Kubernetes node
federatorai.cost_analysis.cost_per_month.namespace
(gauge)
The cost of the entire 30 days based on resource allocation of a Kubernetes namespace
federatorai.cost_analysis.cost_efficiency_per_day.cluster
(gauge)
The cost efficiency for the entire 24 hours based on resource allocation of a Kubernetes cluster
federatorai.cost_analysis.cost_efficiency_per_day.node
(gauge)
The cost efficiency for the entire 24 hours based on resource allocation of a Kubernetes node
federatorai.cost_analysis.cost_efficiency_per_day.namespace
(gauge)
The cost efficiency for the entire 24 hours based on resource allocation of a Kubernetes namespace
federatorai.cost_analysis.cost_efficiency_per_week.cluster
(gauge)
The cost efficiency for the entire 7 days based on resource allocation of a Kubernetes cluster
federatorai.cost_analysis.cost_efficiency_per_week.node
(gauge)
The cost efficiency for the entire 7 days based on resource allocation of a Kubernetes node
federatorai.cost_analysis.cost_efficiency_per_week.namespace
(gauge)
The cost efficiency for the entire 7 days based on resource allocation of a Kubernetes namespace
federatorai.cost_analysis.cost_efficiency_per_month.cluster
(gauge)
The cost efficiency for the entire 30 days based on resource allocation of a Kubernetes cluster
federatorai.cost_analysis.cost_efficiency_per_month.node
(gauge)
The cost efficiency for the entire 30 days based on resource allocation of a Kubernetes node
federatorai.cost_analysis.cost_efficiency_per_month.namespace
(gauge)
The cost efficiency for the entire 30 days based on resource allocation of a Kubernetes namespace
federatorai.recommendation.cost_analysis.cost_per_day.cluster
(gauge)
The estimated cost of the entire 24 hours based on Federator.ai recommendation for a Kubernetes cluster
federatorai.recommendation.cost_analysis.cost_per_day.node
(gauge)
The estimated cost of the entire 24 hours based on Federator.ai recommendation for a Kubernetes node
federatorai.recommendation.cost_analysis.cost_per_day.namespace
(gauge)
The estimated cost of the entire 24 hours based on Federator.ai recommendation for a Kubernetes namespace
federatorai.recommendation.cost_analysis.cost_per_week.cluster
(gauge)
The estimated cost of the entire 7 days based on Federator.ai recommendation for a Kubernetes cluster
federatorai.recommendation.cost_analysis.cost_per_week.node
(gauge)
The estimated cost of the entire 7 days based on Federator.ai recommendation for a Kubernetes node
federatorai.recommendation.cost_analysis.cost_per_week.namespace
(gauge)
The estimated cost of the entire 7 days based on Federator.ai recommendation for a Kubernetes namespace
federatorai.recommendation.cost_analysis.cost_per_month.cluster
(gauge)
The estimated cost of the entire 30 days based on Federator.ai recommendation for a Kubernetes cluster
federatorai.recommendation.cost_analysis.cost_per_month.node
(gauge)
The estimated cost of the entire 30 days based on Federator.ai recommendation for a Kubernetes node
federatorai.recommendation.cost_analysis.cost_per_month.namespace
(gauge)
The estimated cost of the entire 30 days based on Federator.ai recommendation for a Kubernetes namespace
federatorai.recommendation.cost_analysis.cost_efficiency_per_day.cluster
(gauge)
The cost efficiency for the entire 24 hours based on Federator.ai recommendation for a Kubernetes cluster
federatorai.recommendation.cost_analysis.cost_efficiency_per_day.namespace
(gauge)
The cost efficiency for the entire 24 hours based on Federator.ai recommendation for a Kubernetes namespace
federatorai.recommendation.cost_analysis.cost_efficiency_per_week.cluster
(gauge)
The cost efficiency for the entire 7 days based on Federator.ai recommendation for a Kubernetes cluster
federatorai.recommendation.cost_analysis.cost_efficiency_per_week.namespace
(gauge)
The cost efficiency for the entire 7 days based on Federator.ai recommendation for a Kubernetes namespace
federatorai.recommendation.cost_analysis.cost_efficiency_per_month.cluster
(gauge)
The cost efficiency for the entire 30 days based on Federator.ai recommendation for a Kubernetes cluster
federatorai.recommendation.cost_analysis.cost_efficiency_per_month.namespace
(gauge)
The cost efficiency for the entire 30 days based on Federator.ai recommendation for a Kubernetes namespace

Checks de servicio

Federator.ai no incluye checks de servicio.

Eventos

Federator.ai no incluye eventos.

Solucionar problemas

¿Necesitas ayuda? Lee la Guía de instalación y configuración de Federator.ai o ponte en contacto con el servicio de asistencia de Datadog.

PREVIEWING: pierreln-dd/oracle-remove-install-integration-section