Amazon Redshift

Información general

Amazon Redshift es un servicio de almacén de datos a escala de petabytes, rápido y totalmente gestionado que simplifica y rentabiliza el análisis eficaz de todos tus datos.

Habilita esta integración para ver todas tus métricas Redshift en Datadog.

Configuración

Instalación

Si todavía no lo has hecho, configura la integración de Amazon Web Services primero.

Recopilación de métricas

  1. En la página de la integración AWS, asegúrate de que Redshift está habilitado en la pestaña Metric Collection.

  2. Añade estos permisos a tu política IAM de Datadog para recopilar métricas Amazon Redshift:

    • redshift:DescribeClusters: Enumera todos los clústeres Redshift de tu cuenta.
    • redshift:DescribeLoggingStatus: Accede al bucket de S3 donde se almacenan los logs Redshift.
    • tag:GetResources: Aplica etiquetas (tags) personalizadas a tus clústeres Redshift.

    Para obtener más información, consulta las políticas de Redshift en el sitio web AWS.

  3. Instala la integración Amazon Redshift en Datadog.

APM

Activar logging

Primero, habilita el registro en tu clúster Redshift para recopilar logs. Los logs Redshift pueden escribirse en un bucket de Amazon S3 y ser consumidos por una función Lambda. Para obtener más información, consulta la configuración de auditorías mediante la consola.

Enviar logs a Datadog

  1. Si aún no lo has hecho, configura la función Lambda del Datadog Forwarder en tu cuenta AWS.

  2. Una vez instalada la función Lambda, hay dos formas de recopilar tus logs Redshift:

    • Automáticamente: Los logs Redshift se gestionan automáticamente, si se concede acceso a Datadog con un conjunto de permisos. Para obtener más información sobre la configuración de la recopilación automática de logs de la función Lambda del Datadog Forwarder, consulta Configuración automática de activadores.
    • Manualmente: En la consola de AWS, añade un activador en el bucket de S3 que contiene tus logs Redshift. Consulta los pasos de instalación manual.

Pasos de la instalación manual

  1. Si aún no lo has hecho, configura la función Lambda del Datadog Forwarder en tu cuenta AWS.
  2. Una vez configurada, ve a la función Lambda del Datadog Forwarder. En la sección Información general de la función, haz clic en Add Trigger (Añadir activador).
  3. Para configurar un activador, selecciona el activador S3.
  4. Selecciona el bucket de S3 que contiene tus logs Redshift.
  5. Deja el tipo evento como All object create events.
  6. Haz clic en Add (Añadir) para añadir el activador a tu Lambda.

Para empezar a explorar tus logs, ve al Explorador de logs.

Para obtener más información sobre la recopilación de logs de servicios AWS, consulta Enviar logs de servicios AWS con la función Lambda en Datadog.

Datos recopilados

Métricas

aws.redshift.commit_queue_length
(count)
The number of transactions ahead of a transaction in the commit queue.
Shown as transaction
aws.redshift.concurrency_scaling_active_clusters
(count)
The number of concurrency scaling clusters that are actively processing queries at any given time.
aws.redshift.concurrency_scaling_seconds
(gauge)
The number of seconds used by concurrency scaling clusters that have active query processing activity.
Shown as second
aws.redshift.cpuutilization
(gauge)
The percentage of CPU utilization. For clusters, this metric represents an aggregation of all nodes (leader and compute) CPU utilization values.
Shown as percent
aws.redshift.database_connections
(gauge)
The number of database connections to a cluster.
Shown as connection
aws.redshift.health_status
(gauge)
Indicates the health of the cluster. 1 indicates healthy, and 0 indicates unhealthy.
aws.redshift.maintenance_mode
(gauge)
Indicates whether the cluster is in maintenance mode. 1 indicates on, and 0 indicates off.
aws.redshift.max_configured_concurrency_scaling_clusters
(count)
The maximum number of concurrency scaling clusters configured from the parameter group.
aws.redshift.network_receive_throughput
(rate)
The rate at which the node or cluster receives data.
Shown as byte
aws.redshift.network_transmit_throughput
(rate)
The rate at which the node or cluster writes data.
Shown as byte
aws.redshift.num_exceeded_schema_quotas
(count)
The number of schemas with exceeded quotas.
aws.redshift.percentage_disk_space_used
(gauge)
The percent of disk space used.
Shown as percent
aws.redshift.percentage_quota_used
(gauge)
The percentage of disk or storage space used relative to the configured schema quota.
Shown as percent
aws.redshift.queries_completed_per_second
(count)
The average number of queries completed per second. Reported in five-minute intervals.
Shown as query
aws.redshift.query_duration
(gauge)
The average amount of time to complete a query. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.query_runtime_breakdown
(gauge)
AWS Redshift query runtime breakdown
aws.redshift.read_iops
(rate)
The average number of disk read operations per second.
Shown as operation
aws.redshift.read_latency
(gauge)
The average amount of time taken for disk read I/O operations.
Shown as second
aws.redshift.read_throughput
(rate)
The average number of bytes read from disk per second.
Shown as byte
aws.redshift.schema_quota
(gauge)
The configured quota for a schema.
Shown as byte
aws.redshift.storage_used
(gauge)
The disk or storage space used by a schema.
Shown as byte
aws.redshift.total_table_count
(count)
The number of user tables open at a particular point in time. This total does not include Spectrum tables.
Shown as table
aws.redshift.wlmqueries_completed_per_second
(count)
The average number of queries completed per second for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as query
aws.redshift.wlmquery_duration
(gauge)
The average length of time to complete a query for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.wlmqueue_length
(count)
The number of queries waiting to enter a workload management (WLM) queue.
Shown as query
aws.redshift.wlmqueue_wait_time
(gauge)
The total time queries spent waiting in the workload management (WLM) queue.
Shown as millisecond
aws.redshift.wlmrunning_queries
(count)
The number of queries running from both the main cluster and Concurrency Scaling cluster per WLM queue.
Shown as query
aws.redshift.write_iops
(rate)
The average number of write operations per second.
Shown as operation
aws.redshift.write_latency
(gauge)
The average amount of time taken for disk write I/O operations.
Shown as second
aws.redshift.write_throughput
(rate)
The average number of bytes written to disk per second.
Shown as byte

A cada una de las métricas recuperadas de AWS se le asignan las mismas etiquetas que aparecen en la consola de AWS, donde se incluyen el nombre del host y los grupos de seguridad, entre otras cosas.

Eventos

La integración Amazon Redshift no incluye eventos.

Checks de servicios

La integración Amazon Redshift no incluye checks de servicios.

Resolución de problemas

¿Necesitas ayuda? Ponte en contacto con soporte técnico de Datadog.

PREVIEWING: mervebolat/span-id-preprocessing