Amazon Redshift

개요

Amazon Redshift는 빠른 완전관리형 페타바이트 규모의 데이터 웨어하우스 서비스로, 모든 데이터를 효과적으로 분석할 수 있는 단순하고 비용 효율적인 방법을 제공합니다.

이 통합을 활성화해 Datadog에서 모든 Redshift 메트릭을 확인하세요.

설정

설치

아직 설치하지 않았다면, Amazon Web Services 통합을 먼저 설치하세요.

메트릭 수집

  1. AWS 통합 페이지에서 Metric Collection 탭에 Redshift가 활성화되어 있는지 확인하세요.

  2. 이러한 권한을 Datadog IAM 정책에 추가하여 Amazon Redshift 메트릭을 수집하세요.

    • redshift:DescribeClusters: 계정에서 모든 Amazon Redshift 클러스터 목록을 나열하세요.
    • redshift:DescribeLoggingStatus: Redshift 로그가 보관된 S3 버킷을 받으세요.
    • tag:GetResources: Redshift 클러스터에서 커스텀 태그를 받으세요.

    자세한 정보는 AWS 웹사이트에서 Redshift 정책을 참조하세요.

  3. Datadog - Amazon Redshift 통합을 설치하세요.

로그 수집

로깅 활성화

먼저 Redshift 클러스터에서 로그인을 활성화하고 로그를 수집하세요. Redshift 로그는 Amazon S3에 작성될 수 있으며 기능/함수람다 함수에 사용될 수 있습니다. 자세한 정보는 콘솔을 사용하여 감사 설정하기를 참조하세요.

Datadog에 로그 전송

  1. 이미 하지 않은 경우 AWS 계정에서 Datadog 포워더(Forwarder) 람다 함수를 설정하세요.

  2. 람다 함수가 설치되면 Redshift 로그를 수집하는 데는 두 가지 방법이 있습니다.

    • 자동: Datadog가 일련의 권한을 가지고 액세스할 수 있도록 하면 Redshift 로그가 자동으로 관리됩니다. Datadog 포워더 람다 함수에서 자동 로그 수집을 설정하는 방법에 대한 자세한 정보는 자동으로 트리거 설정을 참조하세요.
    • 수동: AWS 콘솔에서 Redshift 로그가 포함된 S3 버킷에 트리거를 추가합니다. 수동 설치 단계를 참조하세요.

수동 설치 단계

  1. 이미 하지 않은 경우 AWS 계정에서 Datadog 포워더(Forwarder) 람다 함수를 설정하세요.
  2. 설정한 후에는 Datadog Forwarder Lambda 함수로 이동하세요. Function Overview 섹션에서 Add Trigger를 클릭합니다.
  3. 트리거 설정에 대해 S3 트리거를 선택합니다.
  4. Redshift 로그를 포함하는 S3 버킷을 선택합니다.
  5. 이벤트 유형을 All object create events로 남겨둡니다.
  6. Add를 클릭해 Lambda에 트리거를 추가합니다.

로그 탐색기로 이동해 로그 탐색을 시작합니다.

AWS 서비스 로그 수집에 대한 자세한 정보는 [Datadog 람다 함수를 사용해 AWS 서비스 로그 전송]을 참조하세요.

수집한 데이터

메트릭

aws.redshift.commit_queue_length
(count)		The number of transactions ahead of a transaction in the commit queue.
Shown as transaction
aws.redshift.concurrency_scaling_active_clusters
(count)		The number of concurrency scaling clusters that are actively processing queries at any given time.
aws.redshift.concurrency_scaling_seconds
(gauge)		The number of seconds used by concurrency scaling clusters that have active query processing activity.
Shown as second
aws.redshift.cpuutilization
(gauge)		The percentage of CPU utilization. For clusters, this metric represents an aggregation of all nodes (leader and compute) CPU utilization values.
Shown as percent
aws.redshift.database_connections
(gauge)		The number of database connections to a cluster.
Shown as connection
aws.redshift.health_status
(gauge)		Indicates the health of the cluster. 1 indicates healthy, and 0 indicates unhealthy.
aws.redshift.maintenance_mode
(gauge)		Indicates whether the cluster is in maintenance mode. 1 indicates on, and 0 indicates off.
aws.redshift.max_configured_concurrency_scaling_clusters
(count)		The maximum number of concurrency scaling clusters configured from the parameter group.
aws.redshift.network_receive_throughput
(rate)		The rate at which the node or cluster receives data.
Shown as byte
aws.redshift.network_transmit_throughput
(rate)		The rate at which the node or cluster writes data.
Shown as byte
aws.redshift.num_exceeded_schema_quotas
(count)		The number of schemas with exceeded quotas.
aws.redshift.percentage_disk_space_used
(gauge)		The percent of disk space used.
Shown as percent
aws.redshift.percentage_quota_used
(gauge)		The percentage of disk or storage space used relative to the configured schema quota.
Shown as percent
aws.redshift.queries_completed_per_second
(count)		The average number of queries completed per second. Reported in five-minute intervals.
Shown as query
aws.redshift.query_duration
(gauge)		The average amount of time to complete a query. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.query_runtime_breakdown
(gauge)		AWS Redshift query runtime breakdown
aws.redshift.read_iops
(rate)		The average number of disk read operations per second.
Shown as operation
aws.redshift.read_latency
(gauge)		The average amount of time taken for disk read I/O operations.
Shown as second
aws.redshift.read_throughput
(rate)		The average number of bytes read from disk per second.
Shown as byte
aws.redshift.schema_quota
(gauge)		The configured quota for a schema.
Shown as byte
aws.redshift.storage_used
(gauge)		The disk or storage space used by a schema.
Shown as byte
aws.redshift.total_table_count
(count)		The number of user tables open at a particular point in time. This total does not include Spectrum tables.
Shown as table
aws.redshift.wlmqueries_completed_per_second
(count)		The average number of queries completed per second for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as query
aws.redshift.wlmquery_duration
(gauge)		The average length of time to complete a query for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.wlmqueue_length
(count)		The number of queries waiting to enter a workload management (WLM) queue.
Shown as query
aws.redshift.wlmqueue_wait_time
(gauge)		The total time queries spent waiting in the workload management (WLM) queue.
Shown as millisecond
aws.redshift.wlmrunning_queries
(count)		The number of queries running from both the main cluster and Concurrency Scaling cluster per WLM queue.
Shown as query
aws.redshift.write_iops
(rate)		The average number of write operations per second.
Shown as operation
aws.redshift.write_latency
(gauge)		The average amount of time taken for disk write I/O operations.
Shown as second
aws.redshift.write_throughput
(rate)		The average number of bytes written to disk per second.
Shown as byte

AWS에서 검색된 각 메트릭에는 호스트 이름, 보안 그룹 등을 포함하되 이에 국한되지 않고 AWS 콘솔에 표시되는 동일한 태그가 할당됩니다.

이벤트

Amazon Redshift 통합은 이벤트를 포함하지 않습니다.

서비스 검사

Amazon Redshift 통합은 서비스 점검을 포함하지 않습니다.

트러블슈팅

도움이 필요하세요? Datadog 지원팀에 문의하세요.

PREVIEWING: may/unit-testing