Google Cloud SQL 관리형 MySQL을 위한 데이터베이스 모니터링 설정

데이터베이스 모니터링은 InnoDB 스토리지 엔진의 쿼리 메트릭, 쿼리 샘플, 설명 계획, 연결 데이터, 시스템 메트릭, 텔레메트리를 표시하여 MySQL 데이터베이스를 구체적으로 가시화합니다.

에이전트는 읽기 전용 사용자로 로그인하여 데이터베이스에서 직접 텔레메트리를 수집합니다. MySQL 데이터베이스로데이터베이스 모니터링을 활성화하려면 다음과 같이 설정하세요.

  1. 데이터베이스 파라미터 설정
  2. 에이전트에 데이터베이스 접근 권한 부여
  3. 에이전트를 설치 및 설정합니다.
  4. 클라우드 SQL 통합 설치

시작 전 참고 사항

지원되는 MySQL 버전
5.6, 5.7, 또는 8.0+
지원되는 에이전트 버전
7.36.1+
성능에 미치는 영향
데이터베이스 모니터링에 대한 기본 에이전트 설정은 변경하지 않는 것이 좋으나 수집 간격 및 쿼리 샘플링 속도와 같은 설정은 필요에 맞게 조정할 수 있습니다. 대부분의 워크로드에서 에이전트는 데이터베이스에서 쿼리 실행 시간의 1% 미만, CPU의 1% 미만을 나타냅니다.

데이터베이스 모니터링은 기본 에이전트 위에서 통합으로 실행됩니다(벤치마크 참조).
프록시, 로드 밸런서 및 연결 풀러
Datadog 에이전트를 모니터링 중인 호스트에 직접 연결해야 하며, 가급적이면 Google Cloud 콘솔에서 제공한 IP 주소를 통해 연결해야 합니다. 에이전트를 프록시, 로드 밸런서 또는 연결 풀러를 통해 데이터베이스에 연결하면 안 됩니다. 에이전트를 실행했는데 다른 호스트에 연결되는 경우(페일오버, 로드밸런싱 등) 에이전트가 두 호스트 간의 통계 차이를 계산하여 부정확한 메트릭을 생성합니다.
데이터 보안 고려 사항
에이전트가 데이터베이스에서 수집하는 데이터와 데이터 보안을 유지하는 방법에 대한 자세한 내용은 민감한 정보를 참조하세요.

MySQL 설정 구성

설정을 적용하려면 다음 Database Flags를 설정한 후 서버를 재시작합니다.

    파라미터값설명
    performance_schemaon필수 사항. [성능 스키마][9]를 활성화합니다.
    max_digest_length4096더 큰 쿼리를 수집하는 데 필요합니다. events_statements_* 테이블에서 SQL 다이제스트 텍스트 크기를 늘립니다. 기본값을 그대로 두면 1024보다 긴 쿼리가 수집되지 않습니다.
    performance_schema_max_digest_length4096max_digest_length와 일치해야 합니다.
    파라미터값설명
    performance_schemaon필수 사항. [성능 스키마][9]를 활성화합니다.
    max_digest_length4096더 큰 쿼리를 수집하는 데 필요합니다. events_statements_* 테이블에서 SQL 다이제스트 텍스트 크기를 늘립니다. 기본값을 그대로 두면 1024보다 긴 쿼리가 수집되지 않습니다.
    performance_schema_max_digest_length4096max_digest_length와 일치해야 합니다.
    performance_schema_max_sql_text_length4096max_digest_length와 일치해야 합니다.

    에이전트에 접근 권한 부여

    Datadog 에이전트가 통계와 쿼리를 수집하려면 데이터베이스에 대한 읽기 전용 액세스가 필요합니다.

    다음 지침은 datadog@'%'를 사용하는 모든 호스트에서 로그인할 수 있도록 에이전트에 권한을 부여합니다. datadog@'localhost'를 사용하여 로컬 호스트에서만 로그인하도록 datadog 사용자를 제한할 수 있습니다. 자세한 정보는 MySQL 설명서를 참조하세요.

      datadog 사용자를 생성하고 기본 권한을 부여하세요.

      CREATE USER datadog@'%' IDENTIFIED BY '<UNIQUEPASSWORD>';
GRANT REPLICATION CLIENT ON *.* TO datadog@'%' WITH MAX_USER_CONNECTIONS 5;
GRANT PROCESS ON *.* TO datadog@'%';
GRANT SELECT ON performance_schema.* TO datadog@'%';

      datadog 사용자를 생성하고 기본 권한을 부여하세요.

      CREATE USER datadog@'%' IDENTIFIED by '<UNIQUEPASSWORD>';
ALTER USER datadog@'%' WITH MAX_USER_CONNECTIONS 5;
GRANT REPLICATION CLIENT ON *.* TO datadog@'%';
GRANT PROCESS ON *.* TO datadog@'%';
GRANT SELECT ON performance_schema.* TO datadog@'%';

      다음 스키마를 생성하세요.

      CREATE SCHEMA IF NOT EXISTS datadog;
GRANT EXECUTE ON datadog.* to datadog@'%';
GRANT CREATE TEMPORARY TABLES ON datadog.* TO datadog@'%';

      에이전트가 설명 계획을 수집할 수 있도록 explain_statement 절차를 생성합니다.

      DELIMITER $$
CREATE PROCEDURE datadog.explain_statement(IN query TEXT)
    SQL SECURITY DEFINER
BEGIN
    SET @explain := CONCAT('EXPLAIN FORMAT=json ', query);
    PREPARE stmt FROM @explain;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;
END $$
DELIMITER ;

      또한 설명 계획을 수집하려는 모든 스키마에서 이 절차를 생성합니다. <YOUR_SCHEMA>를 해당 데이터베이스 스키마로 변경하세요.

      DELIMITER $$
CREATE PROCEDURE <YOUR_SCHEMA>.explain_statement(IN query TEXT)
    SQL SECURITY DEFINER
BEGIN
    SET @explain := CONCAT('EXPLAIN FORMAT=json ', query);
    PREPARE stmt FROM @explain;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;
END $$
DELIMITER ;
GRANT EXECUTE ON PROCEDURE <YOUR_SCHEMA>.explain_statement TO datadog@'%';

      런타임 설정 컨슈머

      다음 절차를 생성하여 에이전트가 런타임에 performance_schema.events_* 컨슈머를 실행할 수 있는 기능을 제공하도록 합니다.

      DELIMITER $$
CREATE PROCEDURE datadog.enable_events_statements_consumers()
    SQL SECURITY DEFINER
BEGIN
    UPDATE performance_schema.setup_consumers SET enabled='YES' WHERE name LIKE 'events_statements_%';
    UPDATE performance_schema.setup_consumers SET enabled='YES' WHERE name = 'events_waits_current';
END $$
DELIMITER ;
GRANT EXECUTE ON PROCEDURE datadog.enable_events_statements_consumers TO datadog@'%';

      비밀번호를 안전하게 저장하기

      Store your password using secret management software such as Vault. You can then reference this password as ENC[<SECRET_NAME>] in your Agent configuration files: for example, ENC[datadog_user_database_password]. See Secrets Management for more information.

      The examples on this page use datadog_user_database_password to refer to the name of the secret where your password is stored. It is possible to reference your password in plain text, but this is not recommended.

      확인

      다음 명령을 사용해 <UNIQUEPASSWORD>를 위에서 생성한 비밀번호로 변경하여 사용자가 성공적으로 생성되었는지 확인합니다.

      mysql -u datadog --password=<UNIQUEPASSWORD> -e "show status" | \
grep Uptime && echo -e "\033[0;32mMySQL user - OK\033[0m" || \
echo -e "\033[0;31mCannot connect to MySQL\033[0m"

      mysql -u datadog --password=<UNIQUEPASSWORD> -e "show slave status" && \
echo -e "\033[0;32mMySQL grant - OK\033[0m" || \
echo -e "\033[0;31mMissing REPLICATION CLIENT grant\033[0m"

      에이전트 설치 및 구성

      Cloud SQL 호스트를 모니터링하려면 인프라스트럭처에 Datadog 에이전트를 설치하고 각 인스턴스 엔드포인트에 원격으로 연결하도록 설정합니다. 에이전트는 데이터베이스에서 실행할 필요가 없으며 데이터베이스에 연결하기만 하면 됩니다. 여기에 언급되지 않은 추가 에이전트 설치 방법은 에이전트 설치 지침을 참조하세요.

        호스트에서 실행 중인 에이전트에 대해 이 검사를 구성하려면 다음과 같이 실행하세요(예: 에이전트가 Google Cloud SQL 데이터베이스에서 수집할 수 있도록 작은 GCE 인스턴스를 프로비저닝하는 경우).

        에이전트의 설정 디렉터리 루트에 있는 conf.d/ 폴더에서 mysql.d/conf.yaml 파일을 편집합니다. 커스텀 메트릭을 포함하여 사용 가능한 모든 설정 옵션은 sample mysql.d/conf.yaml에서 확인하세요.

        이 설정 블록을 mysql.d/conf.yaml에 추가하여 MySQL 메트릭을 수집하세요.

        init_config:

instances:
  - dbm: true
    host: '<INSTANCE_ADDRESS>'
    port: 3306
    username: datadog
    password: 'ENC[datadog_user_database_password]' # from the CREATE USER step earlier, stored as a secret

    # 프로젝트 및 인스턴스를 추가한 후 GCP(Datadog Google Cloud) 통합을 통해 CPU, 메모리 등 추가 클라우드 데이터를 풀링합니다.
    gcp:
      project_id: '<PROJECT_ID>'
      instance_id: '<INSTANCE_ID>'

        설정 project_id 및 instance_id 필드에 대한 자세한 내용은 MySQL 통합 사양을 참조하세요.

        에이전트를 재시작하여 MySQL 메트릭을 Datadog에 전송하기 시작합니다.

        Google Cloud Run과 같이 Docker 컨테이너에서 실행되는 Database Monitoring 에이전트를 설정하려면 에이전트 컨테이너에서 자동탐지 통합 템플릿을 Docker 레이블로 설정합니다.

        참고: 에이전트에 Docker 자동탐지 레이블을 읽을 수 있는 권한이 있어야 작동합니다.

        명령줄

        명령줄에 다음 명령을 실행해 빠르게 에이전트를 실행합니다. 내 계정과 환경에 맞게 값을 변경하세요.

        export DD_API_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
export DD_AGENT_VERSION=7.36.1

docker run -e "DD_API_KEY=${DD_API_KEY}" \
  -v /var/run/docker.sock:/var/run/docker.sock:ro \
  -l com.datadoghq.ad.check_names='["mysql"]' \
  -l com.datadoghq.ad.init_configs='[{}]' \
  -l com.datadoghq.ad.instances='[{
    "dbm": true,
    "host": "<INSTANCE_ADDRESS>",
    "port": 3306,
    "username": "datadog",
    "password": "<UNIQUEPASSWORD>",
    "gcp": {
      "project_id": "<PROJECT_ID>",
      "instance_id": "<INSTANCE_ID>"
    }
  }]' \
  gcr.io/datadoghq/agent:${DD_AGENT_VERSION}

        Dockerfile

        Dockerfile에서도 레이블을 지정할 수 있어 인프라스트럭처 설정을 변경할 필요 없이 커스텀 에이전트를 빌드하고 배포할 수 있습니다.

        FROM gcr.io/datadoghq/agent:7.36.1

LABEL "com.datadoghq.ad.check_names"='["mysql"]'
LABEL "com.datadoghq.ad.init_configs"='[{}]'
LABEL "com.datadoghq.ad.instances"='[{"dbm": true, "host": "<INSTANCE_ADDRESS>", "port": 5432,"username": "datadog","password": "ENC[datadog_user_database_password]", "gcp": {"project_id": "<PROJECT_ID>", "instance_id": "<INSTANCE_ID>"}}]'

        설정 project_id 및 instance_id 필드에 대한 자세한 내용은 [MySQL 통합 사양][2]을 참조하세요.

        쿠버네티스 클러스터가 있는 경우 데이터베이스 모니터링에서 Datadog 클러스터 에이전트를 사용하세요.

        쿠버네티스 클러스터에서 아직 활성화되지 않은 경우 지침에 따라 클러스터 검사 활성화를 수행합니다. 클러스터 에이전트 컨테이너에 연결된 정적 파일을 사용하거나 서비스 주석을 사용하여 MySQL 설정을 선언할 수 있습니다.

        Helm

        다음 단계를 완료해 쿠버네티스 클러스터에서 Datadog 클러스터 에이전트를 설치하세요. 내 계정과 환경에 맞게 값을 변경하세요.

        1. Helm용 Datadog 에이전트 설치 지침을 완료하세요.

        2. 다음을 포함하도록 YAML 설정 파일(클러스터 에이전트 설치 지침의 datadog-values.yaml)을 업데이트하세요.

          clusterAgent:
  confd:
    mysql.yaml: |-
      cluster_check: true
      init_config:
      instances:
        - dbm: true
          host: <INSTANCE_ADDRESS>
          port: 3306
          username: datadog
          password: 'ENC[datadog_user_database_password]'
          gcp:
            project_id: '<PROJECT_ID>'
            instance_id: '<INSTANCE_ID>'      

clusterChecksRunner:
  enabled: true

        3. 명령줄에서 위의 설정 파일로 에이전트를 배포합니다.

          helm install datadog-agent -f datadog-values.yaml datadog/datadog
        Windows의 경우 --set targetSystem=windows를 helm 설치명령에 추가하세요.

        연결된 파일로 설정

        연결된 구성 파일로 클러스터 검사를 구성하려면 /conf.d/mysql.yaml 경로의 Cluster 에이전트 컨테이너에서 설정 파일을 연결하세요.

        cluster_check: true  # Make sure to include this flag
init_config:
instances:
  - dbm: true
    host: '<INSTANCE_ADDRESS>'
    port: 3306
    username: datadog
    password: 'ENC[datadog_user_database_password]'
    # 프로젝트 및 인스턴스를 추가한 후 GCP(Datadog Google Cloud) 통합을 통해 CPU, 메모리 등 추가 클라우드 데이터를 풀링합니다.
    gcp:
      project_id: '<PROJECT_ID>'
      instance_id: '<INSTANCE_ID>'

        쿠버네티스 서비스 주석으로 설정

        파일을 연결하는 대신 쿠버네티스 서비스로 인스턴스 설정을 지정할 수 있습니다. 쿠버네티스가 실행되는 에이전트에서 이 점검을 설정하려면 Datadog 클러스터 에이전트와 동일한 네임스페이스로 서비스를 생성하세요.

        apiVersion: v1
kind: Service
metadata:
  name: mysql
  labels:
    tags.datadoghq.com/env: '<ENV>'
    tags.datadoghq.com/service: '<SERVICE>'
  annotations:
    ad.datadoghq.com/service.check_names: '["mysql"]'
    ad.datadoghq.com/service.init_configs: '[{}]'
    ad.datadoghq.com/service.instances: |
      [
        {
          "dbm": true,
          "host": "<INSTANCE_ADDRESS>",
          "port": 3306,
          "username": "datadog",
          "password": "ENC[datadog_user_database_password]",
          "gcp": {
            "project_id": "<PROJECT_ID>",
            "instance_id": "<INSTANCE_ID>"
          }
        }
      ]      
spec:
  ports:
  - port: 3306
    protocol: TCP
    targetPort: 3306
    name: mysql

        설정 project_id 및 instance_id 필드에 대한 자세한 내용은 [MySQL 통합 사양][4]을 참조하세요.

        Cluster 에이전트가 자동으로 이 설정을 등록하고 MySQL 검사를 실행합니다.

        검증

        에이전트의 상태 하위 명령을 실행하고 Checks 섹션에서 mysql을 찾습니다. 또는 Databases 페이지를 방문하여 시작합니다.

        에이전트 설정 예시

        One agent connecting to multiple hosts

        It is common to configure a single Agent host to connect to multiple remote database instances (see Agent installation architectures for DBM). To connect to multiple hosts, create an entry for each host in the MySQL integration config. In these cases, Datadog recommends limiting the number of instances per Agent to a maximum of 10 database instances to guarantee reliable performance.

        init_config:
instances:
  - dbm: true
    host: example-service-primary.example-host.com
    port: 3306
    username: datadog
    password: 'ENC[datadog_user_database_password]'
    tags:
      - 'env:prod'
      - 'team:team-discovery'
      - 'service:example-service'
  - dbm: true
    host: example-service-replica-1.example-host.com
    port: 3306
    username: datadog
    password: 'ENC[datadog_user_database_password]'
    options:
      replication: true
    tags:
      - 'env:prod'
      - 'team:team-discovery'
      - 'service:example-service'
  - dbm: true
    host: example-service-replica-2.example-host.com
    port: 3306
    username: datadog
    password: 'ENC[datadog_user_database_password]'
    options:
      replication: true
    tags:
      - 'env:prod'
      - 'team:team-discovery'
      - 'service:example-service'
    [...]

        Running custom queries

        To collect custom metrics, use the custom_queries option. See the sample mysql.d/conf.yaml for more details.

        init_config:
instances:
  - dbm: true
    host: localhost
    port: 3306
    username: datadog
    password: 'ENC[datadog_user_database_password]'
    custom_queries:
    - query: SELECT age, salary, hours_worked, name FROM hr.employees;
      columns:
        - name: custom.employee_age
          type: gauge
        - name: custom.employee_salary
           type: gauge
        - name: custom.employee_hours
           type: count
        - name: name
           type: tag
      tags:
        - 'table:employees'

        Working with hosts through a proxy

        If the Agent must connect through a proxy such as the Cloud SQL Auth proxy, all telemetry is tagged with the hostname of the proxy rather than the database instance. Use the reported_hostname option to set a custom override of the hostname detected by the Agent.

        init_config:
instances:
  - dbm: true
    host: localhost
    port: 5000
    username: datadog
    password: 'ENC[datadog_user_database_password]'
    reported_hostname: example-service-primary
  - dbm: true
    host: localhost
    port: 5001
    username: datadog
    password: 'ENC[datadog_user_database_password]'
    reported_hostname: example-service-replica-1

        Cloud SQL 통합 설치

        Google Cloud에서 보다 포괄적인 데이터베이스 메트릭을 수집하려면 클라우드 SQL 통합(선택사항)을 설치합니다.

        트러블슈팅

        설명한 대로 통합 및 에이전트를 설치 및 설정하였으나 제대로 작동하지 않는 경우 트러블슈팅을 참조하세요.

        참고 자료

        추가 유용한 문서, 링크 및 기사:

        기본 MySQL 통합설명서 more more
        PREVIEWING: rtrieu/product-analytics-ui-changes