Información general

Puede resultar difícil monitorizar y optimizar eficazmente la infraestructura y la recuperación de datos de Snowflake. Surgen problemas que pueden derivar en una utilización ineficiente de los recursos, mayores costes y una experiencia del cliente degradada.

Con la integración Snowflake de Datadog, puedes detectar consultas de larga duración para mejorar el rendimiento y reducir los costes, identificar amenazas de seguridad en tiempo real y monitorizar tus cargas de trabajo de Snowpark.

Después de analizar los datos de Snowflake, Datadog completa el dashboard de información general listo para usar con información sobre todos los recursos recopilados. También ofrece monitores recomendados para ayudarte a comenzar a generar alertas sobre ejecuciones fallidas de Snowpark o una cantidad anormal de intentos de inicio de sesión.

Configuración

Instalación

No se requiere ningún paso de instalación.

Configuración

Conecta tu cuenta de Snowflake

1. Busca la URL de tu cuenta de Snowflake.

2. En el cuadro de la integración de Snowflake, ingresa la URL de la cuenta de Snowflake en el campo URL de la cuenta.

3. En la pestaña Recopilación de recursos, activa los recursos que quieres recopilar:

Métricas de uso de cuentas y organizaciones

En la siguiente tabla se describen los tipos de métricas recopiladas y sus prefijos de métricas asociados.

Estas métricas pueden recopilarse en uno de dos periodos:

• Últimas 24 horas: Recopila las métricas agregadas por las últimas 24 horas. Ejemplo: 1-01-25 04:00:00 a 1-02-25 04:00:00.
• Día actual: Recopila las métricas agregadas por el día actual. Ejemplo: 1-02-25 00:00:00 a 1-02-25 04:00:00.

Logs

La siguiente tabla describe los tipos de logs recopilados y qué tablas de Snowflake están incluidas.

Estos logs pueden recopilarse en varios periodos en función del caso de uso. Pueden configurarse en el cuadro de la integración Snowflake.

Cloud Cost Management

Activa Cloud Cost Management para recibir las métricas de costes de Snowflake agregadas desde la tabla SNOWFLAKE.ORGANIZATION_USAGE.USAGE_IN_CURRENCY_DAILY. Puedes utilizar estas métricas con Cloud Cost Management para obtener información adicional sobre tus costes y tu uso.

4. Crea un rol y un usuario específicos de Datadog para monitorizar Snowflake. Ejecuta la serie de comandos que se indican a continuación en tu entorno de Snowflake para crear un usuario al que Datadog pueda acceder.

-- Crea un nuevo rol destinado a monitorizar el uso de Snowflake. El nombre del rol es personalizable.
create role DATADOG;

-- Concede privilegios en la base de datos SNOWFLAKE al nuevo rol.
grant imported privileges on database SNOWFLAKE to role DATADOG;

-- Concede el uso de tu almacén predeterminado al rol DATADOG.
grant usage on warehouse <WAREHOUSE> to role DATADOG;

-- Concede las siguientes vistas ACCOUNT_USAGE al nuevo rol. Haz esto si deseas recopilar logs y métricas de uso de la cuenta de Snowflake.
grant database role SNOWFLAKE.OBJECT_VIEWER to role DATADOG;
grant database role SNOWFLAKE.USAGE_VIEWER to role DATADOG;
grant database role SNOWFLAKE.GOVERNANCE_VIEWER to role DATADOG;
grant database role SNOWFLAKE.SECURITY_VIEWER to role DATADOG;

-- Concede ORGANIZATION_USAGE_VIEWER al nuevo rol. Haz esto si deseas recopilar métricas de uso de la organización de Snowflake.
grant database role SNOWFLAKE.ORGANIZATION_USAGE_VIEWER to role DATADOG;

-- Concede ORGANIZATION_BILLING_VIEWER al nuevo rol. Haz esto si deseas recopilar datos de costes de Snowflake.
grant database role SNOWFLAKE.ORGANIZATION_BILLING_VIEWER to role DATADOG;

-- Conceder uso en la base de datos, esquema y tabla de la tabla del evento.
conceder uso en la base de datos <EVENT_TABLE_DATABASE> al rol de Datadog;
conceder uso en el esquema <EVENT_TABLE_DATABASE>.<EVENT_TABLE_SCHEMA> al rol de Datadog;
conceder selección en la tabla <EVENT_TABLE_DATABASE>.<EVENT_TABLE_SCHEMA>.<EVENT_TABLE_NAME> al rol de Datadog;
conceder rol de aplicación SNOWFLAKE.EVENTS_VIEWER al rol de DATADOG;
conceder rol de aplicación SNOWFLAKE.EVENTS_ADMIN al rol de DATADOG;

-- Concede el uso de la base de datos, del esquema y de la tabla de tus tablas para la recopilación de métricas de tus consultas personalizadas.
grant usage on database <CUSTOM_QUERY_DATABASE> to role DATADOG;
grant usage on schema <CUSTOM_QUERY_DATABASE>.<CUSTOM_QUERY_SCHEMA> to role DATADOG;
grant select on table <CUSTOM_QUERY_DATABASE>.<CUSTOM_QUERY_SCHEMA>.<CUSTOM_QUERY_TABLE> to role DATADOG;

-- Crea un usuario.
create user <USERNAME>
LOGIN_NAME = <USERNAME>
password = '<PASSWORD>'
default_warehouse =<WAREHOUSE>
default_role = DATADOG;

-- Concede el rol de monitor al usuario.
grant role DATADOG to user <USERNAME>

5. Configura la autenticación por par de claves. La clave pública se asigna al usuario creado anteriormente y la clave privada se carga en Datadog, lo que permite que Datadog se conecte a tu cuenta de Snowflake. a. Crea y carga una clave privada siguiendo las instrucciones de Snowflake. Actualmente, Datadog solo admite claves privadas sin cifrar. b. Crea una clave pública siguiendo las instrucciones de Snowflake. c. Asigna la clave pública al usuario creado anteriormente siguiendo las instrucciones de Snowflake.

Métricas personalizadas

La integración Snowflake admite consultas personalizadas para recopilar métricas personalizadas. Los usuarios pueden escribir consultas SQL personalizadas para extraer datos específicos y verlos como métricas y etiquetas (tags) de métricas en Datadog. Las consultas con varias líneas deben tener cada consulta en su propia línea.

Por defecto, la integración se conecta a la base de datos compartida SNOWFLAKE y al esquema ACCOUNT_USAGE. Si estás consultando una tabla fuera del esquema ACCOUNT_USAGE, asegúrate de que tu rol configurado tenga los permisos apropiados para acceder a la tabla.

La tabla siguiente describe los campos utilizados para definir métricas personalizadas.

Notas:

• Al menos un elemento en las columnas definidas debe ser un tipo de métrica (gauge, count, tasa, distribución).
• El número de elementos en las columnas debe ser igual a la cantidad de columnas devueltas en la consulta.
• El orden en que se definen los elementos en las columnas debe ser el mismo orden en que se devuelven en la consulta.

Ejemplo:

Validación

Para verificar el resultado, busca las métricas utilizando el resumen de métricas:

Tablas de referencia

Las tablas de referencia te permiten enriquecer y unir automáticamente tu telemetría con campos adicionales de tus tablas de Snowflake. Al asignar campos de valor a una clave primaria, puedes añadir automáticamente estos campos a logs o eventos que contengan esa clave.

Activar la ingesta de tablas de referencia

1. Ve a tu espacio de trabajo de Snowflake.

2. Identifica el nombre de la tabla de Snowflake que se utilizará en Datadog.

3. Concede a Datadog permisos de lectura de la tabla ejecutando el siguiente comando en tu espacio de trabajo.

   GRANT USAGE ON DATABASE <REFERENCE_TABLE_DATABASE> TO ROLE DATADOG;
   GRANT USAGE ON SCHEMA <REFERENCE_TABLE_DATABASE>.<REFERENCE_TABLE_SCHEMA> TO ROLE DATADOG;
   GRANT SELECT ON TABLE <REFERENCE_TABLE_DATABASE>.<REFERENCE_TABLE_SCHEMA>.<REFERENCE_TABLE_NAME> TO ROLE DATADOG;
   

   • Si te encuentras con el error Insufficient Privileges (Privilegios insuficientes), ponte en contacto con el administrador de Snowflake de tu organización para que te conceda estos permisos. Datadog no podrá ingerir tu tabla de Snowflake en tablas de referencia sin los permisos anteriores concedidos en tu tabla de Snowflake.

4. Copia el nombre de la tabla y la clave principal para utilizarlos en la configuración de la tabla de referencia en el paso 6.

5. En Datadog, ve al cuadro de Snowflake y haz clic en la pestaña Tablas de referencia de la cuenta de la que quieres ingerir tablas. Si no tienes ninguna cuenta configurada, sigue las instrucciones de la sección Configuración.

6. Haz clic en el botón Add New Reference Table (Añadir nueva tabla de referencia). Cuando se abra el formulario, rellena los siguientes campos:

• Nombre de la tabla de Datadog, para identificar la tabla en el producto Tablas de referencia de Datadog. El nombre de tu tabla de Datadog debe contener caracteres y guiones bajos para separar varias palabras (por ejemplo, my_reference_table). Asegúrate de que el nombre de tu tabla de referencia de Datadog es único en tu organización.
• Nombre de la tabla de Snowflake que quieres ingerir, copiada del paso 4.
• Clave primaria de la tabla de Snowflake copiada del paso 4.

7. Haz clic en Save (Guardar).
8. Puedes esperar ver datos de servicio rellenados en Datadog, varios minutos después de las ejecuciones programadas de tus consultas. Cualquier error de ingesta se notificará mediante eventos visibles en tu Explorador de eventos, buscando source:snowflake.
9. Ve a Tablas de referencia y busca la tabla que acabas de crear, utilizando el nombre de la tabla de Datadog.
10. Revisa el estado de tu tabla de Snowflake que se encuentra en la sección Archivo. Si aparece algún error, resuélvelo en Snowflake.

Prácticas recomendadas para la ingesta de tablas de Snowflake en tablas de referencia de Datadog

Al integrar datos de Snowflake en Datadog, es importante estructurar las tablas de forma eficiente para optimizar el rendimiento y los costes. Esta sección te ofrece recomendaciones sobre cómo preparar tus tablas de Snowflake para la ingesta.

Cómo Datadog ingiere tus datos

Datadog ejecuta la siguiente consulta cada hora en la tabla de Snowflake especificada:

SELECT * FROM your_table;

Dado que esta operación recupera todas las columnas y filas, Datadog recomienda especialmente crear una vista que incluya sólo los campos necesarios requeridos para la monitorización en Datadog. Esto ayuda a reducir la transferencia innecesaria de datos y los costes de procesamiento.

Utilizar una vista para limitar los datos

En lugar de exponer una tabla completa, crea una vista que seleccione sólo las columnas necesarias:

CREATE VIEW my_datadog_view AS
SELECT my_column_1, my_column_2
FROM my_raw_table;

Para obtener más información, consulta la documentación de las vistas de Snowflake.

Consideraciones relativas al rendimiento y los costes

En algunos casos, una vista estándar puede no ser la opción más eficaz, sobre todo si:

• La consulta es compleja (por ejemplo, implica uniones, agregaciones o subconsultas).
• El tiempo de ejecución de SELECT * es de varios minutos o más.
• La frecuencia de ingesta se traduce en elevados costes de computación. Para monitorizar tus costes de Snowflake, te recomendamos utilizar Snowflake Cloud Cost Management.

Para mejorar la eficiencia, considera alternativas como vistas materializadas, tablas dinámicas o tablas precalculadas.

Elegir la estructura de tabla adecuada

Utilizar una vista materializada

Una vista materializada precalcula y almacena los resultados de las consultas, lo que agiliza considerablemente la recuperación de datos.

CREATE MATERIALIZED VIEW my_fast_view AS
SELECT important_column_1, important_column_2
FROM my_raw_table;

Las vistas materializadas consumen almacenamiento adicional y deben actualizarse para mantener los datos al día. Puedes encontrar más información en la documentación de las vistas materializadas.

Utilizar una tabla dinámica

Si los datos cambian con frecuencia y las actualizaciones completas son demasiado lentas, una tabla dinámica permite a Snowflake gestionar las actualizaciones incrementales:

CREATE DYNAMIC TABLE my_dynamic_table
TARGET_LAG = '10 MINUTES'
WAREHOUSE = my_warehouse
AS SELECT important_column_1, important_column_2 FROM my_raw_table;

Snowflake gestiona automáticamente las actualizaciones incrementales en función de la configuración de TARGET_LAG. Puedes encontrar más información en la documentación de las tablas dinámicas.

Principales conclusiones

• Utilizar una vista para restringir los datos enviados a Datadog y optimizar el rendimiento de las consultas.
• Para consultas lentas, considerar el uso de una vista materializada, tabla dinámica o tabla precalculada para mejorar la eficiencia.
• Evaluar las compensaciones de costes y rendimiento antes de elegir una estrategia.

Siguiendo estas prácticas recomendadas, puedes garantizar una integración eficiente y rentable entre Snowflake y Datadog. Si necesitas ayuda para determinar la mejor opción para tu organización, ponte en contacto con el servicio de asistencia de Snowflake.

Solucionar problemas en tablas de referencia de Snowflake

• Los nombres de las tablas de referencia deben ser únicos en Datadog.
• Datadog no valida los nombres de tablas de Snowflake. Si tu tabla no aparece en Tablas de referencia, asegúrate de haber ingresado correctamente el nombre de la tabla de Snowflake.
• Si tu tabla sigue sin aparecer, revisa la sección Limitaciones de la documentación de la tabla de referencia para asegurarte de que tu tabla no corresponde a ninguna de esas categorías.
• En caso de problemas con la ingesta de Datadog, ponte en contacto con el servicio de asistencia de Datadog. Si tienes problemas con tu tabla de Snowflake, ponte en contacto con el servicio de asistencia de Snowflake.

Datos recopilados

Métricas

Eventos

La integración de Snowflake Web no incluye ningún evento.

Checks de servicio

La integración de Snowflake Web no incluye ningún check de servicio.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.

Check del Agent: Snowflake

Agent: información general

Este check monitoriza Snowflake a través del Datadog Agent. Snowflake es un almacén de datos analíticos SaaS y se ejecuta completamente en la infraestructura de la nube. Esta integración monitoriza el uso de crédito, la facturación, el almacenamiento, las métricas de consulta y más.

Agent: configuración

Sigue las instrucciones a continuación para instalar y configurar este check para un Agent que se ejecuta en un host.

Agent: instalación

El check de Snowflake está incluido en el paquete del Datadog Agent.

Nota: El check de Snowflake no está disponible en el Datadog Agent v6 con Python 2. Para utilizar Snowflake en el Agent v6, consulta Uso de Python 3 con el Datadog Agent v6 o actualiza al Agent v7.

Agent: configuración

1. Crea un rol y un usuario específicos de Datadog para monitorizar Snowflake. En Snowflake, ejecuta lo siguiente para crear un rol personalizado con acceso al esquema ACCOUNT_USAGE.

   Nota: Por defecto, esta integración monitoriza la base de datos SNOWFLAKE y el esquema ACCOUNT_USAGE. Consulta “Recopilación de datos de la organización” para obtener información sobre cómo monitorizar el esquema ORGANIZATION_USAGE. Esta base de datos está disponible por defecto y solo la pueden ver los usuarios con el rol ACCOUNTADMIN o cualquier rol otorgado por el ACCOUNTADMIN.

   use role ACCOUNTADMIN;
   grant imported privileges on database snowflake to role SYSADMIN;
   
   use role SYSADMIN;
   

   También puedes crear un rol DATADOG personalizado con acceso a ACCOUNT_USAGE.

   -- Create a new role intended to monitor Snowflake usage.
   create role DATADOG;
   
   -- Grant privileges on the SNOWFLAKE database to the new role.
   grant imported privileges on database SNOWFLAKE to role DATADOG;
   
   -- Grant usage to your default warehouse to the role DATADOG.
   grant usage on warehouse <WAREHOUSE> to role DATADOG;
   
   -- Create a user, skip this step if you are using an existing user.
   create user DATADOG_USER
   LOGIN_NAME = DATADOG_USER
   password = '<PASSWORD>'
   default_warehouse = <WAREHOUSE>
   default_role = DATADOG
   default_namespace = SNOWFLAKE.ACCOUNT_USAGE;
   
   -- Grant the monitor role to the user.
   grant role DATADOG to user <USER>;
   

2. Edita el archivo snowflake.d/conf.yaml, que se encuentra en la carpeta conf.d/ en la raíz del directorio de configuración del Agent, para empezar a recopilar tus datos de rendimiento de Snowflake. Para conocer todas las opciones de configuración disponibles, consulta el snowflake.d/conf.yaml de ejemplo.

   ## @param account - string - required
   ## Name of your account (provided by Snowflake), including the platform and region if applicable.
   ## For more information on Snowflake account names,
   ## see https://docs.snowflake.com/en/user-guide/connecting.html#your-snowflake-account-name
   #
   - account: <ORG_NAME>-<ACCOUNT_NAME>
   
     ## @param username - string - required
     ## Login name for the user.
     #
     username: <USER>
   
     ## @param password - string - required
     ## Password for the user
     #
     password: <PASSWORD>
   
     ## @param role - string - required
     ## Name of the role to use.
     ##
     ## By default, the SNOWFLAKE database is only accessible by the ACCOUNTADMIN role. Snowflake recommends
     ## configuring a role specific for monitoring:
     ## https://docs.snowflake.com/en/sql-reference/account-usage.html#enabling-account-usage-for-other-roles
     #
     role: <ROLE>
   
     ## @param min_collection_interval - number - optional - default: 15
     ## This changes the collection interval of the check. For more information, see:
     ## https://docs.datadoghq.com/developers/write_agent_check/#collection-interval
     ##
     ## NOTE: Most Snowflake ACCOUNT_USAGE views are populated on an hourly basis,
     ## so to minimize unnecessary queries, set the `min_collection_interval` to 1 hour.
     #
     min_collection_interval: 3600
   
     # @param disable_generic_tags - boolean - optional - default: false
     # Generic tags such as `cluster` will be replaced by <INTEGRATION_NAME>_cluster to avoid
     # getting mixed with other integration tags.
     # disable_generic_tags: true
   

   In the default `conf.yaml`, the min_collection_interval is 1 hour. Snowflake metrics are aggregated by day, you can increase the interval to reduce the number of queries.
   Note: Snowflake ACCOUNT_USAGE views have a known latency of 45 minutes to 3 hours.

3. Reinicia el Agent.

Recopilación de datos de la organización

Por defecto, esta integración monitoriza el esquema ACCOUNT_USAGE, pero se puede configurar para monitorizar métricas a nivel de la organización.

Para recopilar métricas de la organización, cambia el campo del esquema a ORGANIZATION_USAGE y aumenta min_collection_interval a 43200 en la configuración de la integración. Esto reduce el número de consultas a Snowflake, ya que la mayoría de las consultas de la organización tienen una latencia de hasta 24 horas.

Nota: Para monitorizar las métricas de la organización, tu user debe tener el rol ORGADMIN.

- schema: ORGANIZATION_USAGE
  min_collection_interval: 43200

De forma predeterminada, solo se habilitan algunas métricas de la organización. Para recopilar todas las métricas de la organización disponibles, utiliza la opción de configuración metric_groups:

metric_groups:
  - snowflake.organization.warehouse
  - snowflake.organization.currency
  - snowflake.organization.credit
  - snowflake.organization.storage
  - snowflake.organization.contracts
  - snowflake.organization.balance
  - snowflake.organization.rate
  - snowflake.organization.data_transfer

Además, puedes monitorizar las métricas de la cuenta y de la organización al mismo tiempo:

instances:
  - account: example-inc
    username: DATADOG_ORG_ADMIN
    password: "<PASSWORD>"
    role: SYSADMIN
    schema: ORGANIZATION_USAGE
    database: SNOWFLAKE
    min_collection_interval: 43200

  - account: example-inc
    username: DATADOG_ACCOUNT_ADMIN
    password: "<PASSWORD>"
    role: DATADOG_ADMIN
    schema: ACCOUNT_USAGE
    database: SNOWFLAKE
    min_collection_interval: 3600

Recopilación de datos para múltiples entornos

Si deseas recopilar datos para varios entornos de Snowflake, añade cada entorno como una instancia en tu archivo snowflake.d/conf.yaml. Por ejemplo, si necesitas recopilar datos para dos usuarios llamados DATADOG_SYSADMIN y DATADOG_USER:

instances:
  - account: example-inc
    username: DATADOG_SYSADMIN
    password: "<PASSWORD>"
    role: SYSADMIN
    database: EXAMPLE-INC

  - account: example-inc
    username: DATADOG_USER
    password: "<PASSWORD>"
    role: DATADOG_USER
    database: EXAMPLE-INC

Configuración del proxy

Snowflake recomienda configurar variables de entorno para configuraciones de proxy.

También puedes configurar proxy_host, proxy_port, proxy_user y proxy_password bajo init_config en snowflake.d/conf.yaml.

Nota: Snowflake formatea automáticamente las configuraciones de proxy y configura variables de entorno de proxy estándar. Estas variables también afectan todas las solicitudes de integraciones, incluidos los orquestadores como Docker, ECS y Kubernetes.

Conectividad privada a la configuración de Snowflake

Si la conectividad privada (como AWS PrivateLink) está habilitada en Snowflake, puedes configurar la integración Snowflake actualizando la opción de configuración account con el siguiente formato:

- account: <ACCOUNT>.<REGION_ID>.privatelink

Consultas personalizadas de Snowflake

La integración Snowflake admite consultas personalizadas. Por defecto, la integración se conecta a la base de datos compartida SNOWFLAKE y al esquema ACCOUNT_USAGE.

Para ejecutar consultas personalizadas en un esquema o una base de datos diferentes, añade otra instancia al snowflake.d/conf.yaml de ejemplo y especifica las opciones database y schema. Asegúrate de que el usuario y el rol tienen acceso a la base de datos o al esquema especificados.

Opciones de configuración

La opción custom_queries tiene las siguientes opciones:

Notas:

• Al menos uno de los elementos definidos en columns debería ser un tipo de métrica (gauge, count, rate).

• El número de elementos en las columnas debe ser igual a la cantidad de columnas devueltas en la consulta.

• El orden en que se definen los elementos en columns debe ser el mismo orden en que se devuelven en la consulta.

custom_queries:
  - query: select F3, F2, F1 from Table;
    columns:
      - name: f3_metric_alias
        type: gauge
      - name: f2_tagkey
        type: tag
      - name: f1_metric_alias
        type: count
    tags:
      - test:snowflake

Ejemplo

El siguiente ejemplo es una consulta que cuenta todas las consultas de la vista QUERY_HISTORY, etiquetadas por nombres de base de datos, esquema y almacén.

select count(*), DATABASE_NAME, SCHEMA_NAME, WAREHOUSE_NAME from QUERY_HISTORY group by 2, 3, 4;

Configuración de una consulta personalizada

La configuración de una consulta personalizada en instances tiene el siguiente aspecto:

custom_queries:
  - query: select count(*), DATABASE_NAME, SCHEMA_NAME, WAREHOUSE_NAME from QUERY_HISTORY group by 2, 3, 4;
    columns:
      - name: query.total
        type: gauge
      - name: database_name
        type: tag
      - name: schema_name
        type: tag
      - name: warehouse_name
        type: tag
    tags:
      - test:snowflake

Agent: validación

Ejecuta el subcomando de estado del Agent y busca snowflake en la sección Checks.

Agent: datos recopilados

Agent: métricas

Consulta Métricas para obtener una lista de las métricas que proporciona este check.

Agent: eventos

Snowflake no incluye ningún evento.

Agent: checks de servicio

snowflake.can_connect
Devuelve CRITICAL si el check no puede autenticar las credenciales de Snowflake. En caso contrario, devuelve OK.
Estados: ok, crítico

Agent: solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.

Referencias adicionales

Documentación útil adicional, enlaces y artículos:

• Monitorizar Snowflake con Datadog
• Monitorizar Snowflake Snowpark con Datadog
• Métricas clave para monitorizar los costes y la calidad de los datos Snowflake
• Herramientas para recopilar y monitorizar métricas clave de Snowflake
• Monitorizar el rendimiento y la calidad de los datos de Snowflake con Datadog