Surveiller et interroger les logs non parsés
Présentation
Le parsing des logs est essentiel pour pouvoir utiliser la pleine capacité de Datadog Log Management, pour les requêtes, les monitors, les agrégations ou les enrichissements automatiques comme le scanner de données sensibles.
Lorsque vous redimensionnez le volume de logs, il peut s’avérer difficile d’identifier et de corriger les modèles de logs qui ne sont pas soumis au parsing par vos pipelines.
Pour identifier et contrôler le volume des logs non parsés de votre organisation, suivez les étapes suivantes :
- Détecter les logs non parsés
- Interroger les logs non parsés
- Créer une métrique pour suivre les logs non parsés
- Surveiller le volume des logs non parsés
Détecter les logs non parsés
Pour déterminer si un log spécifique a été parsé par vos pipelines, ouvrez le log et consultez le volet Event Attributes. Si le log n’est pas parsé, au lieu d’afficher les attributs extraits de votre log, ce volet affiche un message indiquant qu’aucun attribut n’a été extrait :
Vous pouvez commencer le parsing d’un log non parsé en créant des pipelines personnalisés ou en utilisant une intégration de log en tant que source du log, afin de tirer parti de la configuration automatique des pipelines.
Interroger les logs non parsés
Si vous disposez d’un grand nombre de logs, une vérification manuelle n’est malheureusement pas envisageable. Pour y remédier, vous pouvez interroger les logs non parsés en utilisant le filtre datadog.pipelines:false dans le Log Explorer :
Ce filtre renvoie tous les logs indexés sans attribut personnalisé après le traitement du pipeline.
L’agrégation en fonction du pattern affiche une vue agrégée des patterns communs dans les logs non parsés, ce qui simplifie la création de pipelines personnalisés.
Créer une métrique pour suivre les logs non parsés
Après avoir interrogé les logs non parsés, vous pouvez sélectionner les logs indexés non parsés. Cette bonne pratique vous permet également de vous assurer que les logs que vous n’indexez pas sont bien parsés. Ainsi, vous êtes certain que le contenu de vos archives est structuré.
Pour créer une métrique pour les logs non parsés, créez une métrique custom à l’aide de la requête datadog.pipelines:false :
Comme pour toute métrique basée sur des logs, vous pouvez ajouter des dimensions dans le champ group by. Dans l’exemple ci-dessus, les éléments sont regroupés par service et team. Définissez un regroupement en fonction des dimensions utilisées pour définir à qui appartient le log.
Surveiller le volume des logs non parsés
Pour vous assurer que le parsing des logs reste sous contrôle dans votre organisation, appliquez un quota au volume de logs non parsés. Cette approche suit la même logique que les quotas quotidiens pour les index.
Pour surveiller le volume de logs non parsés, procédez comme suit :
- Créez un monitor de métrique.
- Utilisez la métrique
logs.unparsed créée précédemment. - Définissez le quota par
team. - Vérifiez que les conditions d’alerte vous conviennent.
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
