概要
パースされたログは、クエリ、監視、集計、機密データスキャナーなど自動エンリッチメントなど、Datadog ログ管理を最大限に活用するのに必要なものです。
ログの量をスケーリングする際、パイプラインでパースされないログのパターンを特定して修正するのが難しい場合があります。
組織内のパースされていないログの量を特定して制御する方法
- パースされていないログを検出する
- パースされていないログを照会する
- パースされていないログを追跡するためのメトリクスを作成する
- パースされていないログの量を監視する
パースされていないログの検出
特定のログがパイプラインでパースされたかを判断するには、ログを開き [イベントの属性] パネルを確認します。ログがパースされていない場合、パネルにはログから抽出された属性ではなく、属性が抽出されなかった旨のメッセージが表示されます。
パースされていないログをパースするには、カスタムパイプラインを作成するかログインテグレーションをログのソースとして使いパイプラインの自動設定を利用します。
パースされていないログのクエリ
ログの数が多く、1 つずつチェックができない場合は、ログエクスプローラーで datadog.pipelines:false フィルターを使い、パースされていないログをクエリできます。
このフィルターは、パイプライン処理の後、カスタム属性を持たないすべてのインデックス化されたログを返します。
パターン集約は、パースされていないログに共通するパターンを集約したビューを表示するため、カスタムパイプラインの作成を促進します。
パースされていないログを追跡するメトリクスを作成します
パースされていないログをクエリすると、パースされていない インデックス化された ログを選択できます。また、アーカイブの内容が構造化されるように、インデックス化しないログでもパースすることをお勧めします。
パースされていないログのメトリクスを作成するには、datadog.pipelines:false クエリを使用してカスタムメトリクスを作成します。
他のログベースのメトリクスは、group by フィールドでディメンションを追加できます。上の例では、service および team でグループ化しています。ログの所有権を定義するために使用するディメンションでグループ化する必要があります。
Monitor the volume of unparsed logs
組織内のログのパースを確実に制御するには、パースされていないログの量に割り当てを設定します。このアプローチは、インデックスの 1 日の割り当てで提案されているものに似ています。
パースされていないログの量を監視する
- メトリクスの監視を作成します。
- 事前に作成した
logs.unparsed メトリクスを使用します。 team ごとの割り当てを設定します。- アラートの条件がアラートを受け取りたい時に一致することを確認します。
その他の参考資料
