개요

로그 파이프라인 스캐너를 사용하면 로그 파이프라인을 실시간으로 스캔하고, 특정 로그를 추적하고, 어떤 파이프라인 및 처리 규칙이 해당 필드를 변경했는지 파악할 수 있습니다. 조직은 로그 파이프라인을 활용하여 광범위한 로그 볼륨을 처리하며, 각 팀은 보안 모니터링, 규정 감사, DevOps 등 특정 사용 사례에 맞게 로그를 재구조화하고 보강합니다.

파이프라인 스캐너를 사용하여 다음 작업을 수행할 수 있습니다.

• 파싱되지 않은 로그, 누락된 태그, 예상치 못한 로그 구조 변경 등의 로그 처리 문제를 해결합니다.
• 충돌하거나 중복되는 처리 규칙을 확인하고 삭제합니다.
• 로그 파이프라인으로 처리되는 로그가 보안 및 규정 준수 요건을 충족하는지 확인합니다.

로그를 수정하는 파이프라인 및 프로세서 파악

파이프라인 스캐너는 검색 쿼리를 다양한 로그 처리 단계와 매칭시키는 로그를 샘플링 및 어노테이션하여 로그에 대한 모든 변경 사항을 파악할 수 있도록 도와드립니다.

1. 로그 탐색기로 이동합니다.
2. 로그를 클릭하여 어떤 파이프라인과 프로세서가 해당 로그를 수정하는지 확인합니다.
3. 패널의 우상단의 파이프라인 스캐너 아이콘을 클릭합니다. 아이콘 위로 마우스를 올리면 View pipelines for similar logs이라고 표시됩니다. 또는 로그 패널에서 속성을 클릭하고 파이프라인 스캔을 선택합니다.
4. 파이프라인 스캐너 페이지에서 쿼리를 보다 세분화할 수 있습니다. 해당 쿼리는 세션이 시작된 후에는 변경할 수 없습니다.
5. 이 세션 시작을 클릭합니다.
   다음 15분 동안, 쿼리와 매칭되는 로그에 해당 로그를 수정하는 파이프라인 및 프로세서에 대한 정보가 태깅됩니다. 스캐너의 라이브 테일은 각 로그와 매칭되는 파이프라인과 개수를 보여줍니다.
6. 로그를 클릭하면 해당 로그와 일치하는 파이프라인 및 프로세서의 목록을 확인할 수 있습니다. 라이브 테일은 이 시점에서 일시 중지됩니다.

오른쪽 패널에서 파이프라인 및 프로세서를 수정할 수 있습니다. 수정 내용은 이미 처리된 로그에는 영향을 미치지 않습니다. 재생을 클릭하면 업데이트된 파이프라인 및 프로세서가 수정한 새로운 로그를 확인할 수 있습니다.

로그 파이프라인 페이지에서 파이프라인 스캐너에 접근할 수 있습니다.

1. 로그 파이프라인으로 이동합니다.
2. 파이프라인 스캐너를 클릭합니다.
3. 검사하려는 로그에 대한 쿼리를 정의합니다.

한계

파이프라인 스캐너를 사용하려면 logs_write_pipelines 권한이 필요합니다. 자세한 내용을 확인하려면 로그 관리 RBAC 권한을 참조하세요.

시작할 수 있는 세션 수는 다음과 같이 제한됩니다.

• 동시 실행 세션은 최대 3개까지 가능합니다.
• 12시간의 슬라이딩 윈도우 동안 최대 12개의 세션이 제공됩니다.

참고 자료

추가 유용한 문서, 링크 및 기사:

Datadog 로그 파이프라인 스캐너로 로그 프로세싱 조사하기블로그 로그 파이프라인에 대해 자세히 알아보기설명서 로그 프로세서에 대해 자세히 알아보기설명서