Previous

Next

DataDog의 Fiddler Dashboard

모델 정확도 차트

모델 분석

반사실적 설명 수행

데이터 드리프트 차트

모델 설명

개요

Fiddler의 Model Performance Management 플랫폼은 모델 성능 메트릭이 저하될 때 실시간 경고를 보내 기계 학습 모델 성능을 모니터링합니다. 이를 통해 사용자는 추론 데이터를 분석하여 모델 성능이 저하되는 이유를 이해할 수 있습니다. 이 통합에는 정확도, 트래픽, 드리프트 등의 성능 메트릭을 표시하는 기본 대시보드와 메트릭이 포함되어 있습니다.

설정

Fiddler 검사는 Datadog Agent 패키지에 포함되어 있지 않으므로 설치해야 합니다.

설치

Agent v7.21+ / v6.21+의 경우 아래 지침에 따라 호스트에 Fiddler 검사를 설치하세요. Docker Agent 또는 이전 버전의 Agent와 함께 설치하려면 커뮤니티 통합 사용을 참조하세요.

1. 다음 명령어를 실행해 Agent 통합을 설치하세요.

   datadog-agent integration install -t datadog-fiddler==3.0.0
   

2. Agent 기반 통합과 유사하게 통합을 구성합니다.

설정

1. Fiddler 성능 데이터 수집을 시작하려면 Agent 구성 디렉터리 루트에 있는 conf.d/ 폴더에서 fiddler.d/conf.yaml 파일을 편집합니다. 사용 가능한 모든 구성 옵션은 샘플 fiddler.d/conf.yaml을 참조합니다. 통합에서 쿼리하려는 Fiddler 환경에 대해 url, org, fiddler_api_key 파라미터를 업데이트해야 합니다. Fiddler는 또한 conf.yaml 파일에서 minimum_collection_interval 설정을 300(5분)으로 설정할 것을 제안합니다.

2. 에이전트를 재시작합니다.

검증

Agent의 상태 하위 명령을 실행하고 Checks 섹션에서 fiddler를 찾습니다.

수집한 데이터

메트릭

이 검사에서 제공되는 메트릭 목록은 metadata.csv를 참조하세요.

서비스 점검

fiddler.can_connect
Returns CRITICAL if the Agent is unable to connect to and collect metrics from the monitored Fiddler instance. Returns OK otherwise.
Statuses: ok, critical

트러블슈팅

도움이 필요하신가요? Fiddler 지원팀에 문의하세요.