오늘의 AIVoice AI 추적은 어렵다: OpenTelemetry와 SigNoz를 사용해 스트리밍 LLM을 애널라이즈했다
스트리밍 LLM의 성능 문제를 파악하기 위해 OpenTelemetry와 SigNoz를 활용한 커스텀 추적 솔루션을 개발했다.
01
사례 핵심
스트리밍 LLM의 성능 문제를 파악하기 위해 OpenTelemetry와 SigNoz를 활용한 커스텀 추적 솔루션을 개발했다.
02
적용 포인트
Voice AI 어시스턴트의 응답 지연 원인을 분석하고 최적화하려는 경우
03
내 업무에 적용해보기
- @instrument_voice_app 데코레이터를 사용해 OpenTelemetry 트레이서를 수동으로 관리
- VoiceTurnContext 객체를 애荆에 삽입하여 특정 마일스톤(예: 첫 음성 바이트 전송)을 추적
- 스트림의 시작과 끝 시간을 기록해 Time To First Audio와 같은 메트릭을 측정
- 수집된 데이터를 SigNoz에 전달하여 시각화