응답자가 컨텍스트를 조합하고, 지식을 검색하고, 프롬프트를 구축하고, 안전 검사를 실행하고, 빠르고 인용된 답변을 반환하는 방법 — 모든 고객 상호작용 뒤의 엔드 투 엔드 흐름.
AI 에이전트와의 모든 상호작용의 핵심은 응답자입니다 — 사용자의 질문을 받아 가장 관련성 높은 정보를 지식 기반에서 찾아 명확하고 정확하며 인용된 답변을 생성하는 엔진입니다. 이 심층 분석은 그 과정이 어떻게 작동하는지, 무엇이 빠르고 신뢰할 수 있게 만드는지, 품질과 안전을 보장하기 위해 어떤 안전 장치가 있는지를 설명합니다. 이 기능을 이해하면 고객이 갖는 모든 대화 뒤의 기술적 기반을 이해하는 데 도움이 됩니다.
AI 에이전트의 품질은 대화마다 평가됩니다. 사용자는 빠르게 의견을 형성합니다 — 응답이 느리거나 모호하거나 사실과 다르면, 그들은 에이전트를 신뢰하지 않게 됩니다. 응답이 빠르고 정확하며 잘 출처가 명시되어 있다면, 에이전트는 필수불가결해집니다.
사용자가 메시지를 보낼 때, 다음과 같은 일이 발생합니다 — 일반적으로 1초 이내에:
잘 작동하는 응답자는 다음과 같은 응답을 생성합니다:
모든 요청은 추적을 생성합니다 — 모든 단계의 완전한 타임스탬프 기록: 무엇이 검색되었는지, AI에 무엇이 전송되었는지, AI가 반환한 것, 어떤 안전 검사가 실행되었는지, 최종 응답이 무엇이었는지. 이러한 추적은 7일 동안 보관되며 검색 가능합니다. 고객이 잘못된 응답을 보고하면, 팀은 정확한 추적을 찾아서 무슨 일이 있었는지 이해할 수 있습니다.
팀이 모니터링할 수 있는 주요 메트릭:
- 응답 시간 (목표: 95번째 백분위수에서 800ms 이내)
- 인용 정확성 (목표: 평가된 쿼리의 85% 이상이 올바른 인용 포함)
- 오류율 (요청이 실패하는 빈도 및 이유)
- 안전 필터 활동 (어떤 콘텐츠가 얼마나 자주 플래그가 지정되었는지 및 어떤 유형인지)
팀은 다음을 구축하고 있습니다:
이러한 개선 사항은 응답자를 더 투명하고 신뢰할 수 있으며 운영하기 쉽게 만들어, 팀이 대화 품질을 유지하고 지속적으로 개선할 수 있는 도구를 제공합니다.