생산 모니터링 및 경고 — 신뢰성 및 사고 대응

신뢰성을 위해서는 가시성이 필요합니다. 볼 수 없는 것은 수정할 수 없습니다. 우리의 모니터링 및 경고 인프라는 위젯의 건강, 성능, 오류 및 사용자 경험에 대한 포괄적인 가시성을 제공하여 사전 사고 감지 및 신속한 대응을 가능하게 합니다.

중앙 집중식 오류 추적

모든 예외는 캡처되어 컨텍스트와 함께 풍부해지며 오류 추적 서비스(Sentry, Rollbar, Bugsnag, Application Insights)로 전달됩니다. 캡처된 데이터에는 다음이 포함됩니다:

• 읽기 쉬운 파일/줄 번호를 위한 전체 스택 추적 및 소스 맵
• 사용자 컨텍스트(방문자 ID, 세션 ID, 대화 ID — PII 없음)
• 장치 및 브라우저 정보
• 오류로 이어지는 사용자 행동의 빵 부스러기 경로
• 네트워크 요청 기록(최근 API 호출, 응답 코드)

성능 모니터링 및 메트릭

주요 메트릭은 백분위수(p50, p75, p90, p95, p99)로 추적됩니다:

• 첫 번째 바이트까지의 시간(TTFB) — 백엔드 API 응답 대기 시간
• 첫 번째 콘텐츠 페인트(FCP) — 위젯이 얼마나 빨리 표시되는지
• 상호작용 가능 시간(TTI) — 사용자가 메시지를 보낼 수 있는 시점
• 메시지 렌더링 시간 — AI 응답이 표시되는 데 걸리는 시간
• 지식 기반 검색 대기 시간 — 검색 성능

p95/p99 메트릭은 소수의 사용자에게 영향을 미치는 엣지 케이스를 해결합니다.

성능 예산은 회귀를 방지합니다

허용 가능한 성능 임계값을 정의합니다:

• "위젯은 3G 연결에서 < 2초 이내에 로드되어야 합니다."
• "AI 응답은 < 500ms 이내에 렌더링되어야 합니다."
• "지식 기반 검색은 < 1초 이내에 반환되어야 합니다."

실제 성능이 예산을 위반할 때 모니터링 경고가 발생합니다.

경고 규칙 및 에스컬레이션 정책

조치 가능한 이벤트에 대한 임계값:

• 오류 비율 > 1% — 경고를 트리거합니다.
• 오류 비율 > 5% — 중요한 페이지를 트리거합니다.
• API 대기 시간 p95 > 3초 — 조사를 트리거합니다.
• 5분 내에 > 100회 인증 실패 시도 — 가능한 공격

경고는 대기 중인 시스템(PagerDuty, Opsgenie)을 통해 경로를 지정하며 에스컬레이션 정책 및 첨부된 실행 문서가 포함됩니다.

가동 시간 모니터링을 위한 상태 확인 엔드포인트

• /health — 서비스가 작동 중이면 200 OK를 반환합니다.
• /health/deep — 데이터베이스 연결, 지식 기반 접근 및 AI 서비스 가용성을 확인합니다.

상태 확인은 여러 지리적 지역에서 매 30-60초마다 실행됩니다. SLA 준수는 자동으로 추적됩니다.

사전 이상 감지

기계 학습 모델이 비정상적인 패턴을 감지합니다:

• 갑작스러운 트래픽 급증(바이럴 콘텐츠 또는 DDoS 공격?)
• 비정상적인 오류 비율(최근 배포로 인한 회귀?)
• 지리적 이상(특정 지역에서 서비스 저하?)
• 시간적 패턴(매일 밤 2시에 성능 저하 — 왜?)