AI 에이전트를 대규모로 운영하는 것은 이론적으로 오용될 수 있는 서비스를 운영하는 것을 의미합니다 — 자동화된 요청으로 범람하거나, 약점을 탐색하거나, 악의적인 입력을 통해 조작될 수 있습니다. 이 기능은 플랫폼을 안전하게 유지하고, 비용을 제어하며, 모든 고객에게 서비스가 중단되지 않도록 하는 계층화된 방어를 다룹니다: 고객별 사용 한도, 콘텐츠 보안 정책 및 시스템에 문제가 발생할 때 보호하는 자동 회로 차단기.
AI 에이전트를 대규모로 운영하는 것은 이론적으로 오용될 수 있는 서비스를 운영하는 것을 의미합니다 — 자동화된 요청으로 범람하거나, 약점을 탐색하거나, 악의적인 입력을 통해 조작될 수 있습니다. 이 기능은 플랫폼을 안전하게 유지하고, 비용을 제어하며, 모든 고객에게 서비스가 중단되지 않도록 하는 계층화된 방어를 다룹니다: 고객별 사용 한도, 콘텐츠 보안 정책 및 시스템에 문제가 발생할 때 보호하는 자동 회로 차단기.
보안과 신뢰성은 기업 판매의 기본입니다. 고객은 그들의 데이터가 보호되고, 그들의 사용이 다른 사람의 오용으로 영향을 받지 않으며, 플랫폼이 그들의 비용을 예기치 않게 증가시키지 않을 것이라는 것을 알고 싶어합니다.
각 API 키에는 할당량이 있습니다 — 주어진 시간 창 내에서 허용되는 최대 요청 수. 모든 요청은 실시간으로 이 할당량을 확인합니다:
- 한도 이내: 요청이 정상적으로 진행됩니다.
- 한도에 접근 중: 응답에는 남은 할당량이 얼마나 되는지 보여주는 헤더가 포함되어, 호출 시스템이 우아하게 속도를 줄일 수 있습니다.
- 한도를 초과: 요청이 명확한 오류와 함께 거부됩니다, 조용히 삭제되지 않습니다.
할당량은 고객별, 통합별 또는 전역적으로 설정할 수 있습니다. 우연히 한도에 도달한 정당한 고객은 자가 서비스 흐름을 통해 증가를 요청할 수 있습니다.
플랫폼에서 제공하는 모든 페이지에는 브라우저에 어떤 스크립트와 리소스가 로드될 수 있는지에 대한 지침이 포함되어 있습니다. 브라우저가 위반을 감지하면 — 예를 들어, 허가되지 않은 소스에서 로드하려는 주입된 스크립트 — 이를 플랫폼에 보고합니다. 이러한 보고서는 집계되어 위반 패턴이 감지되면 경고를 트리거할 수 있습니다.
상위 서비스(예: AI 제공자)가 오류를 반환하거나 느리게 응답하기 시작하면, 회로 차단기는 자동으로 해당 제공자로의 트래픽을 줄이고 요청을 백업으로 라우팅합니다. 제공자가 복구되면, 트래픽이 점진적으로 복원됩니다. 이는 최종 사용자에게는 보이지 않으며 — 그들은 최악의 경우 잠시 느려짐을 경험할 뿐, 심각한 실패는 경험하지 않습니다.
팀은 다음을 구축하고 있습니다:
라이브로 전환되면, 플랫폼 사용에 대한 명확한 제어 및 가시성을 갖게 되며, 외부 오용 및 상위 실패로부터 자동 보호를 받을 수 있습니다.