Pertahanan berlapis — batas laju, CSP, dan pemutus sirkuit — yang melindungi platform dari penyalahgunaan, mengontrol biaya, dan menjaga layanan tetap dapat diandalkan bagi semua pelanggan.
Menjalankan agen AI dalam skala berarti Anda mengoperasikan layanan yang dapat, dalam teori, disalahgunakan — dibanjiri dengan permintaan otomatis, diuji untuk kelemahan, atau dimanipulasi melalui input berbahaya. Fitur ini mencakup pertahanan berlapis yang menjaga platform Anda aman, biaya Anda dapat diprediksi, dan pengalaman pelanggan Anda tidak terputus: batas penggunaan per pelanggan, kebijakan keamanan konten, dan pemutus sirkuit otomatis yang melindungi sistem Anda ketika sesuatu yang hilir berjalan salah.
Keamanan dan keandalan adalah syarat dasar untuk penjualan perusahaan. Pelanggan ingin tahu data mereka dilindungi, penggunaan mereka tidak akan terpengaruh oleh penyalahgunaan orang lain, dan bahwa platform tidak akan menumpuk biaya tak terduga atas nama mereka.
Setiap kunci API memiliki kuota — jumlah maksimum permintaan yang diizinkan dalam jendela waktu tertentu. Setiap permintaan memeriksa kuota ini secara real-time:
- Di bawah batas: permintaan berjalan seperti biasa
- Mendekati batas: respons menyertakan header yang menunjukkan seberapa banyak kuota yang tersisa, sehingga sistem yang memanggil dapat melambat dengan baik
- Di atas batas: permintaan ditolak dengan kesalahan yang jelas, bukan diam-diam dibuang
Kuota dapat ditetapkan per pelanggan, per integrasi, atau secara global. Pelanggan yang sah yang mencapai batas mereka secara tidak sengaja dapat meminta peningkatan melalui alur layanan mandiri.
Setiap halaman yang disajikan oleh platform menyertakan instruksi kepada browser tentang skrip dan sumber daya apa yang diizinkan untuk dimuat. Jika browser mendeteksi pelanggaran — misalnya, skrip yang disuntikkan mencoba memuat dari sumber yang tidak sah — itu melaporkan pelanggaran tersebut kembali ke platform. Laporan ini dikumpulkan dan dapat memicu peringatan jika pola pelanggaran terdeteksi.
Jika layanan hilir (seperti penyedia AI) mulai mengembalikan kesalahan atau merespons lambat, pemutus sirkuit secara otomatis mengurangi lalu lintas ke penyedia tersebut dan mengalihkan permintaan ke cadangan. Setelah penyedia pulih, lalu lintas secara bertahap dipulihkan. Ini tidak terlihat oleh pengguna akhir — mereka mengalami sedikit penurunan paling buruk, bukan kegagalan keras.
Tim sedang membangun:
Setelah diluncurkan, Anda akan memiliki kontrol dan visibilitas yang jelas atas penggunaan platform, dengan perlindungan otomatis terhadap penyalahgunaan eksternal dan kegagalan hilir.