İçerik Parçalama ve Meta Veri Çıkarma — Yapılandırılmış Zeka

AI modellerinin jeton sınırları vardır, ancak belgeleriniz bu sınırlara saygı göstermez. Akıllı parçalama sistemimiz, içeriği optimal boyutlara ayırırken anlamı ve bağlamı korur.

Neden akıllı parçalama doğruluğu artırır

Belgeleri rastgele kesmek bağlamı yok eder. Bir cümlenin düşünce ortasında kesilmesi, işe yaramaz cevaplar sağlar. Parçalama algoritmamız anlamsal sınırları dikkate alır:

• Paragraflar bir arada kalır
• Listeler tamamlanır
• Kod blokları bütün olarak korunur
• Cümleler asla bölünmez

Sonuç: her parça kendi başına anlamlıdır ve müşterilere tam, yararlı bilgi sağlar.

Gelişmiş sınır tespiti

Farklı içerik türleri özel işleme alır:

• PDF'ler — yazı tipleri başlıkları tanımlar, sütun düzenleri tespit edilir ve farklı sütunlardan metinlerin birleşmesini önler
• Markdown — kod blokları doğru bir şekilde tanımlanır, bağlantı referansları korunur, biçimlendirme korunur
• Tablolar — okunabilir bir anlatıma dönüştürülür veya satırlara göre akıllıca bölünür
• Web sayfaları — navigasyon, reklamlar ve standart içerik kaldırılır, yalnızca anlamlı makale içeriği yakalanır

Bağlamsal örtüşme boşlukları ortadan kaldırır

Parçalar, bir parçanın sona erdiği ve diğerinin başladığı kenarlarda kritik bilgilerin kaybolmamasını sağlamak için sınırlarında hafifçe örtüşür. Bu örtüşme, tamlık ile depolama verimliliği arasında denge sağlamak için optimize edilmiştir.

Zengin meta veriler hassas arama sağlar

Her parça kapsamlı meta verilerle zenginleştirilir:

• Belge yapısı (başlık, yazar, tarih, dil)
• Hiyerarşik konum (bölüm, alt bölüm, alt alt bölüm)
• Liste konumu ve iç içe geçme seviyeleri
• Kod dili ve sözdizimi türü
• Zaman damgası ve sürüm bilgisi

Bir parça alındığında, müşteriler sadece cevabı değil, NEREDE geldiğini de görür: "Kurulum Kılavuzu > Bölüm 3 > Veritabanı Kurulumu" yerine genel bir alıntı.