Teilen Sie große Dokumente in perfekt dimensionierte, semantisch kohärente Blöcke auf, die die Bedeutung bewahren und gleichzeitig die Grenzen des KI-Modells einhalten. Jedes Stück ist mit Metadaten zur präzisen Abfrage angereichert.
KI-Modelle haben Token-Grenzwerte, aber Ihre Dokumente respektieren diese Grenzen nicht. Unser intelligentes Chunking-System unterteilt Inhalte in optimale Größen und behält dabei die Bedeutung und den Kontext bei, die die Antworten nützlich machen.
Durch das Zerkleinern von Dokumenten wird der Kontext willkürlich zerstört. Ein mitten im Gedanken gespaltener Satz liefert nutzlose Antworten. Unser Chunking-Algorithmus respektiert semantische Grenzen – Absätze bleiben zusammen, Listen bleiben vollständig, Codeblöcke bleiben intakt. Sätze werden nie geteilt. Das Ergebnis: Jeder Teil ist für sich genommen sinnvoll und bietet den Kunden vollständige, nützliche Informationen.
Verschiedene Inhaltstypen werden speziell behandelt. Bei PDFs werden Überschriften durch Schriftgrößen identifiziert und das System erkennt Spaltenlayouts, um zu verhindern, dass Text aus verschiedenen Spalten unsinnig zusammengeführt wird. Durch die Markdown-Verarbeitung werden Codeblöcke korrekt identifiziert, Linkverweise verwaltet und die Formatierung beibehalten. Tabellen werden in lesbare Prosa umgewandelt oder intelligent nach Zeilen aufgeteilt. Auf Webseiten wurden Navigation, Anzeigen und Boilerplate entfernt, sodass nur der wesentliche Artikelinhalt erfasst wird.
Abschnitte überlappen sich an den Grenzen leicht, sodass wichtige Informationen nicht an den Rändern verloren gehen, wo ein Abschnitt endet und ein anderer beginnt. Diese Überlappung ist optimiert, um Vollständigkeit und Speichereffizienz in Einklang zu bringen.
Über den Text selbst hinaus ist jeder Abschnitt mit umfassenden Metadaten angereichert. Dokumentstruktur (Titel, Autor, Datum, Sprache), hierarchische Position (Kapitel, Abschnitt, Unterabschnitt), Listenposition und Verschachtelungsebenen, Codesprache und Syntaxtyp, Tabellenüberschriften und Spaltennamen, Bildbeschreibungen und Referenzen, Zeitstempel und Versionsinformationen. Wenn ein Block abgerufen wird, sehen Kunden nicht nur die Antwort, sondern auch den Ort, wo sie herkommt: „Installationshandbuch > Kapitel 3 > Datenbank-Setup“ anstelle eines allgemeinen Zitats.
API-Dokumentation erhält eine Sonderbehandlung, um Endpunktdefinitionen vollständig zu halten. Um die Übersichtlichkeit zu gewährleisten, sind die FAQs in Frage-Antwort-Paare unterteilt. Versionshinweise werden nach Version segmentiert, wobei Änderungslisten erhalten bleiben. Die Codedokumentation speichert Funktions-/Klassendefinitionen zusammen mit ihren Beschreibungen. Diese domänenspezifische Intelligenz erzeugt Blöcke, die sofort nützlich und nicht nur technisch korrekt sind.
Jeder Block enthält Metadaten darüber, wie er erstellt wurde – der verwendete Chunking-Algorithmus, die Version des Einbettungsmodells, welche Verarbeitungsregeln angewendet wurden, Position und Offset des Originaldokuments. Dieser Prüfpfad ermöglicht das Debuggen schlechter Ergebnisse, den Vergleich verschiedener Verarbeitungsansätze und die Migration zu verbesserten Methoden, wenn sich Ihr System weiterentwickelt.
Chunks werden auf minimale Kohärenz, maximale Größenbeschränkungen, Kodierungskorrektheit und Metadatenvollständigkeit validiert. Blöcke, die die Validierung nicht bestehen, werden zur manuellen Überprüfung markiert und nicht Ihrer Wissensdatenbank hinzugefügt, um die Qualität der Antworten zu schützen.