We zijn hier nog steeds dingen aan het bouwen!Help ons verbeteren door bugs te rapporteren hier.We zijn hier nog steeds dingen aan het bouwen!Je kunt een paar ruwe randjes opmerken terwijl we aan verbeteringen werken. Help ons verbeteren door bugs te rapporteren hier.
Verdeel grote documenten in perfect formaat, semantisch coherente chunks die betekenis behouden terwijl ze passen binnen de limieten van AI-modellen. Elk stuk is verrijkt met metadata voor precisie-ophaling.
AI-modellen hebben tokenlimieten, maar je documenten respecteren die grenzen niet. Ons intelligente chunking-systeem breekt inhoud in optimale formaten terwijl het de betekenis en context behoudt die antwoorden nuttig maken.
Waarom slimme chunking nauwkeurigheid stimuleert
Documenten willekeurig knippen vernietigt context. Een zin die halverwege een gedachte wordt gesplitst, biedt nutteloze antwoorden. Ons chunking-algoritme respecteert semantische grenzen:
Paragrafen blijven samen
Lijsten blijven compleet
Codeblokken worden intact behouden
Zinnen worden nooit gesplitst
Het resultaat: elk chunk maakt op zichzelf zin en biedt volledige, nuttige informatie aan klanten.
Geavanceerde grensdetectie
Verschillende inhoudstypen krijgen gespecialiseerde behandeling:
PDF's — lettergrootten identificeren koppen, kolomindelingen worden gedetecteerd om te voorkomen dat tekst van verschillende kolommen samensmelt
Markdown — codeblokken worden correct geïdentificeerd, linkreferenties behouden, opmaak behouden
Tabellen — omgezet naar leesbare proza of intelligent gesplitst per rij
Webpagina's — navigatie, advertenties en boilerplate verwijderd, alleen substantieve artikelinhoud vastleggend
Contextuele overlap elimineert hiaten
Chunks overlappen iets aan de randen, zodat cruciale informatie niet verloren gaat aan de randen waar het ene chunk eindigt en het andere begint. Deze overlap is geoptimaliseerd om volledigheid in balans te brengen met opslag efficiëntie.
Rijke metadata maakt precisiezoekopdrachten mogelijk
Wanneer een chunk wordt opgehaald, zien klanten niet alleen het antwoord, maar WAAR het vandaan komt: "Installatiehandleiding > Hoofdstuk 3 > Database-instelling" in plaats van een generieke verwijzing.