Divida documentos grandes en fragmentos de tamaño perfecto y semánticamente coherentes que preserven el significado mientras se ajustan a los límites del modelo de IA. Cada pieza se enriquece con metadatos para una recuperación precisa.
Los modelos de IA tienen límites de tokens, pero sus documentos no respetan esos límites. Nuestro sistema de división inteligente divide el contenido en tamaños óptimos mientras preserva el significado y el contexto que hacen que las respuestas sean útiles.
Cortar documentos de manera arbitraria destruye el contexto. Una oración dividida a mitad de pensamiento proporciona respuestas inútiles. Nuestro algoritmo de división respeta los límites semánticos:
El resultado: cada fragmento tiene sentido por sí solo y proporciona información completa y útil a los clientes.
Diferentes tipos de contenido reciben un manejo especializado:
Los fragmentos se superponen ligeramente en los límites, asegurando que la información crítica no se pierda en los bordes donde un fragmento termina y otro comienza. Esta superposición está optimizada para equilibrar la completitud con la eficiencia de almacenamiento.
Cada fragmento se enriquece con metadatos completos:
Cuando se recupera un fragmento, los clientes ven no solo la respuesta sino DE DÓNDE proviene: "Guía de Instalación > Capítulo 3 > Configuración de Base de Datos" en lugar de una cita genérica.
Los fragmentos se validan para garantizar una coherencia mínima, restricciones de tamaño máximo, corrección de codificación y completitud de metadatos. Los fragmentos que no superan la validación se marcan para revisión manual en lugar de ser añadidos a su base de conocimientos, protegiendo la calidad de las respuestas.