Optimización y segmentación basada en grafos para estrategias de chunking en sistemas Retrieval Augmented Generation (RAG)

Optimization and Graph-Based Segmentation for Chunking Strategies in Retrieval-Augmented Generation (RAG) Systems

Resumen

La segmentación documental (chunking) desempeña un papel importante en la recuperación de información dentro de los sistemas Retrieval-Augmented Generation (RAG). Las estrategias Fixed Chunking, Sentence Chunking y Semantic Chunking utilizan distintos criterios para dividir los documentos, pero no consideran de forma conjunta las relaciones semánticas y estructurales entre las unidades textuales. En este trabajo se formuló e implementó una estrategia de Graph Chunking basada en teoría de grafos y optimización, y se comparó su comportamiento con las tres estrategias mencionadas. La investigación siguió un enfoque cuantitativo con diseño experimental. Primero se evaluaron nueve configuraciones del método propuesto y se seleccionó la configuración L100_T45_W10 para la comparación posterior. Las pruebas se realizaron sobre documentos de diferente extensión y se utilizaron las mismas consultas, el mismo modelo de embeddings y el mismo índice vectorial. Se consideraron los tiempos de procesamiento y las métricas Hit Rate, Precision, Recall, Mean Reciprocal Rank (MRR) y Normalized Discounted Cumulative Gain (nDCG). Graph Chunking obtuvo los valores más altos de Hit Rate y Recall en los tres documentos, además de los mayores valores de MRR y nDCG en los documentos grande y mediano. En el documento pequeño, Semantic Chunking presentó el mayor MRR, mientras que Graph Chunking y Semantic Chunking obtuvieron el mismo valor de nDCG. El método basado en grafos requirió mayor tiempo durante la segmentación, pero registró menores tiempos de recuperación y de generación de embeddings en los documentos analizados. Los resultados muestran que incorporar relaciones semánticas y estructurales durante la construcción de los fragmentos constituye una alternativa para la segmentación documental en sistemas RAG.