Por qué los primeros 5 resultados necesitan tratamiento especial

Los recuperadores de primera etapa devuelven cientos de candidatos, pero el pipeline RAG solo usa los primeros 5 o 10. Un reranker rescora esos candidatos con un modelo más preciso para que los documentos realmente relevantes queden en las primeras posiciones.

Rerankers Cross-Encoder

Un cross-encoder concatena consulta y documento en una sola secuencia y predice una puntuación de relevancia. Se entrena con la pérdida RankNet sobre pares positivos y negativos.

$$\mathcal{L}_{\text{pair}} = -\log \sigma(s_{d^+} - s_{d^-})$$

monoT5

monoT5 (Nogueira et al., 2020) formula el reranking como generación de texto, usando la log-probabilidad de generar "true" como puntuación de relevancia.

$$s(q, d) = \log P_{T5}(\text{``true''} \mid \text{``Query: } q \text{ Document: } d \text{ Relevant:''})$$

RankGPT

RankGPT (Sun et al., 2023) pide al LLM que ordene una lista de pasajes por relevancia, generando una permutación completa en una sola pasada.

Quiz

Pon a prueba tu comprensión del reranking.

¿Por qué se usa un cross-encoder como reranker en lugar de recuperador de primera etapa?

monoT5 calcula las puntuaciones de relevancia:

¿Cuál es la principal limitación práctica del enfoque listwise de reranking de RankGPT?