Densa, híbrida y con rerank: cuánto encuentra cada búsqueda sobre la misma base

Quien arma un RAG elige entre búsqueda densa, híbrida y con rerank. Casi nadie lo mide sobre su propia base.

Nosotros lo medimos sobre la nuestra antes de tocar la búsqueda de la base de conocimiento de CognitionDesk. Lo más útil que salió tiene que ver con el umbral de similitud, más que con el reranker.

El banco

• Corpus: la documentación de docs.cognitiondesk.com, cortada en 168 chunks. Está en inglés.
• 48 preguntas en español, escritas como las haría alguien que integra la plataforma:
  • 20 con un término exacto: un scope como orders:write, un header de firma, el campo de un endpoint.
  • 22 parafraseadas: "Mi app pierde la sesión al rato: ¿cuánto dura la credencial del usuario logueado?"
  • 6 sin respuesta en el corpus: "¿Soporta inicio de sesión corporativo con SAML?"
• Qué cuenta como acierto: cada pregunta con respuesta trae su evidencia literal. Recall@5 mide si ese texto aparece entre los cinco primeros resultados; MRR@5 premia además que aparezca arriba.
• Intervalos: bootstrap de 10.000 remuestreos sobre las preguntas. Las diferencias entre modos se calculan pareadas, pregunta por pregunta.

Los cinco modos:

1. Densa con umbral 0.65.
2. Densa con umbral 0.5.
3. Densa sin umbral.
4. Híbrida: densa más palabra clave (BM25), fusionadas con RRF.
5. Híbrida + rerank: gpt-4o-mini reordena 15 candidatos y descarta los que no responden la pregunta.

Los dos primeros son los umbrales con los que buscan hoy nuestras herramientas de búsqueda.

Cuánto encuentra cada modo

Con umbral 0.65 la búsqueda encuentra el pasaje en 3 de 42 preguntas. Con 0.5, en 15 de 42. Sin umbral, la densa sola llega a 0,738.

Híbrida + rerank contra densa con umbral 0.5 da +0,357 de recall@5, con intervalo [0,190 – 0,524]. La mejora es real, y casi toda viene de sacar el umbral: la densa sin umbral ya está en 0,738, sin palabra clave ni reranker.

El umbral pesa tanto por cómo se pregunta. Las preguntas están en español, los documentos en inglés y la mitad de las preguntas usa otras palabras. Un umbral de similitud fijo tira casi todo eso, aunque el pasaje correcto esté en la base.

Contra la densa sin umbral, la híbrida se distingue del ruido en un solo lugar: el MRR de las preguntas con término exacto, +0,15 [0,05 – 0,27]. Cuando alguien pregunta por orders:write, la palabra clave sube el pasaje al primer puesto. Encontrarlo ya lo encontraba la densa.

Entonces, ¿para qué sirve el rerank?

Sacar el umbral tiene un costo que el primer gráfico no muestra.

Sin umbral, la búsqueda nunca vuelve vacía, tampoco cuando no hay nada que encontrar: las 6 preguntas sin respuesta devuelven pasajes. Para un asistente eso es contexto que no tiene que ver con la pregunta, y el modelo lo puede usar para inventar una respuesta. Con umbral pasa lo contrario: devuelve poco que sobre, pero calla en preguntas que sí tenían respuesta.

El rerank permite sacar el umbral sin pagar ese precio. Mantiene el recall de la híbrida (0,714) y baja a 2 de 6 las preguntas sin respuesta que devuelven algo. A cambio, 4 de las 42 preguntas con respuesta vuelven vacías.

Latencia y costo

modo	recall@5 [IC95]	MRR@5 [IC95]	p50 / p90 (ms)
densa, umbral 0.65	0,071 [0,000 – 0,167]	0,071 [0,000 – 0,167]	334 / 355
densa, umbral 0.5	0,357 [0,214 – 0,500]	0,306 [0,179 – 0,440]	244 / 342
densa sin umbral	0,738 [0,595 – 0,857]	0,516 [0,391 – 0,639]	242 / 257
híbrida	0,714 [0,571 – 0,833]	0,586 [0,452 – 0,717]	278 / 472
híbrida + rerank	0,714 [0,571 – 0,857]	0,645 [0,506 – 0,778]	1117 / 1327

El rerank con gpt-4o-mini sobre 15 candidatos cuesta USD 0,000414 por consulta (0,41 cada mil) y suma unos 830 ms en la mediana. De punta a punta, 1117 ms p50 contra 244 de la densa con umbral 0.5.

Qué hacer con tu RAG

1. Antes de agregar un reranker, medí tu umbral. Armá 40 o 50 preguntas con su evidencia literal, en el idioma de tus usuarios, con algunas parafraseadas y algunas sin respuesta. Corré la búsqueda con y sin umbral.
2. Medí los dos errores, no sólo el recall: cuántas preguntas con respuesta vuelven vacías y cuántas sin respuesta devuelven algo.
3. Compará pregunta por pregunta y con intervalo. Con 42 preguntas, el intervalo de un recall anda en ±0,13. Que la densa sin umbral dé 0,738 y la híbrida 0,714 no dice cuál es mejor.

Los límites de esta medición

• El banco es chico: 168 chunks y un solo corpus. Con bases más grandes la palabra clave debería pesar más, y eso no está medido.
• Las preguntas las escribimos nosotros, sobre nuestra propia documentación.

En CognitionDesk

La base de conocimiento de un asistente puede buscar en modo dense, hybrid o hybrid+rerank. El modo se configura por asistente y el default sigue siendo dense: nada cambia si no lo elegís.

Si querés correr el mismo banco sobre tu base, escribinos por el chat de esta página.