Sin evidencia no es «inventó»: tres veredictos para un juez LLM

Querés saber si tu asistente inventa. Le pasás conversaciones pasadas a otro modelo, el juez, y le preguntás. El problema: cada vez que tu base de conocimiento no tiene el dato, el juez te contesta «sí, inventó». Termina castigando al bot por los huecos de tu base.

Dos preguntas que parecen una

«¿Inventó?» junta dos preguntas distintas:

1. ¿La respuesta afirma algo que la base no respalda?
2. ¿Hay base a mano para comprobarlo?

Si la segunda es no, la primera no tiene respuesta: sin la base, el juez sólo mide si algo suena verdadero. El veredicto necesita tres casilleros:

Veredicto	Qué quiere decir
No inventó	Cada dato concreto de la respuesta está en los fragmentos de la base
Inventó	Afirma un precio, un horario o una política que no está en los fragmentos, y dice cuál
Sin evidencia	La búsqueda no devolvió nada, o falló: no se puede juzgar

El camino

1. Se vuelve a buscar con la pregunta del cliente. El juez recibe lo que devuelve esa búsqueda, no la base entera.
2. Con la misma búsqueda que usa el chat. Mismo umbral, mismo modo, mismos alcances. Si el evaluador busca distinto que el bot, mide otra cosa.
3. Sin fragmentos, al juez ni se le pregunta si inventó. Recibe otra consigna y evalúa lo que sí puede: si resolvió, si derivó bien, el tono.
4. El tercer estado lo pone el código, no el juez. Aunque el modelo conteste «inventó», sin fragmentos el resultado es «sin evidencia». No depende de que obedezca.

Dos detalles más. Un «inventó» que no dice qué afirmación no tiene respaldo no cuenta como veredicto. Y como la base de hoy puede no ser la del día de la charla, la ventana es corta (hasta 14 días) y el resultado dice cuándo se consultó.

Probalo en rojo

Una regla así se rompe sin que nadie lo note: alguien simplifica y trata cualquier respuesta de la búsqueda como evidencia. Los tests siguen en verde si no hay ninguno que mire ese caso.

La forma de saberlo es romperla a propósito. En el evaluador de calidad de CognitionDesk, si se fuerza que toda búsqueda cuente como evidencia, fallan los dos tests que cuidan la regla: búsqueda vacía y búsqueda caída. Con el código real pasan los 19.

Qué te llevás

Si medís alucinaciones con un juez: dale los fragmentos que encontró la misma búsqueda del bot, y un casillero para «no había con qué». Cuando la búsqueda no falló, un «sin evidencia» repetido no es un error del bot: es una pregunta para la que tu base no tiene nada.

Empezá por revisar los «inventó» de tu evaluador actual y fijate cuántos tenían fragmentos detrás. Es el criterio del chequeo semanal de calidad de CognitionDesk: si querés aplicarlo a tus conversaciones, escribinos.