Tu stream SSE se corta mientras el modelo piensa: cómo evitarlo
¿Tu chat con IA devuelve un 504 justo en las preguntas más difíciles? Seguramente el modelo no falló: tardó en pensar, y alguien en el camino se cansó de esperar.
1. Para un proxy, «todavía nada» es «muerto»
Un servidor de streaming típico fija los headers SSE con setHeader y espera. Pero esos headers no salen hasta el primer res.write, y el primer write llega con el primer token. Si el modelo tarda 90 segundos en arrancar, durante 90 segundos tu respuesta no existe.
Cualquier guard, balanceador o proxy con un timeout de 60 s mira eso y corta. El turno seguía vivo; lo mató el silencio.
2. Mandá los headers al abrir
export function abrirSSE(res, { pingMs = 15_000 } = {}) {
res.setHeader('Content-Type', 'text/event-stream');
res.setHeader('Cache-Control', 'no-cache');
res.setHeader('Connection', 'keep-alive');
res.flushHeaders(); // el 200 sale ahora, no con el primer token
// ...
}
flushHeaders() manda el 200 en el momento. Desde ahí, cualquier timeout que pregunte «¿ya respondió algo?» da el request por atendido.
flushHeaders() la respuesta existe desde el primer milisegundo, aunque el modelo todavía no haya dicho nada.3. Un comentario cada 15 segundos
const vivo = () => !res.writableEnded && !res.destroyed;
const timer = setInterval(() => {
if (vivo()) res.write(': ping\n\n');
else clearInterval(timer);
}, pingMs);
res.on('close', () => clearInterval(timer));
res.on('finish', () => clearInterval(timer));
En SSE, una línea que empieza con : es un comentario: el navegador la ignora. Al usuario no le llega nada, pero la conexión tiene tráfico y ningún intermediario la da por muerta.
Que el ping se apague importa tanto como que se prenda: si el cliente se va, el intervalo se limpia y no queda escribiendo en un socket cerrado.
4. El timeout del SDK no mide lo que creés
Ante un turno de 90 s, lo natural es subirle el timeout al SDK del modelo. Pero en los SDK más usados el timeout se limpia cuando fetch resuelve, y en streaming fetch resuelve apenas llegan los headers del proveedor:
const timeout = setTimeout(() => controller.abort(), ms);
return this.fetch(url, fetchOptions).finally(() => clearTimeout(timeout));
Es un tope de conexión, no del turno entero. Lo que sí conviene revisar en streaming son los reintentos: si tu librería reintenta seis veces por defecto, el usuario puede pasar minutos mirando una pantalla vacía. Uno o dos alcanzan.
Probalo antes de que lo pruebe un usuario: armá un test con timers falsos y un modelo de mentira que tarde 70 s en dar su primer token. Tiene que salir un 200 con text/event-stream, cuatro pings antes del primer token, un [DONE] al final y ningún ping escribiendo después.
Comentarios y correcciones
Creá tu primer agente IA hoy
RAG sobre tus documentos, tools, workflows y widget web — con plan gratuito.
Empezar gratis