← Blog

Tu stream SSE se corta mientras el modelo piensa: cómo evitarlo

CognitionDesk Team··6 min de lectura

¿Tu chat con IA devuelve un 504 justo en las preguntas más difíciles? Seguramente el modelo no falló: tardó en pensar, y alguien en el camino se cansó de esperar.

1. Para un proxy, «todavía nada» es «muerto»

Un servidor de streaming típico fija los headers SSE con setHeader y espera. Pero esos headers no salen hasta el primer res.write, y el primer write llega con el primer token. Si el modelo tarda 90 segundos en arrancar, durante 90 segundos tu respuesta no existe.

Cualquier guard, balanceador o proxy con un timeout de 60 s mira eso y corta. El turno seguía vivo; lo mató el silencio.

0153045607590scorte a los 60 s sin headersAntessin headers504 a los 60 sAhoraheaders · ping cada 15 schunks
Antes, los headers esperaban al primer chunk y el guard cortaba a los 60 s. Ahora salen al abrir y un comentario cada 15 s mantiene la conexión con tráfico.

2. Mandá los headers al abrir

export function abrirSSE(res, { pingMs = 15_000 } = {}) {
  res.setHeader('Content-Type', 'text/event-stream');
  res.setHeader('Cache-Control', 'no-cache');
  res.setHeader('Connection', 'keep-alive');
  res.flushHeaders(); // el 200 sale ahora, no con el primer token
  // ...
}

flushHeaders() manda el 200 en el momento. Desde ahí, cualquier timeout que pregunte «¿ya respondió algo?» da el request por atendido.

Abre el requestflushHeaders()200 al instanteEl modelo piensaPrimer token
Con flushHeaders() la respuesta existe desde el primer milisegundo, aunque el modelo todavía no haya dicho nada.

3. Un comentario cada 15 segundos

  const vivo = () => !res.writableEnded && !res.destroyed;
  const timer = setInterval(() => {
    if (vivo()) res.write(': ping\n\n');
    else clearInterval(timer);
  }, pingMs);
  res.on('close', () => clearInterval(timer));
  res.on('finish', () => clearInterval(timer));

En SSE, una línea que empieza con : es un comentario: el navegador la ignora. Al usuario no le llega nada, pero la conexión tiene tráfico y ningún intermediario la da por muerta.

Que el ping se apague importa tanto como que se prenda: si el cliente se va, el intervalo se limpia y no queda escribiendo en un socket cerrado.

: ping15 s: ping30 s: ping45 sTokens[DONE]ping apagado
El navegador ignora los comentarios; el proxy sólo ve que la línea sigue viva.

4. El timeout del SDK no mide lo que creés

Ante un turno de 90 s, lo natural es subirle el timeout al SDK del modelo. Pero en los SDK más usados el timeout se limpia cuando fetch resuelve, y en streaming fetch resuelve apenas llegan los headers del proveedor:

const timeout = setTimeout(() => controller.abort(), ms);
return this.fetch(url, fetchOptions).finally(() => clearTimeout(timeout));

Es un tope de conexión, no del turno entero. Lo que sí conviene revisar en streaming son los reintentos: si tu librería reintenta seis veces por defecto, el usuario puede pasar minutos mirando una pantalla vacía. Uno o dos alcanzan.

Lo que cubreConectar con el proveedorRecibir sus headersLo que no cubreEl tiempo hasta el primer tokenEl turno completo
El timeout del cliente corta la conexión que no arranca; un turno largo pero vivo lo resuelven los pasos 2 y 3.

Probalo antes de que lo pruebe un usuario: armá un test con timers falsos y un modelo de mentira que tarde 70 s en dar su primer token. Tiene que salir un 200 con text/event-stream, cuatro pings antes del primer token, un [DONE] al final y ningún ping escribiendo después.

Comentarios y correcciones

Creá tu primer agente IA hoy

RAG sobre tus documentos, tools, workflows y widget web — con plan gratuito.

Empezar gratis