verboo code

Guia

Streaming com SSE

Receba deltas assim que forem gerados e reduza a latência percebida.

Nesta página

Ative stream

cURL
curl https://code.verboo.ai/router/v1/chat/completions \
  -H "Authorization: Bearer $VERBOO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<MODEL_ID>",
    "messages": [{"role": "user", "content": "Explain why low latency matters for developer tools."}],
    "stream": true
  }'

Protocolo do stream

Eventos SSE
data: {"choices":[{"delta":{"content":"Olá"}}]}

data: {"choices":[{"delta":{},"finish_reason":"stop"}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":8,"total_tokens":20}}

data: [DONE]
  • Cada evento começa com data: e termina com uma linha em branco.
  • Concatene choices[0].delta.content quando presente.
  • O evento final pode trazer usage antes de [DONE].

Cancelamento e falhas

Não duplique respostas

Se a conexão cair depois de receber conteúdo, uma repetição cria uma nova geração. Decida na aplicação se descarta, mantém o parcial ou pede continuação.

Propague o cancelamento do cliente, configure timeout de conexão e use um timeout maior para o stream completo.