플랫폼

SSE 스트리밍

SSE(server-sent events)는 하나의 HTTP 연결로 채팅 응답을 토큰 단위로 스트리밍해서, 사용자가 응답 전체를 기다리지 않고 생성되는 대로 텍스트를 볼 수 있게 해요.

OpenAI 방식에서는 data: 청크를 보내고 data: [DONE]으로 끝내요.

eroq에서는

/v1/chat/completions에서 stream: true로 설정하세요. 크레딧은 응답당 고정이라 스트리밍해도 비용이 같아요.

스트리밍하면 비용이 더 드나요?

아니요. 응답당 고정 크레딧은 똑같아요.

eroq에서 스트리밍을 지원하는 엔드포인트는 무엇인가요?

/v1/chat/completions뿐이에요. eroq RP+와 eroq RP mini에서 stream을 true로 설정하면 돼요. 이미지와 음성은 완성된 파일을 반환하고, 동영상은 비동기 방식이라 스트리밍 대신 작업 상태를 폴링하거나 웹훅을 받아요.

청크는 어떤 형태인가요?

OpenAI 방식 그대로예요. JSON 델타를 담은 data: 줄이 이어지고 data: [DONE]으로 끝나요. 기존 OpenAI 클라이언트 코드로 그대로 파싱할 수 있고, 다른 건 기본 URL과 모델 ID뿐이에요.