接口
流式输出
设置 stream: true 返回 SSE。最后一个 chunk 带 usage(choices 为空),随后是 data: [DONE]。
长时间无输出时服务端会发送注释行 : ping 保持连接,客户端忽略即可。
客户端中途断开时,按已生成的 token 计费。
接口
设置 stream: true 返回 SSE。最后一个 chunk 带 usage(choices 为空),随后是 data: [DONE]。
长时间无输出时服务端会发送注释行 : ping 保持连接,客户端忽略即可。
客户端中途断开时,按已生成的 token 计费。