跳转到内容
17.3k

响应检查与大型响应

OpenCodex 限制响应诊断所保留的数据量,但日志上限不会限制向客户端传输的字节数。提供商、请求和传输层的其他限制仍分别生效。

JSON 检查最多保留 32 MiB 的原始字节。如果响应体超过这一额度,日志会丢弃保留的副本,同时继续转发原始响应。系统不会把截断的前缀解析为可靠的用量或模型元数据。其他可信路径已提供的用量会保留;缺失的用量不会用虚构的零替代。普通非 JSON 错误诊断只保留前 8 KiB,并经过现有的脱敏逻辑。

客户端读取时即可收到数据块,无须等待整个响应体的诊断检查。读取失败在请求历史中记为 502,取消记为 499;这些诊断结果不会改写已经发出的 HTTP 标头。日志只会完成一次。

原生 SSE 检查若比客户端消费进度超前太多,就会暂停。其额度为 32 MiB,另加原始数据块和原生预取的开销;它既不是响应总大小上限,也不是进程全部内存的上限。更长的响应仍会检查到实际的完成事件,包括最终用量和续接状态。

客户端断开后,现有的有界排空过程仍可在最多 15 秒或额外检查 32 MiB 的范围内观察到较晚到达的完成事件。强制关闭则不同:它会丢弃未完成的候选响应,而不会将其记录为已完成响应。现有的传输方式选择和 WebSocket 内存限制保持不变。无需新增配置项。