并发限制
实际可用并发数会根据以下因素动态调整:并发数是指同一时刻正在处理中的请求数量。当已有请求未返回结果时,新发起的请求会占用并发额度。
TPM 与 RPM 限制
当前对请求的 TPM(每分钟 Token 数)和 RPM(每分钟请求数)没有设置固定的硬性限制,而是采用动态调整策略:- 系统负载感知:根据当前系统整体负载情况动态调节流量
- 渠道配额联动:不同模型渠道有不同的上游配额,超出配额时会自动限流
常见问题
为什么我的并发数只有1?
为什么我的并发数只有1?
并发数会根据账户余额动态调整。如果余额较少,系统会自动降低并发上限以控制风险。充值后并发数会自动恢复。
如何提高速率限制?
如何提高速率限制?
目前速率限制由系统根据余额和负载动态管理,暂不支持手动调整。保持充足的账户余额可以获得更稳定的并发体验。如有大并发业务需求,请联系客服。
下一步
- 查看 接入指南 快速开始使用 API
- 查看 模型列表 了解可用模型
- 查看 OpenAI 格式接口 了解接口详情