Skip to main content
HaiToken API 采用动态速率限制策略,根据用户余额、系统负载和渠道配额实时调整,确保所有用户获得稳定、公平的服务体验。

并发限制

实际可用并发数会根据以下因素动态调整:
并发数是指同一时刻正在处理中的请求数量。当已有请求未返回结果时,新发起的请求会占用并发额度。

TPM 与 RPM 限制

当前对请求的 TPM(每分钟 Token 数)和 RPM(每分钟请求数)没有设置固定的硬性限制,而是采用动态调整策略:
  • 系统负载感知:根据当前系统整体负载情况动态调节流量
  • 渠道配额联动:不同模型渠道有不同的上游配额,超出配额时会自动限流
动态调整策略可以在不影响正常使用的前提下,灵活应对突发流量,同时避免单个用户耗尽系统资源。

常见问题

并发数会根据账户余额动态调整。如果余额较少,系统会自动降低并发上限以控制风险。充值后并发数会自动恢复。
目前速率限制由系统根据余额和负载动态管理,暂不支持手动调整。保持充足的账户余额可以获得更稳定的并发体验。如有大并发业务需求,请联系客服。

下一步