LLM Gateway
截图未公开:上游原图包含真实账号或资源标识。
项目访问模型能力的统一入口:管理 Provider 凭据、签发受限 Gateway Key、按模型路由请求并提供 OpenAI 兼容执行端点(Chat Completions、Embeddings、Rerank、Anthropic Messages 兼容)与模型目录。页面三个页签:Providers / Keys / Usage。
Provider(模型提供商连接)
| 项 | 说明 |
|---|---|
| 可创建类型 | openai、anthropic、dashscope、theta |
| 关键字段 | 连接名(项目内唯一)、Base URL、API Key(加密存储、不回显)、默认模型、允许能力(chat / embedding / rerank / vlm)、各能力模型列表、超时(默认 120 秒)、重试次数、优先级(故障转移顺序)、默认连接标记 |
| 安全边界 | Provider 密钥不在读取接口回显;Provider 地址经 URL / DNS / 网络策略校验,禁止指向内部敏感地址 |
| 管理 | 支持模型发现、逐模型健康检查、缓存刷新 |
Gateway Key(网关密钥)
- 密钥格式
abk_…,明文仅在创建时显示一次,服务端只保存哈希与前缀。 - 携带项目路由:以
Authorization: Bearer abk_…或x-api-key(Anthropic SDK 兼容)调用,无需额外项目标识。 - 可配置:允许的模型白名单(默认全部)、每月 Token 预算、速率限制(请求/分钟)。
- 只能调用执行端点,不能管理 Provider、其他 Key 或项目配置;白名单、禁用与到期立即影响后续请求。
模型路由与体验模型
- 路由方式:不指定连接时按自动路由(先试平台体验模型,再按项目 Provider 目录);也可显式引用项目 Provider 或体验模型绑定。
- 同名模型跨 Provider 聚合为同一目录条目,并标注来源(项目 Provider / 平台体验模型)。
- 体验模型(Trial):由平台管理员维护并分配绑定;用户只获得模型使用权,看不到 Provider 密钥。
项目级开关
项目 Settings → Services 中的 AI Gateway 开关控制 LLM Gateway 的客户端面:关闭后普通 Client API 调用被阻止,Server API Key 与平台内部任务仍按各自权限运行;切换不修改 Provider 或 Gateway Key 配置(见项目设置)。
请求默认值
Chat Completions、Anthropic Messages 与 Rerank 执行端点默认限流 60 请求/分钟;支持流式(SSE)、tools / tool_choice、响应格式等 OpenAI 兼容参数。