LLM Gateway
截图未公开:原图可能包含账号或资源标识。
项目访问模型能力的统一入口:管理 Provider 凭据、签发受限 Gateway Key、按模型路由请求并提供 OpenAI 兼容执行端点(Chat Completions、Embeddings、Rerank、Anthropic Messages 兼容)与模型目录。页面三个页签:Providers / Keys / Usage。
Provider(模型提供商连接)
| 项 | 说明 |
|---|---|
| 可创建类型 | 厂商预设(推荐):选择预设自动填充 Base URL 并可导入内置模型列表(含按模型参数),手动配置项仅指定协议。类型含 OpenAI / Anthropic 的官方与 API-Compatible、火山方舟(豆包)、xAI、智谱、Moonshot、DeepSeek、MiniMax、Gemini、OpenRouter、StepFun、NVIDIA NIM、LongCat、通义千问(DashScope)、Azure OpenAI,及 Ollama、vLLM、LM Studio、Xinference、GPUStack、ModelScope 等自托管类;亦可选 openai / anthropic / dashscope / theta 手动配置 |
| 关键字段 | 连接名(项目内唯一)、Base URL、API Key(加密存储、不回显)、默认模型、允许能力(chat / embedding / rerank / vlm)、各能力模型列表、超时(默认 120 秒)、重试次数、优先级(故障转移顺序)、默认连接标记、按模型参数(上下文窗口、最大输出、Embedding 维度与输入上限、工具调用、多模态 Embedding——导入预设模型时自动带入,可手动调整) |
| 安全边界 | Provider 密钥不在读取接口回显;Provider 地址经 URL / DNS / 网络策略校验,禁止指向内部敏感地址 |
| 管理 | 支持模型发现、逐模型健康检查、缓存刷新 |
厂商预置模型目录(2.9.0)
内置 24 个厂商预设、313 个预置模型:每个预设固定 Base URL 与默认能力,模型条目自带能力标注(chat / embedding / rerank / vlm)与按模型参数(上下文窗口、最大输出等)。添加 Provider 时选中厂商预设即可一键导入整表模型并按需裁剪;平台内部任务(知识库索引、Memory 等)据此按模型参数调用,不再使用硬编码默认值。火山方舟预设含多模态 Embedding 专有端点。
截图未公开:原图可能包含账号或资源标识。
Gateway Key(网关密钥)
- 密钥格式
abk_…,明文仅在创建时显示一次,服务端只保存哈希与前缀。 - 携带项目路由:以
Authorization: Bearer abk_…或x-api-key(Anthropic SDK 兼容)调用,无需额外项目标识。 - 可配置:允许的模型白名单(默认全部)、每月 Token 预算、速率限制(请求/分钟)。
- 只能调用执行端点,不能管理 Provider、其他 Key 或项目配置;白名单、禁用与到期立即影响后续请求。
模型路由与体验模型
- 路由方式:不指定连接时按自动路由(先试平台体验模型,再按项目 Provider 目录);也可显式引用项目 Provider 或体验模型绑定。
- 同名模型跨 Provider 聚合为同一目录条目,并标注来源(项目 Provider / 平台体验模型)。
- 体验模型(Trial):由平台管理员维护并分配绑定;用户只获得模型使用权,看不到 Provider 密钥。
项目级开关
项目 Settings → Services 中的 AI Gateway 开关控制 LLM Gateway 的客户端面:关闭后普通 Client API 调用被阻止,Server API Key 与平台内部任务仍按各自权限运行;切换不修改 Provider 或 Gateway Key 配置(见项目设置)。
请求默认值
Chat Completions、Anthropic Messages 与 Rerank 执行端点默认限流 60 请求/分钟;支持流式(SSE)、tools / tool_choice、响应格式等 OpenAI 兼容参数。