AgentbaseDocs
文档目录

LLM Gateway

截图未公开:原图可能包含账号或资源标识。

项目访问模型能力的统一入口:管理 Provider 凭据、签发受限 Gateway Key、按模型路由请求并提供 OpenAI 兼容执行端点(Chat Completions、Embeddings、Rerank、Anthropic Messages 兼容)与模型目录。页面三个页签:Providers / Keys / Usage。

Provider(模型提供商连接)

项说明
可创建类型厂商预设(推荐):选择预设自动填充 Base URL 并可导入内置模型列表(含按模型参数),手动配置项仅指定协议。类型含 OpenAI / Anthropic 的官方与 API-Compatible、火山方舟(豆包)、xAI、智谱、Moonshot、DeepSeek、MiniMax、Gemini、OpenRouter、StepFun、NVIDIA NIM、LongCat、通义千问(DashScope)、Azure OpenAI,及 Ollama、vLLM、LM Studio、Xinference、GPUStack、ModelScope 等自托管类;亦可选 openai / anthropic / dashscope / theta 手动配置
关键字段连接名(项目内唯一)、Base URL、API Key(加密存储、不回显)、默认模型、允许能力(chat / embedding / rerank / vlm)、各能力模型列表、超时(默认 120 秒)、重试次数、优先级(故障转移顺序)、默认连接标记、按模型参数(上下文窗口、最大输出、Embedding 维度与输入上限、工具调用、多模态 Embedding——导入预设模型时自动带入,可手动调整)
安全边界Provider 密钥不在读取接口回显;Provider 地址经 URL / DNS / 网络策略校验,禁止指向内部敏感地址
管理支持模型发现、逐模型健康检查、缓存刷新

厂商预置模型目录(2.9.0)

内置 24 个厂商预设、313 个预置模型:每个预设固定 Base URL 与默认能力,模型条目自带能力标注(chat / embedding / rerank / vlm)与按模型参数(上下文窗口、最大输出等)。添加 Provider 时选中厂商预设即可一键导入整表模型并按需裁剪;平台内部任务(知识库索引、Memory 等)据此按模型参数调用,不再使用硬编码默认值。火山方舟预设含多模态 Embedding 专有端点。

截图未公开:原图可能包含账号或资源标识。

Gateway Key(网关密钥)

模型路由与体验模型

项目级开关

项目 Settings → Services 中的 AI Gateway 开关控制 LLM Gateway 的客户端面:关闭后普通 Client API 调用被阻止,Server API Key 与平台内部任务仍按各自权限运行;切换不修改 Provider 或 Gateway Key 配置(见项目设置)。

请求默认值

Chat Completions、Anthropic Messages 与 Rerank 执行端点默认限流 60 请求/分钟;支持流式(SSE)、tools / tool_choice、响应格式等 OpenAI 兼容参数。