Docs
文档目录

模型与 AI 网关总览

Agentbase 提供两个独立的项目服务:模型(LLM Gateway) 用于接入模型供应商和调用模型;AI 网关(AI Gateway) 用于管理工具、智能体接入、策略和凭证。

两种入口

项目模型(LLM Gateway)AI 网关(AI Gateway)
主要用途接入模型供应商,调用对话、向量化和重排等可用模型管理网关、工具连接、MCP、A2A 和 HTTP Agent
项目服务开关llmGatewayaiGateway
调用凭证按模型接口要求使用授权凭证使用授权给对应网关的 abk_ 凭证

两个开关分别控制对应服务,修改前请确认目标项目与调用路径。具体入口、权限和模型能力以实际部署为准。

接入模型

  1. 在项目的 模型 页面接入供应商,并保存所需凭证。

  2. 按使用场景选择对话、向量化或重排模型,确认供应商和模型在当前环境可用。

  3. 按 模型配置与密钥管理 调用并检查返回结果;知识库和记忆模块需要的模型类型也应在各自配置中确认。

使用 AI 网关

AI 网关提供 MCP、A2A 和 HTTP Agent 等工具入口。按实际页面配置网关、工具、策略与凭证,并通过真实请求验证。

v2.12.0 边界:AI 网关的模型推理数据面、逻辑模型和模型部署管理、模型发现及标准模型管理接口不可用。模型调用请使用 模型(LLM Gateway);不要复制旧版 AI 网关模型路由示例。可通过 OPA 策略预演检查策略决策,但预演不代表线上请求已执行该策略。

安全与排障

调用模型或工具前先移除不应发送的敏感数据。不要假设输入输出已自动脱敏或提示注入已被统一阻断。当前版本不提供语义响应缓存。

请求失败时,分别核对目标项目的服务开关、接口地址、调用凭证、资源授权和上游服务状态。关闭 aiGateway 会影响其受该服务开关控制的工具调用;llmGateway 是独立开关。

相关文档