Skip to main content
返回资讯
Agent 路由现已支持自定义 Provider
资讯

Agent 路由现已支持自定义 Provider

把任意 OpenAI 兼容的 API 端点接入 MadoHub 图块。在同一画布上于不同模型和 provider 之间路由。

从 MadoHub beta 0.3 起,你可以把任意 OpenAI 兼容的 API 端点接入为自定义 provider。这意味着你可以在同一画布上同时运行自托管模型、微调变体以及专用推理服务,与商业 API 并列。

为什么自定义 provider 重要

不同任务适合不同模型。一个代码生成图块可能用一个强大、能力出众的模型,而路由层里一个分类图块只需要一个快速的小模型。强制所有图块使用同一个 provider,要么浪费质量,要么浪费成本。

自定义 provider 支持让你独立优化每个图块:

  • 对需要强推理的任务使用商业 API
  • 对涉及敏感数据、不能离开你网络的任务使用自托管模型
  • 对通用模型表现不佳的领域专用任务使用微调模型
  • 对只需要抽取或重格式化数据的 transform 节点使用快速、便宜的模型

它如何工作

在 MadoHub 中打开 provider 设置,添加一个新的自定义 provider。你需要三样信息:

  1. Endpoint URL —— OpenAI 兼容 API 的基础 URL
  2. API key —— 你的认证令牌(本地存在系统 keychain 里)
  3. Model identifier —— API 请求里要传的模型名

配置完成后,自定义 provider 会出现在任何图块的模型选择器里。你可以自由混用 provider——一个图块跑 Claude,另一个跑本地 Llama 模型,第三个用微调过的 GPT 变体。

在 provider 之间路由

路由层不关心每个图块背后是哪个 provider。连接的工作方式与底层模型无关、完全一致。这意味着你可以构建在不同阶段发挥不同模型优势的工作流。

一个实际例子:用一个强推理模型分析一个复杂需求,把结构化输出路由给一个快速的代码生成模型,再把生成的代码路由给一个在你的代码库上微调过的专用评审模型。

支持的 API 格式

MadoHub 支持 OpenAI chat completions API 格式。任何实现了 /v1/chat/completions 端点并使用标准请求和响应 schema 的服务都能作为自定义 provider 使用。这包括:

  • OpenAI 和 Azure OpenAI
  • Anthropic(通过兼容代理)
  • 本地推理服务器(llama.cpp、vLLM、Ollama)
  • 自定义微调模型端点
  • 任何 OpenRouter 兼容服务

现已可用

自定义 provider 支持已在 MadoHub beta 0.3 中提供,可从下载页面下载。更新你现有的安装,或拿一份新的拷贝。

如果你在某个特定 provider 上遇到兼容性问题,请在我们 GitHub 仓库提一个 issue,附上 provider 详情,我们会着手添加支持。