
Agent 路由现已支持自定义 Provider
把任意 OpenAI 兼容的 API 端点接入 MadoHub 图块。在同一画布上于不同模型和 provider 之间路由。
从 MadoHub beta 0.3 起,你可以把任意 OpenAI 兼容的 API 端点接入为自定义 provider。这意味着你可以在同一画布上同时运行自托管模型、微调变体以及专用推理服务,与商业 API 并列。
为什么自定义 provider 重要
不同任务适合不同模型。一个代码生成图块可能用一个强大、能力出众的模型,而路由层里一个分类图块只需要一个快速的小模型。强制所有图块使用同一个 provider,要么浪费质量,要么浪费成本。
自定义 provider 支持让你独立优化每个图块:
- 对需要强推理的任务使用商业 API
- 对涉及敏感数据、不能离开你网络的任务使用自托管模型
- 对通用模型表现不佳的领域专用任务使用微调模型
- 对只需要抽取或重格式化数据的 transform 节点使用快速、便宜的模型
它如何工作
在 MadoHub 中打开 provider 设置,添加一个新的自定义 provider。你需要三样信息:
- Endpoint URL —— OpenAI 兼容 API 的基础 URL
- API key —— 你的认证令牌(本地存在系统 keychain 里)
- Model identifier —— API 请求里要传的模型名
配置完成后,自定义 provider 会出现在任何图块的模型选择器里。你可以自由混用 provider——一个图块跑 Claude,另一个跑本地 Llama 模型,第三个用微调过的 GPT 变体。
在 provider 之间路由
路由层不关心每个图块背后是哪个 provider。连接的工作方式与底层模型无关、完全一致。这意味着你可以构建在不同阶段发挥不同模型优势的工作流。
一个实际例子:用一个强推理模型分析一个复杂需求,把结构化输出路由给一个快速的代码生成模型,再把生成的代码路由给一个在你的代码库上微调过的专用评审模型。
支持的 API 格式
MadoHub 支持 OpenAI chat completions API 格式。任何实现了 /v1/chat/completions 端点并使用标准请求和响应 schema 的服务都能作为自定义 provider 使用。这包括:
- OpenAI 和 Azure OpenAI
- Anthropic(通过兼容代理)
- 本地推理服务器(llama.cpp、vLLM、Ollama)
- 自定义微调模型端点
- 任何 OpenRouter 兼容服务
现已可用
自定义 provider 支持已在 MadoHub beta 0.3 中提供,可从下载页面下载。更新你现有的安装,或拿一份新的拷贝。
如果你在某个特定 provider 上遇到兼容性问题,请在我们 GitHub 仓库提一个 issue,附上 provider 详情,我们会着手添加支持。