Skip to main content
ニュースに戻る
エージェントルーティングがカスタムプロバイダーをサポート
ニュース

エージェントルーティングがカスタムプロバイダーをサポート

任意の OpenAI 互換 API エンドポイントを MadoHub タイルに接続。同じキャンバス上で異なるモデルやプロバイダー間をルーティングできます。

MadoHub ベータ 0.3 から、任意の OpenAI 互換 API エンドポイントをカスタムプロバイダーとして接続できるようになりました。これにより、セルフホストモデル、ファインチューニング版、特殊な推論サービスを、商用 API と同じキャンバス上で走らせられます。

カスタムプロバイダーが重要な理由

タスクによって最適なモデルは異なります。コード生成タイルには大きく能力の高いモデルを使い、ルーティングレイヤー内の分類タイルには高速な小さなモデルだけで十分ということがあります。すべてのタイルに同じプロバイダーを強制すると、品質かコストのいずれかを無駄にします。

カスタムプロバイダーサポートにより、タイルごとに独立して最適化できます:

  • 強い推論を要するタスクには商用 API を使う
  • ネットワーク外に出せない機密データを扱うタスクにはセルフホストモデルを使う
  • 汎用モデルが力不足なドメイン特化タスクにはファインチューニング済みモデルを使う
  • データの抽出や再フォーマットだけを要する変換ノードには、高速で安価なモデルを使う

仕組み

MadoHub のプロバイダー設定を開き、新しいカスタムプロバイダーを追加します。3 つの情報が必要です:

  1. エンドポイント URL — OpenAI 互換 API のベース URL
  2. API キー — 認証トークン(システムキーチェーンにローカル保存されます)
  3. モデル識別子 — API リクエストで渡すモデル名

設定が済むと、カスタムプロバイダーは任意のタイルのモデルセレクタに現れます。プロバイダーは自由に混在できます — あるタイルで Claude を走らせ、別のタイルでローカル Llama、3 つ目でファインチューニング済み GPT という組み合わせも可能です。

プロバイダー間のルーティング

ルーティングレイヤーは各タイルをどのプロバイダーが動かしているかを気にしません。コネクションは背後にあるモデルに関わらず同一に動作します。そのため、異なるステージで異なるモデルの強みを活かすワークフローを構築できます。

実践的な例: 強い推論モデルで複雑な要件を分析し、構造化出力を高速なコード生成モデルへルーティングし、生成されたコードをコードベースでファインチューニングした特殊なレビューモデルへルーティングする。

サポートする API 形式

MadoHub は OpenAI の chat completions API 形式をサポートします。/v1/chat/completions エンドポイントを標準的なリクエスト/レスポンススキーマで実装するサービスなら、カスタムプロバイダーとして機能します。これには以下が含まれます:

  • OpenAI と Azure OpenAI
  • Anthropic(互換プロキシ経由)
  • ローカル推論サーバー(llama.cpp、vLLM、Ollama)
  • カスタムファインチューニング済みモデルエンドポイント
  • OpenRouter 互換サービス

今すぐ利用可能

カスタムプロバイダーサポートは MadoHub ベータ 0.3 で利用可能で、ダウンロードページ から取得できます。既存のインストールを更新するか、新しく取得してください。

特定のプロバイダーで互換性の問題に遭遇した場合は、プロバイダーの詳細を添えて GitHub リポジトリに issue を提出してください。サポート追加に取り組みます。