
에이전트 라우팅이 이제 커스텀 프로바이더를 지원합니다
어떤 OpenAI 호환 API 엔드포인트든 MadoHub 타일에 연결하세요. 같은 캔버스에서 다른 모델과 프로바이더 사이에 라우팅합니다.
MadoHub 베타 0.3부터 어떤 OpenAI 호환 API 엔드포인트든 커스텀 프로바이더로 연결할 수 있습니다. 즉, 셀프 호스팅 모델, 파인튜닝된 변형, 전용 추론 서비스를 상업용 API와 나란히 — 모두 같은 캔버스에서 — 실행할 수 있습니다.
커스텀 프로바이더가 중요한 이유
작업에 따라 다른 모델이 유리합니다. 코드 생성 타일은 크고 유능한 모델을 쓰는 반면, 라우팅 계층의 분류 타일은 빠르고 작은 모델만 필요로 합니다. 모든 타일에 같은 프로바이더를 강제하면 품질이나 비용 중 하나를 낭비합니다.
커스텀 프로바이더 지원은 각 타일을 독립적으로 최적화하게 합니다:
- 강한 추론이 필요한 작업에 상업용 API 사용
- 네트워크를 떠날 수 없는 민감한 데이터가 포함된 작업에 셀프 호스팅 모델 사용
- 일반 모델이 성능이 떨어지는 도메인 특화 작업에 파인튜닝된 모델 사용
- 데이터를 추출하거나 다시 포맷하기만 하면 되는 트랜스폼 노드에 빠르고 저렴한 모델 사용
작동 방식
MadoHub의 프로바이더 설정을 열고 새 커스텀 프로바이더를 추가합니다. 세 가지 정보가 필요합니다:
- 엔드포인트 URL — OpenAI 호환 API의 기본 URL
- API 키 — 인증 토큰(시스템 키체인에 로컬로 저장)
- 모델 식별자 — API 요청에 전달할 모델 이름
구성되면 커스텀 프로바이더가 모든 타일의 모델 선택기에 나타납니다. 프로바이더를 자유롭게 섞을 수 있습니다 — 한 타일은 Claude, 다른 타일은 로컬 Llama, 세 번째는 파인튜닝된 GPT 변형.
프로바이더 사이 라우팅
라우팅 계층은 각 타일을 어떤 프로바이더가 구동하는지 신경 쓰지 않습니다. 연결은 기저 모델과 무관하게 동일하게 작동합니다. 즉, 다른 단계에서 다른 모델의 강점을 활용하는 워크플로를 만들 수 있습니다.
실용적인 예: 복잡한 요구사항을 분석하는 데 강한 추론 모델을 사용하고, 구조화된 출력을 빠른 코드 생성 모델로 라우팅하고, 생성된 코드를 코드베이스에 파인튜닝된 전용 리뷰 모델로 라우팅합니다.
지원하는 API 형식
MadoHub은 OpenAI chat completions API 형식을 지원합니다. /v1/chat/completions 엔드포인트를 표준 요청/응답 스키마로 구현하는 모든 서비스가 커스텀 프로바이더로 작동합니다. 포함되는 것:
- OpenAI 및 Azure OpenAI
- Anthropic(호환 프록시 경유)
- 로컬 추론 서버(llama.cpp, vLLM, Ollama)
- 커스텀 파인튜닝 모델 엔드포인트
- OpenRouter 호환 서비스
지금 사용 가능
커스텀 프로바이더 지원은 MadoHub 베타 0.3에서 사용 가능하며, 다운로드 페이지에서 받을 수 있습니다. 기존 설치를 업데이트하거나 새 복사본을 받으세요.
특정 프로바이더와의 호환성 문제가 있으면, GitHub 저장소에 프로바이더 정보와 함께 이슈를 제출해 주세요. 지원 추가를 위해 작업하겠습니다.