MadoHub Docs

Ensemble Exploration

같은 문제에 여러 에이전트를 다른 지시로 생성하고, 출력을 비교하고, 승자를 고릅니다.

때로는 어떤 접근이 최선인지 알 수 없습니다 — 캐시를 위한 LRU vs LFU vs ARC, 세 가지 리팩터 전략, 두 가지 라이브러리 선택. Ensemble Exploration은 같은 문제에 여러 개의 새 에이전트를 생성해 각각에 다른 접근 지시를 주고, 결과를 나란히 비교할 수 있게 합니다.

이것은 MadoAgent를 통해 트리거됩니다 — MadoAgent에게 접근을 탐색해달라고 요청하면, 단일 작업보다 fork-and-compare 형태가 더 적합하다고 판단한 경우에 그렇게 합니다. 각 포크는 자체 독립 컨텍스트를 가진 완전히 새로운 타일로 생성되므로, 서로 다른 접근이 서로를 오염시키지 않습니다.

할 수 있는 일

  • 같은 문제에 최대 5개 포크 실행 — 각 포크는 공유 프롬프트에 자체 변형 지시를 받습니다.
  • 포크마다 에이전트 유형 혼합 — Claude, Codex, 또는 Amp로, 같은 작업에 다른 모델을 겨룰 수 있습니다.
  • 포크를 나란히 비교 — Exploration 패널의 Compare 보기가 각 포크의 최근 응답을 가로 레인에 보여줍니다.
  • 자동 비평가로 포크 점수화 — 한 번의 클릭으로 비평가가 각 포크를 정확성, 완전성, 명확성, 실행 가능성 기준으로 0–10 점수를 매기고, 추천 포크 하나를 지정합니다.
  • 수동으로 승자 선택 — 비평가는 조언만 합니다; 승자 선택은 항상 당신의 클릭입니다.
  • 재시작 후에도 실행 유지 — 최근 실행은 재시작 시 복원되어 앱 재시작에도 패널이 유지됩니다.

사용 방법

  1. Cmd+Shift+M(⌘⇧M)로 MadoAgent를 엽니다.
  2. 탐색을 요청합니다. 예: "이 버그에 대해 세 가지 다른 캐싱 전략을 시도해보고 어느 것이 이기는지 알려줘".
  3. MadoAgent가 포크당 하나의 타일을 생성하고, 각각에 공유 프롬프트와 자체 변형 지시를 보냅니다. 오른쪽 드로어가 자동으로 Exploration 탭으로 전환되어 실행이 시작되는 순간 볼 수 있습니다.
  4. Exploration 패널에서 각 포크의 상태 닷을 지켜봅니다 — running, done, cancelled, timeout.
  5. 포크에 출력이 생기면 Compare를 클릭해 각 포크의 최근 응답을 나란히 펼칩니다.
  6. (선택) Score forks를 클릭해 비평가를 실행합니다. 비평가가 각 포크를 평가하고 추천 포크를 강조합니다.
  7. 원하는 포크에서 Pick winner를 클릭합니다. 실행이 완료로 닫히고, 해당 실행의 다른 실행 중인 포크는 done으로 표시됩니다.

일반적인 사용 사례

  • "이 캐시에 LRU, LFU, ARC를 시도하고 뭘 쓸지 알려줘." — 세 포크, 한 승자, Compare 보기나 비평가 점수를 읽은 후 선택.
  • "이 모듈을 두 가지 방식으로 리팩터 — 클래스 추출 vs 모듈 분할 — 하고 비교해." — 서로 다른 리팩터 전략의 두 포크.
  • "같은 작업에서 Claude와 Codex를 겨뤄봐." — 두 포크, 에이전트 유형당 하나씩, 어느 모델이 작업을 더 잘 다루는지 확인.

팁과 모범 사례

  • 비교할 수 있는 만큼만 포크 수를 제한하세요. 3~5개가 적당합니다; 5개가 넘어가면 Compare 보기를 빠르게 훑기 어렵습니다.
  • 비평가는 결정자가 아닌 동점 처리기로 사용하세요. Pick winner를 클릭하기 전에 Compare 보기를 직접 읽으세요 — 비평가는 틀릴 수 있습니다.
  • 아직 출력이 없는 포크는 비평가가 건너뛰므로, 점수를 매기기 전에 포크가 무언가를 생성할 때까지 기다리세요.
  • 실행을 닫으면 영원히 running으로 남기는 대신 아직 실행 중인 포크를 취소합니다.

관련 기능

  • MadoAgent — 앙상블 실행을 트리거하는 패널입니다.
  • Right Drawer — 실행과 포크를 보여주는 Exploration 탭입니다.
  • Orchestrator Mode — 여러 포크 대신 단일 헤드리스 워커용입니다.
  • Settings — 비평가가 사용하는 AI 프로바이더입니다.

제한 사항

  • 포크는 실행당 최대 5개입니다. 더 요청하면 조용히 잘라내는 대신 전체 호출을 거부합니다.
  • 비평가는 조언만 합니다 — 승자를 절대 정하지 않습니다. MadoHub은 승자를 자동으로 고르지 않습니다.
  • 비평가는 설정된 AI 프로바이더의 더 저렴하고 빠른 모델 등급을 사용하므로, 판단은 그 모델 수준에 불과합니다.
  • 앙상블 실행은 최근 7일간 유지됩니다(최대 20개 실행) — 더 오래된 실행은 만료됩니다.

On this page