모델 선택과 비용 거버넌스: 「모두 가장 강한 모델 사용」에서 작업별 등급화로

왜 「모두 가장 강한 모델 사용」이 비용 함정인가

모델 능력은 계층화되어 있습니다: 플래그십 모델은 긴 연쇄 추론, 복잡한 코드, 다중 제약 지시에 능숙하고, 경량 모델은 분류, 추출, 형식 변환, 짧은 질의응답에서 종종 충분합니다. 그리고 두 모델의 단가 차이는 열 배 이상에 달할 수 있습니다.

Anthropic의 현재 가격 페이지와 OpenAI의 [API pricing](https://developers.openai.com/api/docs/pricing)은 모두 자사 모델을 여러 등급으로 나누고 있습니다. Anthropic이 공개한 [pricing](https://claude.com/pricing)을 예로 들면, Opus, Sonnet, Haiku 세 등급은 서로 다른 강도의 작업을 대상으로 하며 단가 차이가 뚜렷합니다. 매일 수십만 건의 단순 분류까지 플래그십 모델에 맡기는 것은 가장 쉽게 간과되는 낭비입니다.

작업 등급화를 코드에 반영하기

1. 시스템의 LLM 호출을 「작업 유형」별로 나열합니다 (분류 / 추출 / 요약 / 생성 / 추론 / 코드).
2. 각 작업 유형에 기본 등급을 선택해 설정에 기록합니다. 모델 이름이 곳곳에 흩어지게 두지 않습니다.
3. 각 작업 유형에 50~200개의 고정 평가 샘플을 준비하며, 전형적인 어려운 사례를 포함합니다.
4. 먼저 기본 등급으로 베이스라인을 측정한 뒤 다운그레이드를 시도하고 정확도/형식 준수율을 비교합니다.
5. 품질 손실이 임계값 미만일 때만 다운그레이드를 유지하고, 그렇지 않으면 이전 등급으로 돌아갑니다.

계단식 라우팅: 저렴한 것 먼저, 비싼 것은 나중에

실용적인 패턴은 「저렴한 것 먼저, 비싼 것은 나중에」입니다: 먼저 경량 모델로 처리하고, 다음 신호가 나타나면 플래그십 모델로 업그레이드합니다 —

• 출력을 파싱할 수 없음 (JSON 손상, 필드 누락).
• 모델 스스로 불확실하다고 선언하거나 신뢰도가 임계값 미만임.
• 비즈니스 측 품질 검증이 발동됨 (예: 생성된 SQL 실행 불가).
• 요청 복잡도 지표가 임계값 초과 (입력 길이, 참조 문서 수).

이렇게 하면 대부분의 트래픽은 저렴한 등급에 머물고, 정말 어려운 부분만 플래그십 등급에 비용을 지불합니다. 업그레이드 횟수를 모니터링에 포함하세요: 업그레이드 비율이 장기간 높다면 모델 선택을 재평가해야 한다는 신호입니다.

크로스 벤더 전환 전 확인할 사항

서로 다른 벤더는 같은 작업에 대한 출력 스타일, 도구 호출 형식, 거부 정책이 일치하지 않습니다. 특정 작업을 A 벤더에서 B 벤더로 전환하기 전에 최소한 다음을 확인해야 합니다:

• 구조화 출력: JSON mode / 엄격한 schema 지원 수준이 일치하는지.
• 도구 호출 형식: 파라미터 구조, 병렬 호출, 오류 반환 방식.
• 컨텍스트 길이와 잘림 동작: 초과 입력이 오류인지 조용한 잘림인지.
• 콘텐츠 정책 차이: 같은 입력이 한 모델에서는 거부되고 다른 모델에서는 정상인 경우.

같은 게이트웨이에서 등급화하기

Admesh는 외부에 OpenAI 호환 프로토콜을 유지하며, 모델은 namespace/model 형식으로 노출됩니다 (예: anthropic/…, openai/…, deepseek/…). 이는 작업 등급화를 위해 설정에서 「작업 유형 → 모델」 매핑 테이블만 유지하면 되고, 코드에서는 항상 model 파라미터만 바꾸면 된다는 뜻입니다.

라우팅은 같은 public_model의 채널 풀 내에서만 이루어지므로, 당신의 anthropic/xxx를 다른 벤더의 모델로 조용히 바꾸지 않습니다 — 등급화는 당신이 명시적으로 선택하는 것이지, 게이트웨이가 대신 결정하는 것이 아닙니다.

모델 목록 API 보기 →