소형 모델의 시대

• gpt-5.6-luna는 속도·성능에 비해 API 비용이 매우 낮음

  • 코드베이스와 이메일, 지식 베이스를 오가며 정기적으로 약 100 tps를 내고, 복잡한 리서치 작업도 충분히 수행 가능

  • 수천 통의 이메일을 검색해도 API 비용이 수십 센트에 그칠 만큼 큰 요금이 나오기 어려움

• GLM 5.3까지 등장하면서 성능과 비용의 Pareto frontier에 새로운 선택지가 생김

  • 코딩에는 거의 항상 Fable 5나 5.6 Sol처럼 가장 비싸고 강력한 모델을 써 왔기 때문에, 작고 빠른 모델이 얼마나 발전했는지 놓치기 쉬웠음

• 소비자 AI 기업이 드문 가장 직접적인 이유는 요청마다 발생하는 토큰 비용임

  • 기존 대형 소비자 앱은 운영비가 비교적 낮은 매력적인 웹사이트를 만들고, 대개 바이럴로 사용자를 모은 뒤 투자금으로 확장해 광고 시장을 구축하는 방식이었음

    • Google·Facebook·Snapchat 등이 대체로 이 경로를 따랐고, Amazon과 Netflix는 대표적인 예외

  • AI를 제품에 추가하면 모든 요청에 실제 추론 비용이 붙어 필요한 자본이 급격히 늘어남

  • 개인화된 일일 뉴스 사이트를 만드는 작업을 자체 평가 과제로 사용함

인터넷에서 @calvinfo를 조사하라. 어떤 뉴스를 좋아할지 파악하라. 오늘의 주요 기사를 개인화한 마이크로사이트를 만들어라. HN, Reddit, Twitter 등을 검색하라

• 개인화 뉴스 평가 비용은 Sonnet급 이전 세대의 약 $1에서 luna의 평균 약 $0.10으로 낮아짐

  • 이전 세대 모델로 유의미한 결과를 내려면 약 $1가 필요해 소비자 앱을 월 $30에 제공하기 어려웠음

  • 최적화 여지는 많지만 WSJ나 The Economist 수준의 요금을 받으려면 그에 상응하는 가치를 제공해야 함

  • luna의 결과물은 상당히 괜찮으면서 평균 비용이 약 $0.10이라 소비자 서비스의 비용 구조가 현실적인 수준에 가까워짐

• 최첨단 모델 수요는 계속 누적되지만, 빠르고 저렴하며 충분히 좋은 모델의 수요도 이제 본격적으로 커질 전망

  • 새로운 돌파구와 발견이 필요한 엔지니어링·고난도 과학·모델 훈련 분야에서는 frontier급 모델이 계속 필요함

  • 동료·공급업체·고객과 하는 일은 열 번 중 아홉 번 빠르게 응답하고 맡은 일을 처리해 주는 능력이 중요하며, 현재 기업 채용도 이 유형에 크게 치우쳐 있음

  • 기업에서 소형 모델을 실용화하려면 새로운 harness, prompt injection 방어, 역할 및 권한 체계가 더 필요하지만 해결할 수 있음

^{source https://calv.info/small-models-have-arrived}

HN에서는 소형 모델의 가치를 최고 성능이 아니라 ‘충분한 성능을 얼마나 싸고 빠르게 반복해서 쓸 수 있는가’에서 찾았다. 요약, 간단한 도구 호출, 작은 스크립트처럼 범위가 분명한 작업은 최고급 모델의 추가 성능보다 비용과 응답성이 더 중요하다는 판단이다. 호출 단가가 낮아지면 수익성이 낮은 제품이나 개인용 도구에도 AI 기능을 지속적으로 넣을 수 있다는 기대도 컸다.

실무에서는 모델 크기보다 작업 방식이 성패를 갈랐다. 일을 잘게 나누고, 테스트와 계획을 먼저 세우며, 작은 변경마다 사람이 검토하면 소형 모델도 안정적으로 쓸 수 있었다. 필요한 맥락과 도구, 검색 수단, 가드레일을 갖추면 방대한 지식을 모델 자체에 모두 담을 필요가 없다는 시각도 있었다. 반면 요구사항이 열려 있거나 실패 원인을 스스로 탐색해야 하는 작업에서는 상위 모델이 대안을 찾고 감독 부담을 줄이는 데 유리했다.

코딩에서도 하나의 모델로 모든 단계를 처리하기보다 역할을 나누는 방안이 주목받았다. 사람이 계획과 검증을 주도하는 짧은 반복 작업에는 빠른 모델이 잘 맞지만, 오래 맡겨 두는 구현이나 복잡한 장애 대응에는 더 강한 판단력이 필요하다. 상위 모델이 계획과 최종 검토를 맡고 소형 모델이 반복적인 실행을 담당하는 조합이 현실적인 절충안인 셈이다.

중요한 것은 추론에 소모한 토큰, 전체 응답 시간, 잘못된 방향을 바로잡는 비용과 사람의 감독 시간까지 포함해 작업 하나를 끝내는 총비용을 봐야 한다. ‘소형’이 저렴한 호스팅 모델인지 기기에서 직접 돌릴 수 있는 모델인지도 구분해야 한다. 실제 업무 시나리오로 평가한 뒤 필요한 자율성, 지연 시간, 비용, 개인정보 보호 수준에 맞춰 모델과 운영 방식을 함께 정하는 것이 핵심이다.