Qwen3.8-2.4T

Qwen3.8-Max는 Qwen3.8-2.4T-A95B를 기반으로 비전 입력, 비사고 모드 지원, 기본 1M 컨텍스트 길이, 공식 내장 도구 등의 기능을 추가한 공식 버전. 자세한 내용은 Qwen3.8-Max 개요에서 확인 가능

• Qwen3.8은 Qwen 오픈 모델 계열 최초로 Qwen-Max급 모델을 공개하며, 지금까지 이 계열에서 가장 강력한 세대로 출시됨

  • Qwen3.5와 Qwen3.6이 커뮤니티에서 널리 채택된 데 이어, Qwen3.5의 아키텍처를 바탕으로 코딩·전문 업무·연구·장기 에이전트 작업 전반을 크게 개선함

  • 더 어려운 질문에 답하는 데 그치지 않고 복잡한 다단계 작업을 끝까지 더 안정적으로 수행하도록 설계함

  • Qwen3.8-Max 소개에서 추가 정보를 제공함

주요 개선 사항

• 핵심 역량과 에이전트 실행 능력을 함께 강화함

  • 코딩·전문 업무·연구·장기 에이전트 작업 전반의 성능을 높임

  • 자율 계획과 환경 피드백 처리 능력을 개선해 작업의 처음부터 끝까지 완수하는 신뢰성이 향상됨

• 기존 개발 스택과의 통합 범위를 넓힘

  • 널리 쓰이는 하네스와 개발 도구를 더 폭넓게 지원함

• 추론 깊이와 과거 추론 컨텍스트를 제어할 수 있음

  • reasoning_effort로 추론 깊이를 조절하고, preserve_thinking으로 이전 메시지의 추론 컨텍스트를 유지함

모델 구성

• 2.4T 전체 파라미터 중 95B를 활성화하는 사전·사후 학습 Causal Language Model임

  • Hidden Dimension은 8192, Token Embedding과 LM Output은 각각 248,320(Padded), 레이어 수는 92개임

  • Hidden Layout은 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))로 구성됨

• Gated DeltaNet·Gated Attention·MoE를 결합함

  • Gated DeltaNet은 V용 Linear Attention Head 128개와 QK용 16개를 사용하며 Head Dimension은 128임

  • Gated Attention은 Q용 Attention Head 64개와 KV용 4개를 사용하고, Head Dimension은 256, Rotary Position Embedding Dimension은 64임

  • MoE는 Expert 512개 가운데 Routed 10개와 Shared 1개를 활성화하며 Expert Intermediate Dimension은 2048임

• 여러 단계의 MTP(Multi-Token Prediction)로 학습했으며 컨텍스트를 최대 1,010,000 tokens까지 확장 가능함

  • 네이티브 Context Length는 262,144 tokens임

벤치마크 결과

• Qwen3.8-Max는 Qwen3.7-Max보다 표에 포함된 모든 벤치마크에서 높은 점수를 기록함

  • Coding Agent에서는 PaperBench 93.0이 비교 모델 중 최고였고, Terminal Bench 2.1은 86.6, FrontierSWE는 73.5를 기록함

  • General Agent에서는 WideSearch 81.9가 비교 모델 중 최고였으며, CoWorkBench 74.8, WorkSpaceBench 67.7, JobBench 53.4를 기록함

  • General Capabilities에서는 IFBench 82.8, HealthBench 60.2, PLawBench 73.2, PRBench-Finance 58.3이 비교 모델 중 최고였음

• 벤치마크별 하네스·컨텍스트·실행 횟수가 달라 점수 비교에는 각 평가 조건을 함께 봐야 함

  • Fable 5 결과에는 fallback이 포함됐을 수 있음

    • --는 2026년 8월 3일 기준 점수가 아직 없거나 적용할 수 없다는 뜻임

  • Terminal Bench 2.1은 Claude Code로 avg@10, 5시간 timeout, max_tokens=131,072 조건에서 평가함

    • 다른 모델은 하네스별 공개 최고 점수를 사용했으며 Opus 4.8과 Fable 5는 Artificial Analysis의 Terminus 2 결과, GPT-5.6 Sol은 Codex 기반 결과를 반영함

  • SWE-bench Pro는 수정된 문제를 적용한 Claude Code 하네스에서 temp=1.0, top_p=0.95, 256K 컨텍스트로 모든 baseline을 다시 평가함

  • DeepSWE 1.1은 같은 샘플링·컨텍스트 조건에서 Claude Code와 mini-SWE-agent를 사용해 둘 중 최고 점수를 보고했으며, Qwen3.8-Max는 Claude Code에서 가장 높은 결과를 냄

  • NL2Repo-Bench는 Claude Code로 평가하면서 reward hacking을 막기 위해 특정 저장소에 접근하려는 pip download, pip install, git clone 등의 Bash 명령을 차단함

  • FrontierSWE는 Claude Code로 평가함

    • 나머지 모델의 MEAN@5는 2026년 8월 3일 기준 공식 FrontierSWE leaderboard에서 가져왔고, raw score와 공식 평가 스크립트로 dominance score를 다시 계산함

  • MLS-Bench-Lite는 Claude Code에서 5시간 timeout과 max_tokens=131,072로 평가했으며 다른 모델 점수는 공식 leaderboard를 사용함

  • PaperBench는 Code-Dev mode의 BasicAgent 설정에서 Claude Opus 4.6이 판정했고, 회당 최대 12시간으로 3회 평균을 냄

  • AndroidBench는 공개된 95개 task subset에서 avg@3를 보고함

• 자체 코딩·업무 벤치마크도 명시된 반복 횟수와 제한 아래 평가함

  • QwenSWEBench는 소프트웨어 엔지니어링용 자체 벤치마크로, Claude Code에서 8시간 timeout, max_tokens=32,768, temperature=1.0, 256K-token 컨텍스트를 적용해 avg@3를 보고함

  • QwenQoderBench는 Qoder 사용자 경험용 자체 코딩 벤치마크이며, Claude Code에서 6시간 timeout과 동일한 token·temperature·context 조건으로 avg@5를 산출함

  • QwenReactBench는 영어·중국어 7개 범주의 React 프로젝트 구축을 Claude Code로 평가하고 auto-render, multimodal judge, BT/Elo rating을 사용함

  • QwenSVGBench는 영어·중국어 자체 SVG 코드 생성 평가로 auto-render, multimodal judge, BT/Elo rating을 적용함

  • CoWorkBench는 컴퓨터과학·금융·법률·의료 등 생산성 영역의 장기 작업을 다루는 자체 벤치마크임

• 일반 에이전트·전문 역량 평가도 모델별 하네스와 판정 모델이 서로 다름

  • SkillsBench v1.1 공개 87개 task를 task당 3회 실행해 평균을 냈으며, Opus 4.8과 Fable 5는 Claude Code, GPT-5.6 Sol은 Codex, Qwen 계열은 OpenCode에서 자체 테스트함

  • Automation-Bench는 공개 600개 task subset으로 평가함

  • WideSearch는 외부 모델에 Claude Code, Qwen 모델에 Qwen-Agent를 사용하고 4회 실행한 item-F1 평균을 보고함

  • $OneMillion-Bench와 PLawBench는 gemini-3.1-pro-preview로 평가함

빠른 시작과 서빙

• 간편한 통합에는 API 사용을 권장함

  • Qwen3.8은 널리 쓰이는 추론 프레임워크로 배포할 수 있음

추론 효율과 처리량은 프레임워크에 따라 크게 달라짐. 최적의 성능과 호환성을 위해 최신 프레임워크 버전을 사용하고, 프로덕션 또는 고처리량 환경에는 SGLang, vLLM, TokenSpeed 같은 전용 serving engine을 권장함

API 사용

Qwen3.8-2.4T-A95B는 모든 상호작용에서 thinking mode가 필요한 text-only 모델임. multimodal 입력은 지원하지 않고 thinking을 끌 수 없으며, 모든 응답은 최종 출력 전에 <think>\n...</think>\n\n으로 감싼 reasoning으로 자동 시작됨 생성에는 다음 sampling parameter 조합을 권장함

• temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0 지원되는 sampling parameter는 추론 프레임워크에 따라 다름

• reasoning_effort로 추론 깊이와 비용을 조절할 수 있음

  • xhigh는 복잡하고 철저한 분석이 필요한 작업을 위한 기본값임

  • medium은 정확도와 속도의 균형을 맞추며, low는 속도와 비용을 우선하는 효율적 추론에 적합함

  • 모든 workload에서 즉시 최적의 사용 경험을 제공하도록 preserve_thinking이 기본 활성화됨

권장 설정

• 권장 sampling parameter를 적용하되 반복 억제 값을 높일 때의 부작용을 고려해야 함

  • 기본 권장값은 temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0임

  • 지원되는 프레임워크에서는 끝없는 반복을 줄이기 위해 presence_penalty를 0~2로 조절할 수 있지만, 높은 값은 간혹 언어 혼용과 소폭의 성능 저하를 일으킬 수 있음

• 에이전트 작업에는 상세한 추론과 결과를 생성할 수 있도록 충분한 출력 길이를 할당하는 편이 좋음

  • 내부 추론과 최종 출력의 token 한도를 분리할 수 있는 프레임워크라면 1M 컨텍스트 안에서 reasoning content의 최대 출력 길이를 262,144 tokens로 설정함

  • final response의 최대 출력 길이는 131,072 tokens로 두어 복잡한 추론과 고품질 결과물을 위한 공간을 확보함

^{source https://huggingface.co/Qwen/Qwen3.8-2.4T-A95B}

HN에서는 최대급 성능을 내세운 공개 가중치 모델이라는 상징성보다, 실제로 누가 운영할 수 있느냐가 더 큰 쟁점이었다. 2.4조 매개변수 중 950억 개를 활성화하지만 BF16 가중치는 약 5TB, FP8도 약 2.5TB에 이른다. Kimi K3와 달리 4비트 양자화 학습 결과를 함께 내놓지 않아 출시 초기의 서빙 비용과 난도가 높다는 지적도 나왔다.

397GB 규모의 1비트 양자화본에는 기대와 경계가 엇갈렸다. 초대형 모델은 저정밀화에 따른 손실을 비교적 잘 견딘다는 경험이 제시됐지만, 1비트 모델의 품질을 원본이나 상위 비공개 모델과 곧바로 견주는 것은 무리라는 반론도 컸다. 모델을 고를 때는 크기뿐 아니라 양자화 학습 여부, KV 캐시 효율, 문맥 길이, MoE 구조와 하드웨어 구성을 함께 살펴야 한다. 결국 실제 작업에서 직접 검증해야 한다는 조언이 설득력을 얻었다.

벤치마크도 참고 자료 이상으로 받아들이지 않는 분위기였다. 상위 모델과 경쟁할 만하다는 평가가 있었지만, 과거 Qwen의 점수와 체감 성능이 잘 맞지 않았다는 경험도 나왔다. OCR 작업에서는 reasoning_effort를 낮춰도 추론이 반복되는 현상이 남았다는 사례가 있었다. 공개판에서 비전 입력과 기본 100만 토큰 문맥이 빠지고 문맥 길이가 25만 토큰으로 제한된 점도 아쉬움으로 꼽혔다.

개인 개발자가 이 모델을 곧바로 로컬에서 돌리기는 어렵다. 우선 API나 중개 서비스에서 시험하고, 로컬 실행이 목적이라면 예고된 27B 모델을 기다리겠다는 반응이 많았다. 도입 여부는 최고 점수보다 보유 메모리에서 필요한 문맥을 확보할 수 있는지, 감당할 만한 정밀도에서 품질이 유지되는지, 공개판의 기능과 라이선스 조건이 서비스 요구에 맞는지를 기준으로 판단해야 한다.