Codex 모델 라우팅 이슈 정리
레딧에 “프로 요금제를 이용 중이신가요? high/xhigh 프롬프트를 자주 사용하시나요? 성능이 점점 떨어지는 걸 느끼시나요? GPT-5.4-Mini로 리디렉션되고 있는 것입니다…” 라는 글이 하나 올라옴.
이미 GPT-5.5 Codex의 reasoning-token 클러스터링이 성능 저하를 유발할 수 있음 이런 이슈로 다뤄지고 있던내용인데, 어디서 많이 본거같…은데?
며칠전에 적었던 Claude Fable 5 사용시 반드시 알아야 할 것 글에서 Fable 5가 Opus 4.8로 라우팅 되는걸 다뤘었음.
근데 Claude는 Fable 5 재배포 공지할 때 투명하게 밝혔음.
그런데 Codex는..
프로 요금제를 이용 중이신가요? high/xhigh 프롬프트를 자주 사용하시나요?
이러한 조건을 충족하는 경우, 귀하의 계정은 OpenAI에 수익성이 없는 것으로 분류되어 GPT-5.4-Mini로 조용히 전환되고 있습니다.
출처: 레딧
뭐 여러 글에서 결국 추측이고 확실하지 않다고 하지만 영 찝찝한건 어쩔 수 없음.
그래서 다음 명령어를 실행해 보면 해당 문제가 발생하는지 확인해볼 수 있다고함.
Please run a 5-shot local Codex eval: invoke
codex exec --json --skip-git-repo-check --ephemeral -s read-only --disable memories -m gpt-5.5 -c model_reasoning_effort=highfive times with the same stdin prompt below, then inspect each JSONL result’s finalagent_messageandturn.completed.usage.reasoning_output_tokens. Correct answer is standalone21; wrong answers clustering at516,1034, or1552reasoning tokens suggest you’re affected. If a single response returns 516, 1034, or 1552 reasoning tokens and contains the wrong answer, tell me I'm affected, otherwise I'm fine. Prompt: Do not use external tools. A black bag contains candies with counts: round apple 7, round peach 9, round watermelon 8; star apple 7, star peach 6, star watermelon 4. Shape is distinguishable by touch before drawing; flavor is not. What is the minimum number of candies to draw to guarantee having apple and peach candies of different shapes, i.e. round apple + star peach or round peach + star apple? Give reasoning and final number. The local project dir is irrelevant for this task, do not consult it.
사실 이 Prompt는 복잡한 조합 문제에서 reasoning budget이 너무 일찍 잘리거나 낮게 잡히는 현상을 탐지하려는 재현용 Prompt라서 Codex 모델 라우팅을 직접 증명하는 프롬프트는 아님
실행하면 이렇게 나옴.
긴 reasoning을 안정적으로 쓰지 못하고, 516-token 근처의 짧은 reasoning bucket으로 4번 조기 종료됨.
이걸 Codex API를 사용해 이 작업을 시도하면 답변이 항상 정확하다고 함.
하지만 문제가 발생한 계정에서 시도할 경우, 사용 빈도에 따라 약 50%의 확률 or 전혀 답변을 얻지 못한다고 함.
Codex 서버의 추론 처리량이 부족해서 추론을 일찍 종료해버리는 버그(라고 쓰고 GPT-5.6 자원 돌리기 라고 읽음)일 거임.
