코딩 에이전트의 수정·빌드·테스트를 Macro로 묶었습니다 — 60개 작업 피드백 부탁드립니다

안녕하세요. 제가 유지보수하는 오픈소스 프로젝트 Tura에 대해 피드백을 받고 싶어 공유드립니다.

긴 코딩 작업에서 에이전트가 환경 확인, 파일 수정, 빌드, 테스트·lint, Playwright 결과 확인을 각각 별도 라운드로 처리하는 대신, 반복 가능한 Macro로 묶어 한 번에 실행하는 방식입니다.

동일한 60개 작업으로 비교했을 때:

- Macro Direct: 39/60, 969 rounds, 75.1M tokens

- Macro + backward reasoning: 48/60, 2,017 rounds, 229.7M tokens

- Codex CLI Medium: 38/60, 3,140 rounds, 333.5M tokens

- Codex CLI High: 36/60, 6,074 rounds, 455.7M tokens

단순 token 절감률 대신 실패와 재시도까지 포함한 전체 작업 비용을 측정했고, 구현·테스트 스크립트·데이터셋을 모두 공개했습니다.

Repo: https://github.com/Tura-AI/tura

Benchmark: https://turaai.net/docs#benchmark-current-test-set-record

Macro Direct의 낮은 비용과 backward reasoning의 높은 성공률 중 실제 개발에서 어느 쪽이 더 중요한지 의견을 듣고 싶습니다. 제가 Tura를 유지보수하고 있습니다.