AI한테 일을 맡기기 전에 시험부터 보게 했습니다 (그 시험에서 제일 많이 틀린 건 저였습니다)

거래처가 카톡으로 보내는 주문을 자동으로 읽어주는 프로그램을 AI로 만들고 있습니다. 문제는 이게 틀리면 진짜 물건이 나간다는 거였습니다. 엉뚱한 상품이 배송되고, 반품비가 들고, 거래처 신뢰가 깎입니다.

그래서 일을 시키기 전에 시험부터 보게 했습니다. 실제로 올 법한 카톡 주문 29개로 시험지를 만들고, 문제마다 정답지를 쓰고, 자동 채점 스크립트를 만들었습니다. 함정도 심었습니다. 폭만 다른 투명테이프 2종, 250으로 시작하는 상품 5종, 주문처럼 생긴 질문 같은 것들입니다.

결과가 예상과 달랐습니다. AI의 치명적 오답은 0건, 진짜 실수는 1건이었는데, 출제자인 제 실수는 5건이었습니다. 정답지에서 3번(제가 심은 함정을 정답지 쓸 때 까먹는 식으로), 채점 스크립트에서 2번입니다.

이 경험에서 배운 것들을 연재로 정리하고 있습니다. 맞다/틀리다가 아니라 “되돌릴 수 있는가”로 등급을 나눠 채점해야 하는 이유, 채점을 AI한테 시켰더니 제 채점 코드의 버그 2개를 잡아준 이야기, AI한테 출제를 시켰더니 0번 틀렸지만 시험지로는 못 쓰는 이유 같은 것들입니다.

시리즈: velog.io/@ramses203/series/ai-verification

시험지·채점기 코드(MIT): github.com/ramses203/llm-test-harness

비슷한 검증을 해보신 분 있으면 경험을 듣고 싶습니다.

새 실험이 끝날 때마다 메일로도 보냅니다: maily.so/aiverification