긍정/부정 대신 0~10 점수로 물어보면 좋은 이유

LLM에게 판단을 물어볼 때 의외로 가장 애매한 방식이 바로 이런 질문이다.

• "이 설계 괜찮아?"

• "이 코드 유지보수성 좋아?"

• "이 아이디어 성공 가능성 있음?"

겉보기엔 단순한 질문 같지만, 실제로는 모델이 꽤 애매한 답을 내놓는 경우가 많다.

보통 이런 식이다.

• "상황에 따라 다릅니다"

• "장단점이 있습니다"

• "꼭 그렇지만은 않습니다"

왜 그럴까?

LLM은 기본적으로 너무 단정적인 표현을 피하도록 학습되어 있기 때문이다.

특히 yes/no, good/bad 같은 이진 질문에서는 한쪽으로 강하게 결론 내리는 걸 조심하는 경향이 있다.

질문 방식을 바꾸면 답변이 달라진다

재밌는 건 질문 형식을 조금만 바꿔도 응답 품질이 꽤 달라진다는 점이다.

예를 들면:

• "0~10점 기준으로 평가해줘"

• "100점 만점 기준으로 냉정하게 점수 줘"

이렇게 숫자 평가를 요청하면 모델이 내부적으로 갖고 있는 방향성을 훨씬 명확하게 드러내는 경우가 많다.

실제로 비교해보면 차이가 크다

일반 질문

• "이 구조 괜찮아?"

→ "상황에 따라 적절할 수 있습니다"

점수 기반 질문

• "유지보수성 기준으로 0~10점이면?"

→ "4/10. 규모가 커질수록 결합도가 높아질 가능성이 있음"

같은 모델인데도 후자가 훨씬 실무적으로 도움이 된다.

점수 기반 질문의 장점

1. 애매한 중립 답변이 줄어든다

숫자를 요구하면 모델이 어느 방향으로 기울어져 있는지 드러난다.

단순히 "괜찮을 수도 있음"이 아니라 실제로 얼마나 긍정적/부정적인지 표현하게 된다.

2. 비교가 쉬워진다

예를 들어:

• A안: 7점

• B안: 4점

이렇게 상대 비교가 가능해진다.

특히 설계안 비교, UX 비교, 기능 우선순위 판단에서 매우 편하다.

3. 개선 포인트를 이어서 묻기 좋다

점수를 받으면 후속 질문도 훨씬 자연스러워진다.

예를 들면:

• "왜 5점 이하야?"

• "8점 이상 되려면 뭐가 부족해?"

• "점수 깎인 핵심 원인이 뭐야?"

이런 식으로 바로 개선 방향을 뽑아낼 수 있다.

LLM은 연속형 평가에서 더 솔직한 편이다

개인적으로 느끼는 건, LLM은 binary 판단보다 연속적인 수치 평가에서 더 자연스럽게 동작한다는 점이다.

예를 들면:

• yes / no

• good / bad

• 가능 / 불가능

같은 방식보다 아래 형태가 훨씬 유용했다.

• 0~10 점수

• 0~100 점수

• confidence %

• risk %

특히 아래 영역에서 체감이 컸다.

• 코드 리뷰

• 기획 검토

• UX 평가

• 아키텍처 비교

• 리스크 분석

결국 중요한 건 “방향성”이다

LLM은 원래 확률 기반 모델이다.

그래서 흑백 판단만 강요하면 오히려 애매한 답변이 늘어난다.

반대로 점수 형태로 질문하면 모델이 갖고 있는 내부 확률과 방향성이 훨씬 잘 드러난다.

질문을 조금만 바꿔도 답변의 밀도가 꽤 달라진다.