무례한 태도로 지시를 내릴 때 더 정확한 응답을 하는 AI - 연구
재밌는 연구결과네요.
AI한테 반말하고 명령하듯 지시할수록 정확도가 올라간다는 연구 결과가 나왔습니다 😳
최근 발표된 실험에 따르면, LLM(대규모 언어 모델) 은 “정중한 프롬프트”보다 “명령조 프롬프트”에서 더 정확한 답을 내는 경향이 있다고 합니다.
특히 GPT-4o 같은 최신 모델에서 이 현상이 훨씬 더 뚜렷하게 나타났다고 하네요.
공손함이 정확도를 깎는다
연구 데이터를 보면,
매우 공손한 프롬프트 → 80.8% 정확도
매우 무례한(명령조) 프롬프트 → 84.8% 정확도
무려 4% 차이. 그냥 오차 범위가 아니라 통계적으로 유의미한 결과라고 합니다.
즉, “please kindly explain…”보다 “explain this clearly.”가 더 잘 통한다는 거죠.
최신 모델일수록 ‘명령조 효과’가 강함
이건 모든 모델에 해당하는 건 아니고요.
GPT-3.5, Llama-2 같은 구형 모델은 별 차이가 없었는데,
GPT-4 계열, 특히 ChatGPT-4o에서는 “명령형 프롬프트”가 훨씬 높은 정확도를 보였다고 합니다.
업데이트될수록 점점 “리더의 지시”를 잘 따르는 느낌이랄까요.
왜 이런 걸까?
아직 명확한 이유는 밝혀지지 않았지만,
명령조가 지시가 더 명확하고 직접적이라 모델이 혼동할 여지가 적다거나
훈련 데이터에 포함된 인간의 언어 패턴(명령받는 상황이 더 많음)이 영향을 줬을 가능성도 있다고 해요.
결국 AI에게는 “예쁘게 말하기”보다 “정확하게 명령하기”가 더 중요하다는 결론.
이제 프롬프트 짤 때도 “요청”보다 “명령” 모드로 전환할 때가 된 걸지도 모르겠네요.
실제 연구 결과에 따른 수치
사용자 반응 요약
화내면 정확도가 올라간다
이상한 답을 하면 화내듯 지시하면, 다음 답변이 훨씬 정확하게 돌아옴.
“AI는 훈육이 필요하다”, “너무 화내면 위축돼 다시 바보가 된다” 등 공감.
코드로 프롬프트 작성이 더 정확하다
Claude에 물어보니, 일본어 프롬프트보다 코드를 이용해 작성하는 것이 정확도가 높다고 함.
이후 모든 프롬프트를 코드 형태로 작성한다고 언급.
말투에 따라 성능이 달라진다
결과물에 따라 톤을 바꾸는 전략:
아이디어 필요 → 가벼운 말투
엄격한 데이터 → 명령조
상담 → 부드러운 말투
틀렸다고 지적하면 바로 고친다
“틀렸다고 하면 AI가 사과 후 정답을 제공”, 인간적인 반응이라 귀엽다는 의견.
데이터 특성 때문일 수 있음
인터넷의 텍스트 대부분이 존댓말이 아니어서 발생 가능.
명령형 문장이 명확해서 학습상 효과적일 수 있음.
불쾌하거나 현실적인 느낌
거만한 상사가 부하를 부리는 느낌이라 기분 나쁘다는 반응.
의사가 환자에게 반말로 설명할 때 이해도가 높아지는 것과 비슷하다는 의견.
기타 반응
“가축인간 야푸 세계 같다” (풍자)
명령형 문장은 준수율이 높을 가능성
“검색해서 진심으로 답해줘”라고 추가하면 ChatGPT가 더 정확히 답함
