locale (19) — 보기에 그럴듯한가

검색 품질을 재던 방법, 그리고 끝내 재지 못한 것

이 연작에서 검색의 '품질'이라는 말을 여러 번 썼는데, 이 글은 정작 그 품질과 관련된 몇몇 이야기다. 구글에 다니던 시절 검색 팀은 search 팀이 아니라 quality 팀이었고, 검색과 관련된 거의 모든 프로젝트가 monorepo의 quality 아래에 모여 있었다. 여전히 quantity에 비해 모호한 단어지만, 품질은 구호 이상의 의미가 있었다고 이해해도 좋겠다.

품질을 재는 표준화된 방식의 기본은 주어진 쿼리에 대해서 좋은 문서를 잘 보여 주는가. 사람이 평가하는 human eval은 EWOQ라 불렀다. 공식 이름은 그랬는데, 스타워즈를 좋아하는 사람들 영향으로 안에서는 다들 이워크(Ewok)라 불렀고 나도 그렇게 기억하고 있다. 밖에서는 크라우드소싱이라고 두루뭉술하게 부르기도 했고, 광역 설문조사와도 닮은 데가 있었다. 사용자의 선택을 받기 전에 '보기에 그럴듯한가'를 조금 전문적인 시각으로 모으는 방법으로, 소스는 믿을 만했나, 클릭하고 들어가 봤더니 괜찮았나, 원하는 정보는 찾을 수 있었나 — 실제 사용자가 하게 될 일을 '모의'로 먼저 해 보는 일이었다. 그때 평가자에게 주던 가이드라인은 지금도 공개되어 있는 문서이고, 새로운 아이디어나 개선을 증명할 때는 두 결과를 나란히 놓고 비교하는 side-by-side가 좋은 방법이었다. 이 잣대 어디에도 라이브 트래픽이나 쿼리 볼륨 같은 것은 들어오지 않았고, 품질의 잣대와 성장의 잣대는 애초에 서로를 모르는 사이였다.

한국어 검색 시절에는 영어에서 하던 표준화된 방식을 그대로 썼다. 평가에 쓸 쿼리를 따로 뽑고(query sampling) 평가 지침을 한국 맥락에 맞게 다듬는(instruction tuning) 일을 했고, 평가단은 내부 인력으로 먼저 꾸려 돌려 본 뒤 외부 업체에 맡겼다. 다만 잣대 자체에 한국을 위한 타협은 없었다. 평가는 이 페이지가 쿼리와 relevant한가, 잘 읽히는가를 묻는 것이라 is_korea 같은 것이 들어갈 자리가 없었다 — 코드에 나라를 넣지 않던 원칙이 평가 기준에도 그대로 적용되고 있던 셈이다.

그런데 그 보편의 잣대로 재는데도, 평가단의 주관식 피드백에는 자꾸 같은 문장이 올라왔는데, 네이버에는 있는데 여기서는 찾을 수가 없었다는 것이었다. 누가 봐도 좋은 정보들이 네이버 지식인과 블로그 안에 있었고, 커뮤니티들조차 회원 가입한 사람에게만 양질의 정보를 보여 주던 시기였기에, crawl된 것만으로 화면을 꾸려야 하는 쪽에서는 한계가 많을 수밖에 없었다. 평가단은 그 격차를 parity라는 이름으로 착실히 기록하고 있었다.

상대 팀이 잘한 거니까 분한 감정도 많았지만, 이 피드백들은 새로운 시도의 justification이 되었다. 짧은 쿼리들에 대해 onebox를 촘촘하게 만들자는 노력이 그랬고, Knol이니 태터툴스니 하는 콘텐츠 플랫폼 initiative들이 그랬다. 없는 것보다야 나았고, 제품 입장에서는 반가운 신호였지만, 정직하게 적자면 당시에 개인적으로는 잘못된 전략이었다는 생각이고, 결과도 그러했다. 섞을 재료 자체가 담장 안에 있으면, 바깥에서 무엇을 새로 지어도 그 격차는 좀처럼 메워지지 않았다. 언어 편에서도 적었던 말인데, '돼지 목에 진주 목걸이'라는 표현을 많이 썼었다.

하나 더 정직한 기억으로, 품질이 좋아지면 볼륨이 올라온다는 직접적인 연관이나 증거는, 적어도 내가 보던 동안에는 없었다. 참고로 속도 쪽에서는 그 가설이 여러 번 증명이 되었는데, 결과 페이지를 일부러 몇백 밀리초 늦게 보여 주는 실험을 돌리면 사람들의 검색 횟수가 1퍼센트에 못 미치는 만큼 줄었고, 그 차이는 지연을 걷어낸 뒤에도 몇 주를 갔다. 빠르면 더 쓴다는 가설은 그렇게 숫자로 증명이 됐는데, 품질이 좋으면 더 쓴다는 가설은 애초에 그런 실험을 설계하기가 힘들었다. 좋은 검색은 사용자 마음 어딘가에 작은 만족을 남겼겠지만, 그것이 다시 찾아오는 발걸음으로 이어진다는 것을 같은 방식으로 보여 줄 수는 없었다. 역설적으로 몇몇 과제에서는 정답을 주면 사용 빈도가 오히려 줄어드는 일도 생겼는데, 이는 뒤에 새로운 시대를 맞이하게 해 주었다. 품질은 품질의 잣대로 재고 볼륨은 볼륨의 잣대로 잴 뿐, 둘을 잇는 다리는 끝내 손에 잡히지 않았다 — 그래도 품질을 재는 일을 멈추지 않았던 건, '보기에 그럴듯한 것'이 옳아서였다고밖에는 말할 길이 없다.

요즘은 영어 사용자의 반응을 보기 위해 케냐 사람들을 평가자로 쓴다는 내용도 보았고, 어디까지 얼마나 맡기는지 모르지만 평가단의 자리에 다양한 AI들을 앉힌다는 이야기를 듣는다. 통계로 평균에 회귀시키고 보기에 그럴듯한 결과를 만들어 내는 일이라면, 그것이야말로 AI가 가장 잘하는 일일 것이다. 사용자 한 사람 한 사람을 가까이 보며 감정이입을 해 보던 경험들이 귀해지는 시기가 되었는데, 그럴듯한 답을 만드는 쪽과 그 답이 그럴듯한지를 재는 쪽이 비슷한 기계라면, 그 잣대는 무엇을 재고 있는 것일까.

원문은 브런치에 있습니다 → https://brunch.co.kr/@chaesang/205