locale(10)-번역하지 않기로 한 검색

번역이라는 핑계가 걷히고 나면...

이전 글에서는 화면의 문구를 채우는 이야기를 했는데, 이번엔 화면이 아니라 문서를 번역할 것인가 하는 갈림길의 이야기다. 게다가 전 세계의 문서를 다루는 검색과 고객이 직접 제공한 내용을 다루는 스토어는 따져야 할 것이 많이 달랐다.

그 갈림길에서 '자동 번역을 써도 되는가'라는 물음에 두 제품이 정반대의 답을 내놓았다. 먼저 플레이스토어 쪽은 상품 페이지가 항목 단위로 끊겨 있는 데다, 전 세계를 통틀어도 양질의 앱이라야 많아야 백만 개 정도였다. 게다가 앱은 개발자가 손수 올리는 물건이라 올라오는 그 순간 이미 한 번 색인 비용을 치르니, 자동 번역을 거기 얹어도 전체 처리의 핵심 경로(critical path)가 더 무거워지지 않았다. 반면 검색은 전 세계의 문서를 통째로 다루는 일이라 규모 자체가 달랐다. 어느 나라 어느 언어의 사용자가 그 문서를 찾아올지 미리 알 수 없으니, 문서마다 마흔 개가 넘는 언어로 옮겨 준비해 둔다는 것은 애초에 엄두도 못 낼 일이었고, 그래서 아예 색인 시에 문서를 번역하려는 시도 자체를 하지 않았다.

스토어가 그렇게 자동 번역을 켤 수 있었다 해도, 그것이 곧 켜도 된다는 뜻은 아니었는데, 자동 번역을 내보내는 순간, 그 결과물의 품질은 고스란히 플랫폼이 책임져야 할 몫이 되었다. 올린 이의 의지가 그 번역에 반영되어 있는가도 따져야 했는데, 공들여 쓴 소개 글이 허락 없이 기계 번역으로 어설프게 옮겨지는 탓에 원 저작자가 손해를 본다면 그것은 누구의 책임인가. 그래서 플랫폼은 겉보기보다 은근히 신경 쓸 것이 많았고, 판매자에게서 떼는 운영 수수료의 일부도 알게 모르게 이런 부분을 살피는 데 쓰였다.

검색에서 문서를 미리 번역해 두는 대신 택한 기능은 질문을 받아 언어의 벽을 건너뛰어 가며 답을 찾아 오는 쪽, 그러니까 CLIR이라 부르던 교차언어 검색이었는데, 쿼리를 영어로 옮겨 영문으로 검색한 뒤 그 결과를 다시 한글로 옮기는 몇 단계를 밟는 것으로, 한국 구글 초기에 꽤 힘주어 하던 프로젝트이기도 했다. 핵심 경로에 번역을 여러 번 끼워 넣어야 하는 데다, 그렇게 건너와 골라낸 문서의 품질을 원래 그 언어로 검색한 결과와 견주어야 했으니, 이 방식이 그럴듯하게 먹히는 쿼리 세트를 찾아내는 일부터가 만만치 않았다. 게다가 그 여러 다리를 건너는 동안 사용자를 기다리게 해야 한다는 부담도 상당했다.

그 무렵의 기계 번역은 같은 내용을 여러 언어로 나란히 가리키는 정답 데이터, 이른바 golden 번역이 많을수록 품질이 올라갔다. 구글이다 보니 그 중심에는 늘 영어가 있어서, 어떤 언어든 영어와의 상관이 좋을수록 번역이 매끄러웠고, 영어 이외의 번역은 대개 영어를 축으로 삼은 2단계로 흘렀다. 한일 번역은 직접 번역과 영어를 거치는 2단계를 두고 매번 저울질이 오갔는데, 그 경로는 한국어를 영어로 옮기는 첫 단추에서 이미 점수를 까먹고 들어갔고, 두 번 옮기는 사이 뜻도 그만큼 깎여 나갔다. 한국어와 일본어는 어순도 한자어도 가까워 곧장 잇는 편이 더 나을 법했지만, 이 역시 golden 데이터가 넉넉지 않았고, 그 '양질의 데이터가 적다'는 말은 품질이 오르지 않는 데 대한 편리한 핑계가 되어 주기도 했다.

그 golden 번역의 시작점이 되는 것이 Wikipedia나 UN의 공식 문서처럼 잘 정리되어 공개적인 곳에 놓인 것들이라 영어가 압도적으로 많았던 반면, 한국어는 그렇게 나란히 쌓인 것 자체가 일본어에 견주어도 한참 적었다. 한국어가 번역에서 번번이 뒤로 처지던 까닭도 한국어를 쓰는 사람이 적어서라기보다, 좋은 번역이 기댈 좋은 공개 자료를 마음껏 끌어다 쓸 수 없던 사정과 맞닿아 있었다.

영어를 축으로 삼던 그 벽을 걷어 낸 것은 구글의 신경망 번역(GNMT)이었다. 여러 언어를 한 모델에 함께 담아 한 공간에 나란히 심으니, 겉의 단어를 갈아 끼우기보다 말이 품은 뜻 자체에 다가가는 쪽에 가까워졌다. 영어를 거치지 않고 한국어에서 일본어로 곧장 잇는 일도 자연스러워졌고, 여러 번 옮기는 사이 뜻이 깎이던 손실도 그만큼 줄었다. 언어를 한 공간에 놓는 이 발상은 이후 BERT 같은 모델로 이어졌고, 지금의 LLM에 닿아 이제는 번역이라는 단계 없이도 여러 언어의 자료를 함께 뒤져 가며 답을 준비한다. 구글 안에서도 역사와 전통을 자랑하던 번역팀이 그동안 쌓아 온 로직을 송두리째 뜯어고치던 시절의 기억이기도 한데, 지금 떠올려도 대단한 사람들이다.

오래 저울질하던 그 고민이 어느새 물음 자체로 사라진 셈이다. 이제 번역은 더 이상 핑계가 되지 못한다. 재주가 좋아진 만큼, 남는 물음은 애초에 그 언어로 무엇을 쌓고 무엇을 열어 두었는가 쪽으로 옮겨 간다. 언어의 벽이 낮아질수록 한국어로 물어도 영어로 쌓인 것에 기대 답이 돌아오는 셈이니, 그 답이 어느 자리에서 온 것인가 하는 물음은 이제부터가 시작인지도 모른다.