locale (11) — 누가 썼는지가 절반이다

좋은 것은 찾기 힘들어진 만큼, 더 귀하게 값을 쳐줘야 하지 않을까…

검색이 하는 일 중 특히 랭킹을 조금 더 들여다보자면 세상의 수많은 문서 가운데 더 좋다고 믿을 만한 것부터 순서를 매기는 일이었는데, 그 판단에서 생각보다 중요하게 두던 것이 글에 담긴 내용 못지않게 그 글을 누가, 어디서, 어떻게 만들었는가 하는 것이었다.

검색에 쓰이는 랭킹 점수를 아주 단순화시키면 1) 질의에 얼마나 들어맞는가 하는 적합도(relevancy)와, 2) 그 문서가 세상에서 얼마나 중요하게 대접받는가 하는 인기(popularity)의 곱으로 나타낼 수 있다. 물론 실제로는 더 복잡한 방법을 쓰지만, 뿌리는 대체로 이 둘이었고, 이 중에서 인기를 매기는 대표적인 방법이 구글의 PageRank로, 한 문서가 다른 문서로부터 얼마나 인용되고 링크되었는가를 그 문서에 주는 값인데, 논문이 많이 인용될수록 무게를 얻는 것과 같은 이치다. 검색 엔진은 이후 여기에 사용자가 남긴 반응을 더해 인기와 관련한 값을 정교하게 업데이트하곤 했다.

구글에 다니던 당시 랭킹에 관해서 개인적으로 좋아했던 과제가 authorship이었다. spam과 copy & paste가 만연하던 시절, 저자와 출처의 신뢰도를 자발적으로 밝히게 하는 프로그램을 통해 원본 문서에 여러 의미의 가중치를 두겠다는 시도였는데, 웹 표준으로 접근하던 구글스러운 과제로, 좋은 문서에 신뢰를 한 겹 더 얹는 취지였다. 그리고 문서들 사이의 연결 관계를 파악해 서로 보증해 주는, 넓은 의미의 smearing 기법과, 링크된 문서를 설명하는 문구인 anchor text가 부리던 그 마법 같은 순간들이 아직 기억에 남는다. 증거를 찾고 모으는 입장에서 문서마다 판단할 핑계를 더 많이 공급해 주자는 것으로, 양질의 문서에서 링크로 이어진 문서들은 그 참조의 방향을 따라 덕을 보게 하고, 아직 다른 증거가 부족한 문서에는 그것이 꽤 중요한 popularity 시그널이 되어 주었다.

그런데 증거를 이렇게 세는 시스템에는 그늘도 있었는데, "독도는 어느 땅인가" 같은 질의를 생각해 보면, 한글로 된 한국의 문서가 하나일 때 일본 땅이라고 적힌 일본어 문서가 열 개라면 어찌 될까. 그중에 하나가 이미 유명한 문서라면? 이런 질의에 손으로 개입하는 일은 애초에 할 수도 없고 하지도 않는 원칙이었기에, 담당자 시각에서 할 수 있는 일이라곤 매번 조마조마한 마음으로 직접 검색해 보고서 가슴을 쓸어내리는 것뿐이었다. 결과를 정하는 건 결국 세상에 쌓인 문서들이었고, 그럴 때마다 한국이 바깥을 향해 쌓는 콘텐츠의 노력이 특히 일본과 비교할 때 조금 더 아쉽곤 했다.

같은 일이 AI의 세상에서 고스란히 되풀이되고 있다. 서로 anchor와 link로 이어져 출처를 따라갈 수 있는 문서가 아니라 그저 기계적으로 copy & paste된 글 더미를 지식의, 또 모델의 바탕으로 삼아 버리면 그것은 가짜 뉴스나 엉뚱한 권위에 큰 탈을 일으키기 십상이라, 글의 내용만큼이나 그 글이 누구의 손에서 어디서 어떻게 나왔는가 하는 내력이 함께 쌓여야 한다. 여러 서비스가 저마다 잘 하겠다고 하지만, 개인적으로는 다소 회의적이다. 그 시절 구글만큼, 소위 진정성을 가지고 하고 있을까? 진정성이 있다면 풀 수 있는 문제일까?

게다가 품질 낮은 글이 쏟아지는 일이야 오래전부터 있었지만, AI의 손을 빌려 글 한 편을 지어내는 일이 1000배도 넘게 쉬워진 지금은 그 규모가 통째로 달라져서, 예전이라면 좋은 글 하나에 시답잖은 글 100개가 버려지던 자리에 이제는 좋은 글 하나에 나쁜 글 10만 개가 쌓이는 셈이니, 좋은 것이 늘어나는 것에 비해 쓰레기들이 늘어나는 모습이리라. 그 무더기 속에서 의미 있는 것을 골라내어 사용자들 앞에 잘 보이도록 골라내는 일은 서비스를 내놓는 쪽이 책임지고 떠맡아야 할 몫인데, 쏟아지는 양이 불어난 만큼 그 책임의 무게도 함께 무거워졌다. 최소 저장하고 읽어 보고 버리기만 해도 처리하는 비용만 1000배가 늘어날 것이다.

글이나 지식을 책임 있게 잘 옮기는 사람들의 재주는 그것대로 존중한다. 인플루언서든 커뮤니케이터든 좋은 뜻으로 하는 이들이 많지만, 거기에는 저마다의 사익도 얹혀 있게 마련이라, 새로운 정보를 접할 때 이제는 그 내용만이 아니라 누가 왜 전하는가까지 한 번 더 가늠하게 되었다. 유튜브 쇼츠가 좌우반전이 되어 있거나 이상한 채널에서 오거나 하면 더 의심하게 되는데, 오래된 직업병 중의 하나이겠지만, 신경 쓸 자리가 하나 더 늘어난 셈이다.

그 시절의 authorship 프로그램은 Google+에 얹혀 있던 탓에, 그것이 저물면서 표면적으로는 같이 접히고 말았다. 하지만 누가 어디서 어떻게 만들었는가를 따져 좋은 것을 가려낸다는 접근은 그 뒤로도 꽤 오랫동안 smearing을 비롯해 검색 품질을 챙기는 여러 기법으로 조용히 이어졌다. 그런데 무엇이 진짜이고 믿을 만한가를 가리기가 이토록 어려워진 지금 와서 보면, 그 오래된 과제야말로 다시, 그리고 더 크게 꺼내야 할 숙제가 된 듯하다. 이 세상에서 사람이 만든 문서들을 이미 다 읽었다고 하는 기계들이 새로운 문서들을 쏟아내는 시대가 된 지금, 앞서 든 독도 문서의 물음은 그때보다 훨씬 심각해졌다. 골라내기가 어려워진 만큼 원래 소중하던 고품질 문서 하나의 값은 더 귀하게 쳐줘야 할 텐데, 우리가 그 품질과 가치에 점점 무뎌져 가는 것은 아닌지, 서비스들은 그걸 또 배워 가는 건 아닐지 걱정이 앞선다.

원문은 브런치에 있습니다 → https://brunch.co.kr/@chaesang/196