딥마인드 Demis Hassabis가 말하는 Agent, Memory, 과학의 미래

^{source ycombinator}

Garry Tan: 그럼 AGI 이야기부터 시작해볼게요. 오랫동안 AGI를 생각해 오셨잖아요. 지금의 대규모 사전학습, RLHF, chain-of-thought 같은 방식들은 AGI의 최종 구조에 얼마나 가까이 와 있다고 보세요? 그리고 아직 근본적으로 빠진 것은 무엇일까요?

Demis Hassabis: 저는 그 요소들이 AGI 최종 구조의 일부가 될 가능성이 높다고 봅니다. 이미 많은 능력이 검증됐기 때문에, 몇 년 뒤에 “이건 완전히 막다른 길이었다”고 말하게 될 가능성은 낮다고 생각합니다. 다만 아직 해결되지 않은 문제들이 분명히 있습니다. 지속 학습, 장기 추론, 기억을 다루는 방식, 그리고 시스템이 전반적으로 더 일관되게 작동하는 능력입니다. 기존 기법을 확장하고 개선하는 과정에서 풀릴 수도 있지만, 어쩌면 하나나 두 개의 큰 아이디어가 더 필요할 수도 있습니다. 저는 그 가능성을 거의 반반으로 봅니다.

Garry Tan: 에이전트 시스템을 보면 아직은 임시방편이 많습니다. 지금은 모델 가중치가 계속 업데이트되는 방식이라기보다, 같은 모델 위에 기억을 정리하고 다시 주입하는 절차를 덧붙이는 식에 가깝잖아요. 일종의 임시방편처럼요. 이 지점이 꽤 흥미롭습니다.

Demis Hassabis: 맞습니다. 제 박사 연구도 해마가 새로운 지식을 기존 지식 기반에 어떻게 통합하는지에 관한 것이었습니다. 뇌는 수면 중, 특히 REM 수면 중에 중요한 경험을 다시 재생하면서 학습하죠. DeepMind의 초기 Atari 프로그램인 DQN도 경험 재생을 사용했습니다. 성공적인 궤적을 여러 번 재생해서 학습했는데, 그 아이디어는 신경과학에서 빌려온 것입니다. 지금 우리는 모든 것을 컨텍스트 창에 넣는 식으로 문제를 해결하려고 하지만, 저장할 수 있다는 것과 필요한 순간에 관련 정보를 찾아 의사결정에 쓰는 것은 다릅니다. 백만 토큰, 천만 토큰짜리 컨텍스트가 있어도 중요하지 않은 정보와 틀린 정보까지 모두 넣는다면 여전히 매우 wild한 방식입니다.

Garry Tan: DeepMind는 AlphaGo, AlphaZero, MuZero 같은 작업에서 강화학습과 탐색을 중시해 왔습니다. 그 철학이 Gemini를 만드는 방식에도 들어가 있나요? 강화학습은 아직 저평가돼 있다고 보시나요?

Demis Hassabis: 그럴 가능성이 있습니다. DeepMind는 처음부터 에이전트를 연구해 왔습니다. Atari와 AlphaGo는 모두 목표를 달성하기 위해 스스로 결정을 내리고 계획하는 시스템이었죠. 게임이라는 도메인을 사용한 것은 문제를 다루기 쉽게 만들기 위해서였습니다. 이제 질문은 그런 모델을 단순한 게임 모델이 아니라 세계 모델이나 언어 모델로 일반화할 수 있느냐입니다. 오늘날의 추론 모드와 chain-of-thought 추론에는 AlphaGo에서 개척했던 아이디어가 다시 돌아오고 있다고 봅니다. AlphaGo와 AlphaZero에서 다뤘던 강화학습, 탐색, Monte Carlo 계열 아이디어는 현재의 기반 모델에도 여전히 중요합니다.

Garry Tan: 큰 모델이 더 똑똑해지는 동시에, 모델 증류를 통해 작은 모델도 빠르게 강해지고 있습니다. Flash 모델처럼 최전선 모델의 90-95% 수준 성능을 훨씬 낮은 비용으로 제공하는 흐름을 어떻게 보시나요?

Demis Hassabis: 가장 앞선 능력을 만들려면 여전히 가장 큰 모델을 만들어야 합니다. 하지만 그 능력을 더 작고 빠른 모델에 압축하는 것은 우리의 중요한 강점 중 하나입니다. Google은 검색, Gemini 앱, 지도, YouTube 등 수십억 사용자가 쓰는 제품과 서비스에 AI를 제공해야 합니다. 그래서 빠르고 효율적이며 저렴하고 지연 시간이 짧은 모델을 만들 강한 동기가 있습니다. 작은 모델은 비용만 낮추는 것이 아닙니다. 코딩처럼 빠른 반복이 중요한 작업에서는 약간 덜 똑똑하더라도 속도가 더 큰 이득을 줄 수 있습니다. 90%나 95% 정도의 능력이 충분한 상황에서는 빠르게 여러 번 시도하는 편이 더 유용할 수 있습니다.

Garry Tan: 작은 모델이 충분히 강해진다면, AI가 클라우드에만 머무르지 않고 사용자 기기 안으로 들어가는 방향도 가능할까요?

Demis Hassabis: 그 방향은 중요합니다. 비용과 효율성뿐 아니라 프라이버시와 보안 때문입니다. 개인 정보가 담긴 음성이나 영상을 처리하는 기기, 집 안의 로봇, 휴대폰이나 스마트 안경 같은 개인 비서형 AI는 로컬에서 강력하게 작동할 필요가 있습니다. 더 큰 클라우드 모델이 전체 조율을 맡고, 특정 상황에서만 도움을 주는 구조를 상상할 수 있습니다. 민감한 정보나 물리적 맥락은 로컬에 남기는 것이 좋은 종착점일 수 있습니다.

Garry Tan: 현재 모델은 작업 맥락을 오래 유지하지 못하는 쪽에 가깝습니다. 지속 학습 모델을 쓰는 개발자 경험은 어떤 모습이어야 할까요?

Demis Hassabis: 지속 학습이 없다는 점은 에이전트가 전체 과업을 끝까지 수행하는 데 큰 제약입니다. 지금의 에이전트는 과업의 일부에는 매우 유용하고, 여러 도구를 엮으면 멋진 일을 할 수 있습니다. 하지만 주어진 맥락에 잘 적응하지는 못합니다. 정말 “맡겨 놓으면 알아서 해결하는” 에이전트가 되려면 특정 상황과 환경을 학습할 수 있어야 합니다. 저는 그 부분을 해결해야 완전한 범용 지능에 가까워질 수 있다고 봅니다.

Garry Tan: 모델들은 chain-of-thought에서 인상적인 능력을 보이지만, 똑똑한 학부생이라면 틀리지 않을 문제에서도 실패합니다. 추론에서는 무엇이 바뀌어야 할까요?

Demis Hassabis: 아직 추론 방식에는 혁신의 여지가 많습니다. 지금은 꽤 단순하고 무차별적인 방식을 쓰고 있다고 봅니다. 예를 들어 모델의 사고 과정을 감시하고, 중간에 잘못된 방향으로 가면 개입하는 방식이 필요할 수도 있습니다. 체스를 두게 해 보면 모델이 어떤 수가 실책이라는 것을 알아차리고도 더 나은 수를 찾지 못해 다시 그 수를 선택하는 일이 있습니다. 정밀한 추론 시스템에서는 그런 일이 일어나면 안 됩니다. 그래서 오늘날의 모델은 능력 편차가 큽니다. 한쪽에서는 IMO 금메달 수준의 문제를 풀지만, 다른 쪽에서는 질문 방식에 따라 초보적인 계산이나 추론을 틀립니다. 자기 사고 과정에 대한 일종의 성찰 능력이 아직 부족한 것 같습니다.

Garry Tan: 에이전트가 크게 주목받고 있습니다. 어떤 사람들은 과대평가됐다고 말하지만, 저는 이제 시작이라고 봅니다. DeepMind 내부에서는 지금 에이전트 능력을 어떻게 보고 있나요?

Demis Hassabis: 저도 이제 시작이라고 봅니다. AGI에 도달하려면 능동적으로 문제를 해결하는 시스템이 필요합니다. 그런 의미에서 에이전트는 AGI로 가는 중요한 경로입니다. 하지만 아직 우리는 실험 단계에 있습니다. 많은 사람이 수십 개의 에이전트를 오랫동안 돌리는 실험을 하지만, 그 투입을 정당화할 만큼의 결과가 항상 보이는 것은 아닙니다. 앞으로 6개월에서 12개월 사이에 더 큰 가치가 드러날 수 있다고 생각합니다.

Garry Tan: 그 과정에서 인간은 어느 정도까지 남아 있어야 할까요? 완전 자동화가 먼저 올까요, 아니면 사람들이 도구를 써서 엄청난 생산성을 내는 모습이 먼저 보일까요?

Demis Hassabis: 저는 후자가 먼저 보일 가능성이 높다고 봅니다. 사람의 장인정신과 감각이 여전히 중요합니다. AI 도구로 작은 데모를 매우 빠르게 만들 수 있지만, 정말 뛰어난 결과물에는 아직 사람의 취향과 방향성이 필요합니다. 이 도구들만으로 앱스토어 차트 정상에 오르는 AAA급 게임이 자연스럽게 나왔다면 이미 다른 단계에 있었을 것입니다. 아직은 무언가 부족합니다. 그것이 도구의 문제인지, 프로세스의 문제인지는 더 봐야 합니다.

Garry Tan: 창의성 얘기로 이어가보죠. AlphaGo의 37수 같은 순간은 있었지만, 그것이 진정한 창의성의 끝은 아닐 수도 있습니다.

Demis Hassabis: AlphaGo의 37수는 매우 중요한 순간이었습니다. 저는 그 순간을 보고 AlphaFold 같은 과학 프로젝트를 시작할 준비가 됐다고 느꼈습니다. 하지만 37수를 찾는 것만으로는 충분하지 않습니다. 제가 원하는 것은 바둑을 둘 수 있는 시스템이 아니라, 바둑 자체를 발명할 수 있는 시스템입니다. “규칙은 5분이면 배울 수 있지만 평생을 몇 번 바쳐도 마스터하기 어렵고, 미적으로 아름다우며, 오후 한나절에 한 판을 둘 수 있는 게임”이라는 설명을 줬을 때 바둑 같은 것을 만들어 낼 수 있느냐는 질문입니다. 오늘날의 시스템은 아직 거기까지 가지 못했다고 봅니다. 다만 그것이 모델의 한계인지, 아니면 우리가 도구를 쓰는 방식의 한계인지는 확실하지 않습니다.

Garry Tan: Gemma 같은 오픈 웨이트 모델도 내놓고 있습니다. AI가 클라우드 중심이 아니라 사용자 손에 들어가는 흐름을 어떻게 보시나요?

Demis Hassabis: 우리는 오픈소스와 열린 과학을 중요하게 생각합니다. AlphaFold도 무료로 공개했고, 과학 연구도 계속 공개하고 있습니다. Gemma는 크기에 비해 세계적인 수준의 모델을 만들고, 많은 사람이 실험하고 구축할 수 있게 하려는 시도입니다. 또 한 가지 이유는 엣지 모델입니다. Android, 스마트 안경, 로봇 같은 사용처에서 쓰이는 작은 모델은 어차피 사용자 기기에 올라갑니다. 그런 모델은 전략적으로도 공개 모델로 두는 것이 맞다고 판단했습니다.

Garry Tan: Gemini는 처음부터 멀티모달로 설계됐습니다. 음성을 모델이 직접 처리하고, 도구 사용과 긴 컨텍스트를 함께 쓰는 경험이 인상적입니다.

Demis Hassabis: Gemini가 처음부터 멀티모달이었다는 점은 아직 충분히 평가받지 못한 부분이라고 봅니다. 처음에는 텍스트에만 집중하는 것보다 어려웠지만, 장기적으로는 큰 이점이 있다고 믿었습니다. 세계 모델, Genie, 로봇공학 같은 영역에서는 멀티모달 기반이 중요합니다. 현실 세계에서 함께 움직이는 AI 비서는 주변의 물리적 환경, 상식적인 물리 감각, 사용자가 처한 실제 맥락을 이해해야 합니다. 우리는 그런 문제에서 강점을 갖고 있다고 봅니다.

Garry Tan: 추론 비용이 빠르게 떨어지고 있습니다. 거의 무료에 가까워지면 무엇이 가능해질까요?

Demis Hassabis: 추론이 완전히 무료가 될지는 모르겠습니다. 제번스의 역설처럼, 사용 가능한 자원이 많아지면 우리는 결국 그것을 모두 쓰게 될 가능성이 큽니다. 수백만 개의 에이전트가 무리 지어 함께 일할 수도 있고, 하나의 에이전트나 작은 에이전트 그룹이 여러 방향으로 오래 생각한 뒤 결과를 합칠 수도 있습니다. 그런 방식은 사용 가능한 추론 자원을 계속 소모할 것입니다. 에너지 비용이 거의 0에 가까워지는 세계가 올 수도 있지만, 칩을 만드는 물리적 제약은 남습니다. 그래서 앞으로 수십 년 동안은 추론 자원도 여전히 효율적으로 써야 한다고 봅니다.

Garry Tan: AlphaFold 3는 단백질을 넘어 더 넓은 생체분자 영역으로 갔습니다. 전체 세포 시스템을 모델링하는 것은 얼마나 가까워졌나요?

Demis Hassabis: 궁극적으로는 가상 세포가 필요합니다. 세포 전체를 작동하는 시뮬레이션으로 만들고, 어떤 교란을 줬을 때 실험과 충분히 가까운 결과를 낼 수 있다면 많은 탐색 단계를 줄일 수 있습니다. 또 다른 모델을 학습시킬 합성 데이터도 만들 수 있습니다. 완전한 가상 세포는 아마 10년 정도 걸릴 수 있다고 봅니다. 그래서 먼저 상대적으로 독립된 세포핵 같은 부분부터 모델링하는 접근을 생각하고 있습니다. 문제는 데이터입니다. 살아 있는 세포를 죽이지 않고 나노미터 수준 해상도로 동적으로 관찰할 수 있다면 판도가 바뀔 것입니다. 그러면 복잡한 컴퓨터 비전 문제처럼 풀 수 있을지도 모릅니다.

Garry Tan: 생명과학뿐 아니라 재료과학, 약물 발견, 기후 모델링, 수학도 보고 계십니다. 앞으로 5년 동안 어느 과학 영역이 가장 크게 바뀔까요?

Demis Hassabis: 모두 흥미롭습니다. 제가 30년 넘게 AI를 연구해 온 가장 큰 이유는 AI가 과학을 위한 궁극의 도구가 될 수 있다고 믿었기 때문입니다. DeepMind의 원래 미션은 두 단계였습니다. 먼저 지능을 구현하고, 그 지능으로 다른 문제들을 푸는 것입니다. 여기서 다른 문제들이란 과학의 뿌리가 되는 문제, 즉 새로운 발견의 가지를 여는 핵심 문제들을 뜻했습니다. AlphaFold는 그 원형입니다. 전 세계 수백만 연구자가 사용하고 있고, 앞으로 개발되는 거의 모든 신약이 어느 지점에서는 AlphaFold를 사용할 것이라는 말도 들었습니다. 하지만 저는 이것이 시작에 가깝다고 봅니다. 재료, 약물 발견, 기후, 수학 같은 분야는 아직 AlphaFold가 처음 가능성을 보여주던 단계와 비슷한 위치에 있으며, 앞으로 몇 년 사이 더 이야기할 결과가 많을 것입니다.

Garry Tan: AI를 과학에 적용하려는 창업자들이 많습니다. 과학의 최전선에 실제로 기여하는 스타트업과 기반 모델 API를 감싸는 수준의 스타트업은 무엇이 다를까요?

Demis Hassabis: AI 기술이 어디로 향하는지 정확히 읽는 것이 한 축입니다. 하지만 거기에 다른 딥테크 영역을 결합해야 합니다. 재료, 의학, 다른 어려운 과학 영역처럼 물질 세계가 포함되는 문제에는 당분간 지름길이 없습니다. 그런 학제 간 팀은 더 방어 가능한 사업 기회를 가질 수 있습니다. 기반 모델의 다음 업데이트에 쉽게 휩쓸리지 않는 영역이기 때문입니다. 오래가고 가치 있는 것은 쉽지 않습니다. 하지만 깊은 문제를 푸는 것이 얕은 문제를 푸는 것보다 본질적으로 더 어렵기만 한 것은 아닙니다. 서로 다른 방식으로 어렵습니다. 그래서 저는 정말 의미 있는 문제에 시간과 에너지를 쏟는 편이 낫다고 생각합니다.

Garry Tan: AlphaFold 같은 돌파구가 생기기 쉬운 과학 문제에는 어떤 패턴이 있나요?

Demis Hassabis: AlphaGo와 AlphaFold에서 배운 패턴이 있습니다. 거대한 조합 탐색 공간이 있고, 무차별 대입이나 특수 알고리즘으로는 풀 수 없으며, 명확한 목적 함수가 있고, 충분한 데이터나 시뮬레이터가 있다면 오늘날의 방법으로도 매우 멀리 갈 수 있습니다. 바둑에서는 승리라는 목적이 있고, 단백질에서는 자유 에너지를 최소화하는 식의 목적이 있습니다. 약물 발견도 비슷합니다. 물리 법칙상 어떤 질병을 해결하면서 부작용이 없는 화합물이 존재한다면, 문제는 그것을 어떻게 효율적으로 찾느냐입니다. AlphaGo와 AlphaFold는 건초더미 속 바늘 같은 해답을 찾아낼 수 있음을 보여 줬습니다.

Garry Tan: 인간이 AI를 써서 AlphaFold를 만들었습니다. 그다음 단계는 AI가 직접 가설 공간을 탐색하는 것입니다. 진짜 과학적 추론은 얼마나 가까워졌나요?

Demis Hassabis: 가까워지고 있다고 봅니다. co-scientist나 AlphaEvolve 같은 시스템은 기본 Gemini보다 더 나아가는 방향을 탐색하고 있습니다. 하지만 아직 저는 진짜 대형 발견을 봤다고 말하지는 않겠습니다. 중요한 질문은 흥미로운 가설을 스스로 만들어 낼 수 있느냐입니다. 알려진 문제를 푸는 것도 어렵지만, 최고 수준의 수학자들이 평생 연구할 만하다고 인정할 새로운 문제 세트를 만들어 내는 것은 또 다른 단계입니다. 저는 이것을 아인슈타인 테스트처럼 생각합니다. 1901년까지의 지식만 가진 시스템이 1905년의 아인슈타인처럼 특수상대성이론 같은 것을 만들어 낼 수 있는가. 그런 테스트를 통과한다면 우리는 진정으로 새로운 발견이나 발명에 가까워졌다고 말할 수 있을 것입니다.

Garry Tan: 마지막으로, 최전선에서 큰 규모의 일을 만들고 싶은 기술자들에게 묻고 싶습니다. 25살의 자신에게 지금 알고 있는 것 중 무엇을 알려주고 싶나요?

Demis Hassabis: 깊고 어려운 문제를 푸는 것이 얕고 단순한 문제를 푸는 것보다 반드시 더 어렵기만 한 것은 아닙니다. 그저 다르게 어렵습니다. 인생은 짧고 시간과 에너지는 제한돼 있습니다. 그렇다면 내가 아니었다면 일어나지 않았을 일, 정말 차이를 만들 수 있는 일에 힘을 쓰는 편이 낫습니다. 또 딥테크를 시작한다면 AGI 타임라인을 고려해야 합니다. 제 AGI 타임라인은 대략 2030년쯤입니다. 진짜 딥테크는 보통 10년짜리 여정입니다. 그렇다면 오늘 시작하는 프로젝트는 중간에 AGI가 등장하는 세계를 가정해야 합니다.

Garry Tan: 그러니까 AGI가 중간에 등장할 수 있다는 걸 위협으로만 볼 게 아니라, 처음부터 설계 조건으로 넣어야 한다는 말씀이군요.

Demis Hassabis: 그렇습니다. 그것은 나쁜 일이 아닐 수 있습니다. 하지만 반드시 생각해야 합니다. 미래의 일반 AI 시스템은 AlphaFold 같은 전문 시스템을 도구로 사용할 수 있습니다. 모든 것을 하나의 거대한 모델 안에 넣는 것보다, 강력한 범용 도구 사용 모델이 전문 도구를 쓰는 구조가 더 효율적일 것입니다. 그래서 지금 무언가를 만든다면 그 세계를 상상해야 합니다. AGI가 개발 여정의 중간에 등장해도 여전히 유용한 공장, 과학 도구, 금융 시스템, 물리적 인프라가 무엇인지 생각하고 만들어야 합니다.