LLM 추론 모델의 치명적 취약점과 에이젠트 설계에 대한 고민

2024년에는 Thinking, Reasoning 페러다임이 시작되었습니다.

이 방식은 LLM이 답을 내기 전에 스스로 생각을 정리할 기회를 주어 영리해지는 반면에, 본질적으로는 이미 학습된 파라미터의 범위를 벗어나는 새로운 사실이 나타나지는 않으며 여전히 환각(할루시네이션)이 발생한다는 한계가 있습니다. 외부 지식을 실시간으로 참조하지 않는 한, 스스로 생각을 되새김질하는 과정 역시 결국 파라미터 내부에 갇힌 확률에 불과합니다.

어제 구한 가장 단순한 정답은 useCapture를 사용하는 구현이지만, 오늘 AI는 부정합니다.

웹 문서에서 이벤트 버블링이 안되는 이벤트들을 가져오는 가장 효과적인 코드 구현입니다.

new class{
    constructor(){
        addEventListener("play",this,true)
    }
	handleEvent(e){
console.log("media session",e.type)
    }
}

컨텍스트를 비우는 순간부터 새로운 문제가 발생합니다. AI는 예전 기억을 모두 잃어버리므로 정답을 자각하지 못하고, 다시 물어볼 때는 언제 그랬냐는 듯이 안 된다고 부정하는 경우가 생각보다 자주 등장합니다. 이런 경우는 대부분 정답과 정상적 로그를 제공 받은 뒤에 서야 스스로 환각임을 인정하는데, 이러한 현상은 어제 잘되던 기능을 오늘 망가뜨릴 수 있는 코딩 에이전트의 치명적인 취약점입니다.

이러한 문제를 해결하기 위해서, 에이전트의 추론 기능은 예비적인 용도로만 제한하고 이미 도달한 정답을 외부 스토리지에 보관하여 재활용하는 아키텍처를 고민 중입니다. 사실 AI 제작사들은 일찍이 '컨텍스트 메모리 기능'을 도입한 것만 보아도, 그들은 이미 문제의 원인과 해결 방안까지 마련해 두었을 것입니다. 하지만 자칫 회사의 프라이드가 담긴 핵심 기술이나 '비밀 소스(Secret Sauce)'가 AI 제작사에게 제공될 수 있는 중대한 보안 우려가 동시에 발생합니다. 그러므로 코딩 에이젠트가 접근 가능한 저장소는 공용과 기밀로 나누어줄 필요성이 분명합니다.