HBM 이 필요없는 Ai 아키텍쳐와 램값 안정화

2027년쯤 중순쯤이면 될거라는데요. 이유는 구글에서 트랜스포머의 차세대 아키텍쳐가 완성되기때문이죠.
작년에 HOPE 라는 이름의 논문이 나왔는데.

Hierarchically Optimized Progressive Encoder(계층적으로 최적화된 점진적 인코더) 라네요.

https://medium.com/aimonks/the-end-of-frozen-ai-inside-googles-nested-learning-and-the-hope-architecture-93d4808bd593
(정체된 AI의 발전을 깨는가? 구글의 '중첩 학습'과 HOPE 아키텍처의 내부를 들여다보다)

뇌를 모방해 계층적으로 연산을 함으로서 HBM 필요없고 일반 D 램을 묶어서 서비스 할 수있다고해요.
이 차세대 아키텍쳐는 컨텍스트가 커질수록 데이터 손실을 겪는 LLM 의 단점을 극복하고 90% 를 기억했다고해요.

구글이 발표한 HOPE 아키텍처는 단일 가속기에 거대한 메모리를 때려박는 대신, 인간 뇌의 기억 메커니즘을 모방한 중첩 학습(Nested Learning) 구조.

연산 방식 체질 개선: 기존 트랜스포머의 고질병인 '망각(Catastrophic Forgetting)'을 막기 위해, 데이터 처리 속도가 서로 다른 연속성 메모리 시스템(CMS) 블록들을 중첩.

뿐만 아니라 기존의 LLM 들은 학습이 끝나면 가중치가 고정되있는데 HOPE 는 가중치 변경도 가능해서
AGI 에 더 가까워 질꺼예요.

더 저렴한 서버와 더욱 높은 지능을 가지는 HOPE…

내년 쯤이면 제대로 나올거고 DDR5 나 DDR6 + CXL 로 넘어가서 HBM 생산 캐파가 일반 디램으로 돌아오고

램값 떨어질거라는 시나리오네요.

HBM 은 일반 D램 대비 3배의 웨이퍼가 필요하다는데. 그렇다는 말은 생산량이 3배 급증이네요.
말그대로 게이머와 AI 업계의 희망이예요