Ai 트랜스포머 모델 이후

구글의 트랜스포머 모델 이후에도 다른 후보가 나왔겠죠.

최소 신경망 구조를 찾아야 한다는 점은 어느 정도 동의하지만, 가중치의 상태 값의 한계가 있다고 봅니다.

NVFP4처럼 여러개의 숫자를 묶어서 배율을 미세조정 하는 극단적인 방법도 있고, QLoRA처럼 Ai가 사용하기 유리한 소수점을 준비해서 대응하는 구조도 있죠.

그리고 가장 중요한 소수점 자체의 처리가 많이 무겁고 느립니다.