이번에 qwen 3.8 나왔다길래
아무생각없이 27b짜리 돌렸다가
내 소중한 500만원짜리 맥북을 날려 먹을뻔 했습니다.
사실 채찍피티가 27b짜리라도 4비트 양자화는 돌릴만하다해서
돌려보다가 욕심에 에이전트나 웹 서버 붙였더니
화면이 벌겋게 변하면서 맥북이 죽더라구요
메모리 부족으로 죽은거라고 하는데
그래서 9b짜리로 변경해서 돌려 봤습니다.
3.5 짜리 로 구구단 짜달라니깐
이상한 소리 하던데
아마 한국어 구구단이라는 단어가 학습이 안된거 같았습니다
3.8은 그럭저럭 잘짜더라구요
내친김에 맥북에 돌리고 있는 로컬을 외부에서 접근할 방법도 알아봤는데
요즘 세상 많이 좋아 진게 open web ui라는걸로
다른 클라우드 모델과 유사한 인터페이를 구현 해놨더라구요
덕분에 딸깍 몇번으로 쉽게 접근할수 있었습니다.
