rtx4060 노트북에서 llm 돌릴만 한가요?

Question

qwen-3-coder 함 돌려 볼려고 중고 노트북 노리고 있는데로컬llm으로 사용 하고 계신분 게시나요?

pernicious · Answer

4060은 VRAM 8GB라서 7B 모델 4bit 정도가 한계라고 생각합니다qwen-3-coder 7B 정도는 돌릴만한데 흠장시간 inference 시에는 발열로 TDP 제한 걸리는 것도 감안하셔야 합니다.

allinux · Answer

gpu 1장으로 안되면 2장 써야 하는데 그런면에서 노트북은 별로죠

xml개발자 · Answer

데스크탑 5070 12긱으로 쓰고 있는데메모리도 많이 먹고.. 딱히 만족스럽지 않습니다.그냥 20달러 결재하고 쓰는게 편해요

MungGaeDev · Answer

정신건강에 안좋습니다.

4개의 답변