ai모델 로컬 데스크탑에서 돌려보신분...?

Question

안녕하세요로컬에서 LLM을 돌리고자하는데,제가 관심있어 하는 모델들은VRAM을 최소 20GB이상 요구로 하더군요... 이거 충족 안하고 돌리면 그냥 실행조차 안하고 에러 내보낸다고 적혀있는 모델들이 있습니다.근데 저희집 데스크탑은 x470 + 5900x +3070ti(8gb) + ram 128g라어떻게 128g를 활용해서 vram에 할당하는 "착각" 을 만들 수 있지 않을까 해서 질문 올립니다가능할까요...?

더미 · Answer

램이 128이요?? 머하세요?

kyuho · Answer

당연히 GPU보단 훨씬 느리겠지만 CPU 추론 가능한 모델을 사용하실 수 있어요. https://ollama.com/ 에서 모델 찾아보시고 llama로 가볍게 테스트 해보셔요.GPU offload llm 로 검색해보시면 CPU + GPU 리소스 같이 사용하실 수 있으니 참고해보세요!

육성이 · Answer

사용하시려는게 몇 B모델인가요??동일 모델 양자화된거도 테스트 해보셔요

ㅇㅇㅇ1121 · Answer

8기가면 돌아는 갈 것 같은데 의미 없을 것 같아요. 3090 한 개 있는데 chatgpt나 딥시크 비슷하게 쓰려 하다가 그냥 chatgpt 써요 일단 동일 성능으로는 너무 느리고 가볍게 쓸꺼면 쓸만 한 것 같아요. rag 구축도 마음 먹으면 가능하고. 전기값만 되면 자유롭게 쓸 수 있으니까요. 물론 전기비나, gpu 가격 생각하면 그냥 딥러닝 api 쓰는게 더 이득 같기도 해요

ai모델 로컬 데스크탑에서 돌려보신분...?

4개의 답변

Q&A 목록