Llama 3.1 70b를 돌리려면 어느정도 스펙이 필요할까요?

Question

현재 3060 pc로 8b정도 성능을 가지는 AI를 돌리고 있습니다. 단순 챗봇 기능을 넘어 추이 분석 정도 까지 생각을 하는데 8b모델은 한계가 있다는 것을 발견 하였습니다. LLM모델을 본격적으로 사용하기 위해서는 70b 모델을 돌려야 하는데 그래픽 카드 리소스가 얼마나 들지 모르겠습니다. 그래픽카드 소요를 알면 CPU와 RAM 계산이 될 것으로 보이는데 혹시 해당 정보를 아시는 분이 있을까요? 현재 환경이 클라우드를 못쓰고 로컬로 빼야하는 환경이라 고민입니다.

Clickin · Answer

저도 몇번 안돌려봤는데 경험상 ollama library에서 model 크기보다 조금 더 필요하더라고요40GB라고 적혀있으니까 RTX A6000 정도는 쓰셔야하겠네요...

BGProgramming · Answer

전에 잠시 제가 계산했을때는 맥으로 했을때가 비용이 가장 적게들었고 1000만원정도 였을 겁니다.아니면 1500만원선에서 계산이 되었습니다.열심히 고민해보다가 집에서 하면 전기세등이 감당 안될것 같아서 접었습니다.제가 자세한 사양은 기억이 안나서 ... 한번 다음을 참고해 보세요.GPU 가격이 제일 문제였습니다.LLAMA 3.1 70b GPU Requirements (FP32, FP16, INT8 and INT4)https://www.youtube.com/watch?v&#61;VCDjdcOJK90

집킨 · Answer

허깅페이스 허브에 있으면 모델 계산기 한번 써보세요https://huggingface.co/spaces/hf-accelerate/model-memory-usage보통 여기서 계산한거에 +20% 정도 합니다

kkang01 · Answer

40 ~ 50 GB 정도

구로막차 · Answer

아래 링크 참조해보니..https://llamaimodel.com/requirements/이 정도에서 시작하는게 좋을 듯 해요..GPU:RTX 3000 series or later --> RTX 4070Ti or RTX 4090CPU: 최소 8Core --> 16CoreMEM: 32GB 이상 --> 64GB

n = n + 1 · Answer

70b 돌리기에는 rtx 4090 1개로는 울며 겨자 먹기로 사용은 가능은 합니다만출력 속도가 느리고 CPU자원을 많이 먹어요.8b 와 같은 응답속도를 내려면 VRAM이 48 이상이 되어야 할겁니다.관련 내용이 이슈로 등록되어있는데 4090 1개로는 부족하고 더 있어야 한다는것이고.. https://github.com/ollama/ollama/issues/3818 4090 2개로 돌리면 h100 카드와 맞먹는 속도가 나온다고는 하네요~https://arca.live/b/alpaca/81971346

Llama 3.1 70b를 돌리려면 어느정도 스펙이 필요할까요?

6개의 답변

Q&A 목록