LLM 모델 추천(GPU 없는 환경과, RTX 4070 Ti Super 환경)

Question

안녕하세요. 최근에 LLM 관심 갖고 이것저것 테스트 해보고 있는데요.개인적인 환경이그래픽카드 없이 CPU 로 추론해야 하는 환경RTX 4070 Ti Super 환경이렇게 2가지 환경이 있고, 다루는 데이터나 목적은카카오톡 대화 등 채팅이나 메일 주고 받은 내역들한국어 위주 처리등을 고려했을 때1, 2 환경에 각각 적합한 LLM 모델 괜찮은 것은 어떤것들이 있을까요?현재까지 KoAlpaca-Polyglot-5.8B,Qwen/Qwen3-8Byanolja/EEVE-Korean-Instruct-10.8B-v1.0정도 경험해봤었습니다.아직까진 각 모델별 특징이나 성능 등에 대해서 잘 모르겠어서요. 물론 응답시간별 차이를 느끼는 정도이긴한데 이것도 이제 파라미터 수에 따라 다르다는 정도로만 알고 있어서 아무튼 다시 정리하자면한국어로 채팅이나 대화내역 등을 위주로 처리하고자 하는데,이때 적합한 모델 중에그래픽카드가 없는 환경과, RTX 4070 Ti Super 정도의 그래픽 카드 수준에서다루기에 적합한 모델 각각 추천해 주시면 감사하겠습니다.감사합니다.

Minsu Chae · Answer

CPU 로 한다면 3개의 모델다 전부 안된다고 생각하시면 됩니다. 한 개당 Gemma3 1B 도 1분 이상 걸릴 때도 있습니다. 파라미터 수를 고려한다면 GPU가 있는 것으로 쓰시고, 본인이 경험하기에 어떠한 것이 좀 더 타당한 것인지 검토 후 적용하세요.

김치맛커피 · Answer

한국어 특화면 네이버 클로바 시드 추천요.cpu면 0.5b 나 1.5b 정도 그래픽있으면 1.5~ 3b까지파라미터가 낮다고 느껴질수도있겠지만 기본언어가 한국어라 외국어베이스 모델 8b언저리 급이랑 성능 또이 치거나 나을수도 있어요.외국베이스는 번역하는데도 자원사용하니까요 ㅎ3b는 멀티모달도 된다하니까 해보세요

냥길동 · Answer

Qwen이 Tool calling과 MCP를 지원하고 있어서 개발관점에선 좋다고 생각합니다. ..::&#x1f532;

LLM 모델 추천(GPU 없는 환경과, RTX 4070 Ti Super 환경)

3개의 답변

#llm 목록