클라우드 서버 제작시 요금 (생성형 AI)

Question

안녕하세요 생성형 AI 서버를 제작하고 파인튜닝과 RAG 데이터로 출력값을 호출하는 서버를 만들려고 합니다. 모델은 Llama 3.2 11B 모델 정도로 생각하고 있으며 컴퓨터가 아닌 클라우드 서비스를 이용해야 하는 상황입니다.AWS 기준으로 EC2, p3.2xlarge 요금제를 사용하려고 하였으나 요금제가 너무 많이 들어가 다른 요금제를 알아보고 있습니다.제가 클라우드 서버에 대하여 유료플랜을 직접 운영한 적이 없어 실제로 운영하신 분들께 물어보고 싶습니다.요금제 같은 경우에 AWS사이트에서 나오는 예상 비용 정도로 나올까요? (EC2 인스턴스 절감형 플랜 정도를 보고 있습니다.)예상되는 그래픽 카드가 16~24기가 정도로 생각하고 있습니다. 해당 스펙을 사용할때 연 200만원 이하 정도를 생각하고 있습니다.

테스트맨 · Answer

AI면 돈 디지게 나올듯..걍 집에다가 컴퓨터 좋은거 한대 사서 RTX 4090 박는게 나으실듯

하루의_spring · Answer

그정도면 그냥 물리 서버 한대 구축하시는게 나을듯 합니다 ...

캐티 · Answer

이용료가 많이 나오는 것이 타당하고 절감을 원한다면 연 계약 할인을 이용하면 되지 않겠나요.

anydog · Answer

연 200이면 사양을 훨씬 낮춰 보셔야 될겁니다.GPU 끼는 순간 월 200도 힘들 수 있습니다.네이버 클라우드에 요금 계산기가 잘 나와있으니 대략적인 스펙과 가격을 산정해보시고 다시 질문하시는 게 나을 거 같습니다.

클라우드 서버 제작시 요금 (생성형 AI)

4개의 답변

#googlecloud 목록