ec2에서 gemma3+mcp서버를 이용할때 질문

Question

안녕하세요. gemma3+mcp서버를 이용하기 위해서, 이것저것 실험해보고 있는 상태입니다.gemma3에 관해선, 커서나 클로드 데스크탑에서는 gemma3를 쓸 수 없었기에 ollama로 자체 호스팅을 해보려고 했습니다.[해본것]로컬(m1맥)에서 gemma3사용ollama공홈에 있는 gemma-3-12b.gguf 모델을 ollama를 이용해서 다운로드, serve.mcp-client-for-ollama 를 이용해서 제가 만든 mcp서버와 time서버를 인식시키고, 채팅ec2에서 gemma3사용g5g.xlarge를 런치.ollama공홈에 있는 gemma-3-12b, 27b.gguf 모델을 ollama를 이용해서 다운로드, serve.mcp-client-for-ollama 를 이용해서 제가 만든 mcp서버와 time서버를 인식시키고, 채팅[결과]답변속도(로컬, 12b) -> 15분(g5g.xlarge, 12b) -> 7초(g5g.xlarge, 27b) -> 15분답변내용(로컬, 12b) -> 현재시간을 mcp서버를 이용해 답변해줌(g5g.xlarge, 12b) -> 현재시간을 mcp서버를 이용해 답변해줌(g5g.xlarge, 27b) -> 현재시간을 답변못하고 {"name": "time.get_current_time", "parameters": {"timezone": "Asia/Seoul"}} 만 답변란에 표시됨[질문]g5g.xlarge에서 12b에 비해 27b의 답변내용이 이상한 이유가 뭘까요? (쓰고있는 모델이 문제인지, mcp서버가 문제인지, ec2리소스가 문제인지 모르겠습니다.)보통 회사에서는 자사프로덕트를 만들때 이런식으로 자체 호스팅을 하나요? 아니면 openai api나 아마존 베드록(모델선택지가 적다는것은 감안하고)을 사용하나요?[참고로그]아래는 (g5g.xlarge, 27b) 에서-> OLLAMA_DEBUG=1 ollama serve로 로그를 출력하도록 하고-> "set the timezone to Asia/Seoul and use the time.get_current_time tool to tell me the current time in Korea."라고 질문했을때 나오는 로그입니다.time=2025-07-30T08:51:27.077Z level=INFO source=server.go:637 msg="llama runner started in 134.60 seconds" time=2025-07-30T08:51:27.078Z level=DEBUG source=sched.go:495 msg="finished setting up" runner.name=registry.ollama.ai/PetrosStav/gemma3-tools:27b runner.inference=cuda runner.devices=1 runner.size="20.4 GiB" runner.vram="14.3 GiB" runner.parallel=1 runner.pid=105987 runner.model=/home/ec2-user/.ollama/models/blobs/sha256-xxxxxxxxxxxxxxxxx runner.num_ctx=4096 time=2025-07-30T08:51:27.413Z level=DEBUG source=prompt.go:66 msg="truncating input messages which exceed context length" truncated=2 time=2025-07-30T08:51:27.417Z level=DEBUG source=server.go:736 msg="completion request" images=0 prompt=22750 format="" time=2025-07-30T08:51:27.714Z level=DEBUG source=vocabulary.go:52 msg="adding bos token to prompt" id=[2] time=2025-07-30T08:51:27.717Z level=WARN source=runner.go:157 msg="truncating input prompt" limit=4096 prompt=5502 keep=4 new=4096 time=2025-07-30T08:51:27.718Z level=DEBUG source=cache.go:136 msg="loading cache slot" id=0 cache=0 prompt=4096 used=0 remaining=4096 time=2025-07-30T09:06:15.753Z level=DEBUG source=cache.go:272 msg="context limit hit - shifting" id=0 limit=4096 input=4096 keep=4 discard=2046 [GIN] 2025/07/30 - 09:06:27 | 200 | 17m16s | 127.0.0.1 | POST "/api/chat" time=2025-07-30T09:06:27.892Z level=DEBUG source=sched.go:503 msg="context for request finished" time=2025-07-30T09:06:27.892Z level=DEBUG source=sched.go:343 msg="runner with non-zero duration has gone idle, adding timer" runner.name=registry.ollama.ai/PetrosStav/gemma3-tools:27b runner.inference=cuda runner.devices=1 runner.size="20.4 GiB" runner.vram="14.3 GiB" runner.parallel=1 runner.pid=105987 runner.model=/home/ec2-user/.ollama/models/blobs/sha256-xxxxxxxxxxxxxxxxx runner.num_ctx=4096 duration=5m0s time=2025-07-30T09:06:27.892Z level=DEBUG source=sched.go:361 msg="after processing request finished event" runner.name=registry.ollama.ai/PetrosStav/gemma3-tools:27b runner.inference=cuda runner.devices=1 runner.size="20.4 GiB" runner.vram="14.3 GiB" runner.parallel=1 runner.pid=105987 runner.model=/home/ec2-user/.ollama/models/blobs/sha256-xxxxxxxxxxxxxxxxx runner.num_ctx=4096 refCount=0읽어주셔서 감사합니다!

ec2에서 gemma3+mcp서버를 이용할때 질문

0개의 답변

#llm 목록