[생성형 AI] 쇼핑몰용 가상 모델 + VTON 이미지 생성 구조 조언 부탁드립니다.
안녕하세요.
현재 여성 의류 쇼핑몰을 운영하고 있고, 실제 촬영 업무에 사용할 수 있는 AI 패션 모델 이미지 생성 시스템을 직접 구축해보려고 합니다.
제가 원하는 최종 형태는 대략 아래와 같습니다.
실제 사람이 아닌 가상의 AI 모델을 여러 명 만들어두고
각 모델의 얼굴/헤어/체형을 지속적으로 동일하게 유지
상품의 상의/하의 앞·뒷면 이미지를 업로드
해당 AI 모델에게 상품을 입힘
얼굴과 상품 디테일은 최대한 유지하면서
포즈, 카메라 앵글, 구도, 배경을 바꿔
한 상품당 약 20장 정도의 촬영 콘텐츠를 자동 생성
단순히 프롬프트로 예쁜 이미지를 만드는 것보다는,
“동일한 가상 모델 + 실제 판매 상품 보존 + 다양한 포즈/구도”
이 세 가지를 동시에 안정적으로 유지하는 것이 목표입니다.
현재까지 찾아본 바로는 하나의 거대한 모델을 새로 학습시키기보다는 여러 모델을 파이프라인으로 연결하는 구조가 현실적이라고 생각하고 있습니다.
대략적으로는
Identity LoRA / IP-Adapter / InstantID 계열
VTON
OpenPose / DensePose / ControlNet
배경 생성 및 이미지 편집
얼굴/손 보정
자동 QA
최종 이미지 선별
정도를 생각하고 있습니다.
개발 환경으로는 우선 ComfyUI로 워크플로를 실험하고, 안정화되면 내부적으로 API를 호출하는 형태를 생각하고 있습니다.
Frontend
→ FastAPI
→ PostgreSQL / Redis Queue
→ GPU Worker
→ ComfyUI 또는 Diffusers
→ Object Storage
정도로 나누고,
GPU 서버는 외부에 직접 노출하기보다는 Tailscale 등의 내부망을 통해 API 서버에서 GPU Worker를 호출하는 방식도 고려하고 있습니다.
다만 제가 생성형 AI 쪽을 전문적으로 해온 개발자는 아니다 보니, 실제 Production에서 이런 서비스를 만들어보신 분들이라면 어떻게 접근하실지가 궁금합니다.
특히 아래 부분에 대한 의견을 듣고 싶습니다.
1. 동일한 가상 인물을 장기간 유지하는 방법
모델마다 Identity LoRA를 학습하는 방법과
IP-Adapter / InstantID / PhotoMaker 같은 reference 기반 방식을 같이 사용하는 방법 중 어떤 접근이 실서비스에서 안정적일까요?
Seed 값 자체를 identity로 사용하는 방식은 적합하지 않다고 이해하고 있습니다.
2. 상품 보존과 포즈 변경 순서
예를 들어
포즈 생성 → VTON으로 상품 착용
과
상품 착용 → pose transfer
중 실제 의류의 넥라인, 단추, 레이스, 워싱, 프린트 등의 디테일 보존에는 어떤 파이프라인이 더 유리할까요?
특히 앞/뒤 상품 이미지를 모두 가지고 있을 때 전면/후면까지 일관성 있게 생성할 수 있는 구조가 궁금합니다.
3. VTON 모델
IDM-VTON, CatVTON, OOTDiffusion 등의 프로젝트들을 보고 있는데, 연구용 구현을 넘어 실제 패션 커머스 Production에서는 어떤 방식이나 모델을 사용하는지 궁금합니다.
상품 자체가 변형되면 판매 이미지로 사용할 수 없기 때문에 이 부분을 가장 중요하게 보고 있습니다.
4. ComfyUI를 Production Backend로 사용하는 것에 대한 의견
초기 연구 단계에서는 ComfyUI가 상당히 편해 보이는데,
실서비스에서도
Web Backend → ComfyUI API → GPU Queue
구조로 운영하는지,
아니면 검증된 ComfyUI workflow를 이후 PyTorch / Diffusers 코드로 옮겨서 별도 inference server를 만드는 것이 일반적인지도 궁금합니다.
5. 직접 학습한다면 어디까지 학습하는 것이 현실적인지
현재 생각은
Base Image Model
모델별 Identity LoRA
쇼핑몰 촬영 스타일 LoRA
VTON
Pose Control
을 서로 분리하는 것입니다.
Base model 자체를 처음부터 학습하기보다는 기존 모델을 활용하고 필요한 부분만 Fine-tuning / LoRA하는 방향이 맞다고 보고 있는데, 이 부분도 의견을 듣고 싶습니다.
6. GPU 인프라
초기에는 GPU 1~2대로 시작한다고 했을 때
FastAPI + Redis + GPU Worker + Docker + Tailscale
정도의 구조면 충분할지,
혹은 이미지 생성 서비스 특성상 처음부터 고려해야 하는 작업 큐, VRAM 관리, 모델 로딩/언로딩, 동시 요청 처리 등의 문제가 있다면 경험을 듣고 싶습니다.
최종적으로는 단순 AI 이미지 생성 사이트보다는
상품 이미지 입력 → AI 모델 선택 → 배경/컨셉 선택 → 20~60장 생성 → 자동 검수 → 좋은 결과 20장 반환
까지 자동화하는 것이 목표입니다.
혹시 비슷한 Diffusion / VTON / AI Fashion / ComfyUI Production / GPU inference 서비스를 만들어보셨거나 관련 경험이 있으시다면,
제가 현재 잘못 접근하고 있는 부분이나, 처음 설계할 때 반드시 알아야 하는 기술/논문/프로젝트가 있다면 편하게 지적 부탁드립니다.
감사합니다.
