다국어 웹커뮤니티 개발시 번역 DL모델 선택

cloudflare 의 AI worker인 @cf/meta/m2m100-1.2b 를 사용해도 됩니다만

거의 공짜나 다름없지만 비용이 발생(중소형 커뮤니티에서는 거의 공짜) 다만 번역품질이 나쁨

K의료 수요언어를 분석해보니 중국,일본,동남아,러시아 등이 많은데 이 언어들을 기계번역해서는 품질기준을 통과하는 언어쌍이 하나도 안 나옴

역시나 기계번역 모델뿐만 아니라 LLM을 번역 프로세서에 넣어야 되는가 싶어서 상용API를 사용하지 않고 로컬 LLM으로 진행해보자 마음 먹고

jetson orin nano super(vram 8gb)는 이미 비전ML모델 Viddexa(음란사진 검열)을 가동중이라서

11th i5 notebook ubuntu server 48gb ram 의 cpu avx512_vnni 를 활용해서 번역에 LLM까지 넣기로 함

11th i5 intel cpu는 구형 cpu라서 요즘 ultra core cpu처럼 (반)통합 ram이 지원안되므로 openvino igpu로 LLM을 가동하면 cpu와 igpu간의 메모리 이동시 aperture size 256mb 제한으로 igpu가 멈춰 버리기 때문에 절대 sLLM을 가동하면 안됨 그래서 안전하게 cpu avx512_vnni로 sLLM을 가동해야 함(sLLM조차 느리지만 그래도 번역 작업을 queue로 잘 관리하면 쓸만한 속도는 나옴)

LLM의 문제는 이렇게 번역했습니다 같은 사족을 갑자기 붙일 수 있다는 점에서 번역모델처럼 항상 정확한 대답을 주지는 않음. 번역전문모델은 웹커뮤니티에 사람들이 올리는 글,댓글의 문맥파악을 못해서 번역품질이 떨어짐 특히 의료 쪽 단어나 문장은 정확성이 필요함

M2M100 + CTranslate2

NLLB-200 + CTranslate2

Qwen 2.5

Gemma 3

그래서 다양한 로컬 번역모델, 번역모델+로컬 LLM 후번역+로컬 다른LLM 판정 등등 다양한 방식으로 loop를 조합해 보았으나 품질 문제로 다 탈락

결국 번역모델 로컬 MADLAD-400-3B 단일 프로세스를 고려중. 딱딱한 번역문이긴 한데 어쨋든 최소 품질 이상은 확보됨. 품질문제와 사용자 웹브라우저 번역기능활용 등을 고려해서 번역문은 무조건 원문과 함께 제공하는 것을 원칙으로 함.

의료 용어 오류 때문에만 자동 번역 활성화는 0건이라면 원문을 항상 같이 표시하고 의료용어는 항상 원문을 참고하라는 안내를 붙여서 자동 번역 활성화 가능하도록 함.

기준을 다음처럼 좁혀 적용하겠습니다: 자동 생성은 허용하되 번역은 어디까지나 보조 파생물이고, 원문이 먼저 완전히 보이며, 기계 번역마다 의료 용어 오류 경고를 붙입니다. 번역문은 검색·의료 사실 추출·canonical 데이터에 사용하지 않고 구조 검사 실패 시 표시하지 않습니다. 기존 “품질 통과 0건” 증거는 그대로 보존하고, 별도의 ‘원문 병기 조건부 활성화’ 결정으로 기록하겠습니다.

gpt-5.6-sol high 가 열일 했습니다