ChatGPT·Codex·API의 새로운 텍스트 워터마킹 시스템 상세 공개
도입 범위
OpenAI가 생성형 AI 제공자에게 AI 생성 텍스트를 식별할 수 있는 표시를 요구하는 EU AI Act에 대응하기 위해 텍스트 워터마킹 방안을 공개함
오늘부터 전 세계 API 고객이 일부 모델에서 텍스트 워터마킹을 선택할 수 있음. 당분간 기본 설정은 비활성화
앞으로 몇 주 안에 EU 내 적용 대상 사용자의 ChatGPT·Codex 텍스트 출력에 보이지 않는 워터마크를 추가할 예정
Claude의 선행 도입
몇 달 전 Anthropic은 EU AI Act 준수를 위해 Claude의 단어 선택을 조금씩 조정하는 워터마킹을 발표했고, 논란이 일었음
Claude는 때때로 똑같이 적합한 단어들 가운데 숨겨진 패턴에 따라 하나를 선택함. Anthropic은 이 방식이 응답의 의미·품질·가독성에 실질적인 영향을 주지 않는다고 설명함
Anthropic의 탐지기는 이 패턴을 찾아 Claude가 생성했을 가능성을 판단함. 워터마크에 Anthropic 시스템 고유의 비밀 키를 쓰므로 OpenAI나 다른 경쟁사의 텍스트인지는 판별할 수 없음
논란이 한창일 때 Anthropic은 다른 주요 AI 제공자들도 EU 요구사항에 맞춰 표시 시스템을 도입하고 있다고 강조함. OpenAI도 비슷한 방식을 택했지만 초기 적용 범위는 훨씬 제한적
textGrain 작동 방식
우리의 텍스트 워터마킹 기술인 textGrain은 모델의 단어 선택에 보이지 않는 통계적 신호를 추가합니다. 탐지기는 이 신호를 찾아 해당 글에 OpenAI 워터마크가 포함됐는지 평가합니다. textGrain의 작동 방식은 기술 보고서에서 더 자세히 확인할 수 있으며, 앞으로 몇 주 안에 추가 내용을 반영할 예정입니다. 다른 사람들이 이 기술을 바탕으로 개발할 수 있도록 오픈소스로 공개할 계획도 있습니다
탐지기 접근과 한계
OpenAI는 탐지기 접근 신청을 받기 시작했으며, 기술을 평가하고 개선하는 초기 단계에서는 승인된 연구자와 전문 기관에만 접근을 허용할 예정
탐지 결과에는 미탐과 오탐이 모두 발생할 수 있음. 특히 짧은 텍스트나 수학처럼 단어 선택의 여지가 적은 분야에서 한계가 큼
편집으로 워터마크가 크게 약해질 수 있음.
OpenAI의 평가 결과:
400토큰 분량의 글을 평가했을 때, 단어의 10%를 동의어로 바꾸면 탐지율이 약 92%에서 66%로 떨어졌습니다. 단어의 25%를 바꾸면 탐지율은 17%로 떨어졌습니다
성능 비교
OpenAI는 전체 성능에 의미 있는 차이가 없었다고 밝혔지만, 여러 벤치마크에서는 워터마크를 넣은 출력의 점수가 조금 더 높았음. 아래는 Astra, max 조건의 비교
벤치마크 | 워터마크 없는 텍스트(Astra, max) | 워터마크 있는 텍스트(Astra, max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49.57점 | 49.76점 |
AutomationBench | 34.09% | 34.86% |
DeepSWE v1.1 | 72.80% | 71.68% |
Terminal-Bench 4.0 | 53.90% | 56.06% |
Terminal-Bench Science 0.1 | 56.90% | 60.00% |
BrowseComp | 87.92% | 87.35% |
HealthBench Professional | 64.27% | 64.60% |
GPQA Diamond | 94.44% | 93.94% |
결과 해석
OpenAI는 워터마크가 사람의 기여도를 측정하거나 소유권·책임을 확정하지 않으며, 사용자를 식별하거나 내용의 정확성을 검증하지도 않는다고 강조
워터마크가 탐지되지 않았다고 사람이 작성했다는 증거가 되는 것도 아님
후속 연구
OpenAI는 기술·표준·근거가 발전하면 접근 방식을 재검토할 예정. 편집·번역 후 워터마크가 얼마나 유지되는지, AI의 작성 보조와 AI가 직접 작성한 경우를 더 유의미하게 구분할 수 있는지도 계속 연구할 계획
OpenAI 발표 전문에서 세부 내용 확인 가능
