AWS, AI 출력의 수학적 확실성을 위한 자동 추론 검사 서비스 도입

아마존웹서비스(Amazon Web Services, 이하 AWS)는 아마존 베드록 가드레일(Amazon Bedrock Guardrails) 내 자동 추론 검사(Automated Reasoning checks) 서비스를 정식 출시한다고 발표했다.

생성형 AI가 비즈니스 운영을 혁신하는 시대에서 조직들은 중대한 과제에 직면해 있다. AI가 생성한 콘텐츠가 사실에 기반하며, 비즈니스 규칙을 준수하도록 보장하는 것이다. AWS는 환각 현상과 모호성을 최소화하기 위해 모델이 생성한 응답의 정확성을 최대 99%까지 수학적으로 검증할 수 있는AI 응답 검증 방식을 도입했다. 자동 추론 검사는 다음 기능을 제공한다.

• 대용량 문서 지원: 최대 8만 토큰, 약 100페이지 분량의 문서를 한 번에 처리할 수 있어 방대한 정책 문서도 효과적으로 다룰 수 있다.

• 정책 검증 자동화 및 반복 실행: 사용자가 생성한 검증 테스트를 저장하고 반복 실행할 수 있어 시간이 지나도 정책 유지 및 점검이 용이하다.

• 시나리오 자동 생성: 사용자 정의 기반으로 테스트 시나리오를 자동으로 생성하여, 시간과 노력을 절약하면서 더 많은 경우의 수를 테스트할 수 있도록 한다.

• 정책 피드백 향상: 자연어 기반의 정책 개선 제안을 통해 정책 품질을 손쉽게 향상할 수 있다.

• 사용자 정의 검증 설정: 특정 요구 사항에 맞게 신뢰도 점수 임계치를 조정하여, 검사 강도를 제어할 수 있도록 지원한다.

통계적 샘플링이나 인간의 검토에 의존하는 기존 접근법과 달리, 자동 추론 검사는 형식 검증(formal verification) 기법을 활용한다. 이는 10여 년간 AWS 클라우드 인프라를 보호해 온 것과 동일한 수학적 방법으로, 정의된 비즈니스 규칙과 도메인 지식에 따라 AI 출력 결과가 적합한지 검증한다.

바이런 쿡(Byron Cook) AWS 부사장 겸 특임 과학자는 "언어, 문법, 의미, 타당성, 건전성, 완전성, 계산 복잡성, 심지어 결정 불가능성과 같은 문제들은 이전에는 너무 학문적이고 모호해서 대중과는 거리가 멀었다. 하지만 이제 모든 것이 바뀌었다"고 말했다. 그는 이어 "우리 팀은 자연어 번역, 사실의 정의, 확정적 추론에 대한 접근 방식을 지속적으로 개선해 왔다"고 덧붙였다.

AWS는 AI 시스템에서 올바른 추론을 작동시키는 데 가장 어려운 과제로 규정한 세 가지 문제를 자동 추론 검사 개발을 통해 해결했다.

• 자연어에서 구조화된 언어로의 번역: 인간의 의사소통은 본질적으로 모호성을 가지고 있다. 자동 추론 검사는 자연어와 논리적 술어 간의 변환을 위해 여러 접근 방식을 사용하며, 이후 형식 논리 해결기(formal logic solvers)를 활용해 다양한 해석 간의 동치성(equivalence)을 증명하거나 반증한다.

• 사실의 정의: 조직은 종종 미묘한 모순을 포함하고 있는 규칙들의 의미에 대한 합의를 도출하는데 어려움을 겪는다. 또한, 규칙은 지속적으로 변화한다. 자동 추론 검사는 고객이 각자의 도메인 내에서 사실을 정의할 수 있는 프레임워크를 제공하며, 규칙이 변화함에 따라 이러한 정의를 지속적으로 정교화할 수 있는 메커니즘을 제공한다.

• 확정적 추론: 표면적으로 작아 보이는 규칙의 집합이라도 검증해야 하는 경우의 수는 천문학적으로 증가할 수 있다. 자동 추론 검사는 이러한 조합적 검증 작업을 여러 가지 경우에서 매우 빠르게 수행할 수 있도록 고도화된 도구를 활용한다.

헬스케어, 금융 서비스, 유틸리티와 같은 규제 산업의 경우, 이 혁신은 엔터프라이즈 AI 도입의 큰 장애물 중 하나를 해결한다. 프라이스 워터하우스 쿠퍼스(PricewaterhouseCoopers, PwC)와 같은 AWS 파트너들은 이 기술을 의약품 콘텐츠 검토, 유틸리티 운영, 헬스케어 커뮤니케이션, 보험 청구 처리 등 다양한 산업 분야에서 실제 시나리오에 적용하고 있다.

조직이 파일럿 단계에서 자율적으로 행동하는 에이전트형 AI 시스템으로 전환함에 따라, 각 출력 결과에 대한 신뢰 확보가 더욱 중요해지고 있다. 자동 추론 검사는 기업이 AI를 책임감 있게 확장하는 데 필요한 보장을 제공한다.

예를 들어, 의료 서비스 제공자가 생성형 AI를 활용해 환자와 소통하는 경우, 단 하나의 사실 오류도 심각한 결과를 초래할 수 있다. 자동 추론 검사는 각 응답이 환자에게 전달되기 전에 의료 가이드라인과 일치하는지 여부를 검증할 수 있다.

아마존 베드록 가드레일의 자동 추론 검사는 현재 미국 동부(버지니아 북부, 오하이오), 미국 서부(오리건), 유럽(프랑크푸르트, 아일랜드, 파리) 등 여러 AWS 리전에서 제공된다. 해당 기능은 아마존 베드록 콘솔과 파이썬용 AWS SDK(AWS SDK for Python)을 통해 이용할 수 있다.

이 서비스는 에이전트형 AI 워크플로우와 원활하게 통합되며, 각 행동이 실행되기 전에 이를 검증하고, 포괄적인 감사 추적을 유지한다. 이는 인간의 지속적인 감독 없이 결정을 내리는 자율 시스템에 필수적인 기능이다.

AI 시스템이 더욱 자율화되고 비즈니스 운영에 깊이 통합됨에 따라, 통계적 신뢰보다는 수학적 확실성을 제공하는 도구들이 책임감 있는 AI 배포의 필수 구성 요소가 될 것이다. AWS는 자동 추론 검사를 통해 생성형 AI의 역량과 형식 검증의 엄밀함을 결합한 AI 검증의 새로운 기준을 제시하고 있다.