글로벌 오픈소스 솔루션 선도기업 레드햇과 구글클라우드(Google Cloud)는 레드햇의 오픈소스 기술과 구글클라우드의 맞춤형 인프라 및 구글의 개방형 모델 제품군인 젬마(Gemma)를 결합해 엔터프라이즈 애플리케이션용 AI를 향상하기 위한 협력을 확대한다고 오늘 발표했다.

양사는 AI 확장을 위한 엔터프라이즈급 사용 사례 개선을 위해 다음과 같은 분야에서 협력할 예정이다.

구글이 창립 기여자로 참여하는 오픈소스 프로젝트 ‘llm-d’ 론칭
구글 클라우드 TPU(Cloud TPU) 및 GPU 기반 가상머신(VM)에서 vLLM 지원 통해 AI 추론 성능 강화
‘젬마 3’ 모델 배포판에서 vLLM에 대한 0일차 지원 제공
구글 클라우드 상에서 레드햇 AI 인퍼런스 서버(Red Hat AI Inference Server) 지원
레드햇이 구글 A2A(Agent2Agent) 프로토콜의 커뮤니티 기여자로서 참여해 에이전틱 AI 활성화

vLLM을 통한 AI 추론 강화

젬마 3를 시작으로, 레드햇은 구글의 개방형 모델 제품군인 젬마의 초기 테스터로 참여해 vLLM에 대한 즉각적인 지원을 제공한다. vLLM은 생성형 AI 애플리케이션의 출력 속도를 높이는 오픈소스 추론 서버다. 레드햇은 vLLM의 선도적 상용 기여자로서 생성형 AI 애플리케이션을 위한 보다 비용 효율적이고 반응성(responsive)이 뛰어난 플랫폼을 제공한다.

또한 구글 AI 포트폴리오를 지원하는 고성능 AI 가속기인 구글 클라우드 TPU를 이제 vLLM에서 완전히 사용할 수 있다. 이 통합을 통해 개발자는 빠르고 정확한 추론에 필수적인 성능과 효율성을 달성하면서 리소스를 최대화할 수 있다.

AI 연구에서 실제 배포로의 전환에 따라, 조직은 다양한 AI 생태계의 복잡성과 분산 컴퓨팅 전략으로 전환해야 할 필요성에 직면해 있다. 이를 해결하기 위해 레드햇은 구글이 창립 기여자로 참여한 llm-d 오픈소스 프로젝트를 출시했다. 이 프로젝트는 vLLM 커뮤니티 성과를 기반으로 생성형 AI 추론의 새로운 시대를 선도하며, 이기종 리소스 전반에서 확장성을 높이고 비용을 최적화하며 워크로드 효율성을 향상하는 동시에 지속적인 혁신을 촉진하는 것을 목표로 한다.

커뮤니티 기반 혁신으로 엔터프라이즈 AI 추진

이제 구글 클라우드에서 레드햇 AI 인퍼런스 서버 사용이 가능하며 최신 업스트림 커뮤니티의 개선 사항을 기업에 제공한다. 레드햇의 엔터프라이즈용 vLLM 배포판인 레드햇 AI 인퍼런스 서버는 기업이 하이브리드 클라우드 환경 전반에서 모델 추론을 최적화할 수 있도록 지원한다. 기업은 견고하고 신뢰할 수 있는 구글 클라우드의 인프라를 활용하여 반응성이 뛰어나고 비용 효율적인 프로덕션 단계의 생성형 AI 모델을 대규모로 배포할 수 있다.

또한 레드햇은 개방형 AI에 대한 공동의 노력의 일환으로 구글의 A2A 프로토콜에도 기여하고 있다. 이는 다양한 플랫폼과 클라우드 환경에서 최종사용자(end-user) 또는 에이전트 간의 원활한 커뮤니케이션을 위한 애플리케이션 레벨 프로토콜이다. 레드햇은 A2A 생태계에 적극적으로 참여함으로써 빠른 혁신을 위한 새로운 길을 열어 사용자가 에이전틱 AI를 통해 AI 워크플로우를 역동적이고 효과적으로 유지할 수 있도록 지원한다.

인용문

브라이언 스티븐스(Brian Stevens), 레드햇 AI 부문 수석 부사장 겸 최고기술책임자

“레드햇과 구글 클라우드는 이번 협력 확대를 통해 양사의 전문성과 플랫폼을 결합하여 획기적인 AI 혁신을 주도하기 위해 최선을 다하고 있다. vLLM과 레드햇의 오픈소스 기술을 구글 클라우드 및 젬마 모델에 제공함으로써 개발자는 최적화된 추론 기능을 기반으로 보다 정확하고 고성능의 AI 솔루션을 구축하는데 필요한 리소스를 확보할 수 있다”고 말했다.

마크 로마이어(Mark Lohmeyer), 구글 클라우드 AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄

“레드햇과의 협력 확대는 개방형 혁신 촉진과 AI 잠재력을 고객에게 제공한다는 양사의 공통 비전의 결과이다. 새로운 AI 추론 시대에 접어들면서 양사는 조직이 AI 추론을 보다 효과적으로 확장하고 비용 효율성과 고성능을 갖춘 에이전틱 AI를 구현할 수 있는 길을 열고 있다”고 말했다.

레드햇-구글클라우드, 엔터프라이즈용 개방형 AI 및 에이전틱 AI 추진 위한 협력 확대