글로벌 오픈소스 솔루션 선도기업 레드햇은 하이브리드 클라우드 전반에서 AI 솔루션의 개발 및 배포를 가속화할 수 있도록 설계된 제품 및 서비스 포트폴리오인 레드햇 AI(Red Hat AI)의 최신 업데이트를 오늘 발표했다. 레드햇 AI는 모델 학습 및 추론을 위한 엔터프라이즈 AI 플랫폼으로 향상된 효율성과 간소화된 사용자 경험, 하이브리드 클라우드 환경 어디서든 배포할 수 있는 유연성을 제공한다.

기업은 점차 다양해지는 활용 사례를 해결하기 위해 대규모 언어 모델(LLM)의 배포 비용을 절감하는 방법을 모색하고 있다. 하지만 여전히 이 같은 모델을 자사의 고유 데이터(proprietary data)와 통합하는 동시에, 데이터 센터, 퍼블릭 클라우드, 엣지 등 데이터가 존재하는 모든 위치에서 데이터에 접근할 수 있어야 한다는 과제에 직면해 있다.

레드햇 오픈시프트 AI(Red Hat OpenShift AI)와 레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)를 포함하고 있는 레드햇 AI는 사용자가 비즈니스별 데이터에 맞춰 보다 효율적이고 최적화된 모델을 채택하고 하이브리드 클라우드 전반에 배포해 광범위한 가속 컴퓨팅 아키텍처에서 학습 및 추론을 수행할 수 있는 엔터프라이즈 AI 플랫폼을 제공함으로써 이 같은 과제의 해결을 돕는다.

레드햇 오픈시프트 AI

레드햇 오픈시프트 AI는 머신러닝 운영(MLOps)과 LLM 운영(LLMOps) 기능을 포함하며 하이브리드 클라우드 전반에서 예측 및 생성형 AI 수명 주기를 관리할 수 있는 종합 AI 플랫폼을 제공한다. 이 플랫폼은 데이터 과학 및 모델 파이프라인, 모델 모니터링, 거버넌스 등 AI 모델 관리를 간소화하는 도구와 예측 모델을 구축하고 생성형 AI 모델을 조정할 수 있는 기능을 제공한다.

플랫폼의 최신 버전인 레드햇 오픈시프트 AI 2.18은 하이브리드 클라우드에 보다 최적화되고 효율적인 AI 모델을 제공하려는 레드햇 AI 목표를 지원하기 위해 신규 업데이트 및 기능을 추가했다. 주요 기능은 다음과 같다.

분산 제공(Distributed serving): vLLM 추론 서버를 통해 제공되는 분산 서빙을 통해 IT 팀은 여러 그래픽 처리 장치(GPU)에 걸쳐 모델 서빙을 분할할 수 있다. 이를 통해 단일 서버에 대한 부담을 줄이고 학습 및 미세 조정 속도를 높이며, 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있는 동시에 AI 모델에 대한 노드 간 서비스 분산도 지원한다.
엔드투엔드 모델 조정 경험(An end-to-end model tuning experience): 인스트럭트랩(InstructLab)과 레드햇 오픈시프트AI의 데이터 사이언스 파이프라인을 활용해 LLM의 미세 조정을 간소화함으로써 대규모 프로덕션 환경에서 확장성과 효율성, 감사 가능성을 높이는 동시에 레드햇 오픈시프트 AI 대시보드를 통한 관리 편의성도 제공한다.
AI 가드레일(AI Guardrails): AI 가드레일의 기술 검토를 통해 사용자 입력 상호작용과 모델 출력을 모두 모니터링하고 더 잘 보호함으로써 LLM의 정확도, 성능, 지연 시간, 투명성을 개선한다. IT팀이 혐오, 욕설, 개인 식별 정보, 경쟁 정보, 또는 기업 정책에 의해 제한된 기타 데이터 식별하고 완화하는데 도움이 되는 탐지 기능도 제공한다.
모델 평가(Model evaluation): 언어 모델 평가(lm-eval) 구성 요소를 사용해 모델의 전반적 품질 정보를 제공한다. 이를 통해 데이터 과학자는 논리적, 수학적 추론부터 적대적(adversarial) 자연어 처리까지 다양한 작업에서 LLM 성능을 벤치마킹해 보다 효과적이고 반응성이 뛰어난 맞춤형 AI 모델을 개발할 수 있다.

RHEL AI

레드햇 AI 포트폴리오의 일부인 RHEL AI는 엔터프라이즈 애플리케이션 구동을 위한 LLM을 보다 일관되게 개발, 테스트 및 실행할 수 있는 파운데이션 모델 플랫폼이다. 이는 사용자에게 부팅 가능한 레드햇 엔터프라이즈 리눅스 서버 이미지로 패키징됨으로 하이브리드 클라우드에 배포할 수 있는 그래니트(Granite) LLM 및 인스트럭트랩 모델 정렬 툴을 제공한다.

2025년 2월에 출시된 RHEL AI 1.4에는 다음과 같은 신규 개선 사항이 추가됐다 .

그래니트 3.1 8B 모델 지원: 그래니트 모델 제품군에 새롭게 추가된 해당 모델은 추론 및 분류 체계/지식 커스터마이징(개발자 프리뷰)을 위한 다국어 지원과 향상된 요약 결과 및 검색 증강 생성(RAG) 작업을 위한 128k 컨텍스트 윈도우 기능을 추가했다.
기술 및 지식 제공을 위한 신규 GUI: 개발자 프리뷰로 제공되며 데이터 수집 및 청킹(chunking) 간소화와 사용자 고유의 기술과 지식을 AI 모델에 추가할 수 있도록 지원한다.
문서 지식 벤치(Document Knowledge-bench, DK-bench): 관련 비공개 데이터로 미세조정된 AI 모델을 동일한 기본 모델의 성능과 쉽게 비교할 수 있다.

레드햇 AI 인스트럭트랩 온 IBM 클라우드(Red Hat AI InstructLab on IBM Cloud)

기업은 정확성과 데이터 보안을 중시하면서도 비용과 복잡성은 최소화할 수 있는 AI 솔루션을 원한다. IBM 클라우드에 서비스 형태로 배포된 레드햇 AI 인스트럭트랩은 AI 모델의 학습 및 배포를 간소화하고 확장하며 보안 영역을 향상할 수 있도록 설계됐다. 기업은 인스트럭트랩 모델 조정을 간소화함으로써 자사의 고유한 요구사항에 최적화된 효율적인 모델을 구축하면서 데이터 통제권을 유지할 수 있다.

레드햇 고객을 위한 무상 AI 교육

AI는 기업 운영 및 경쟁 방식을 변화시키는 혁신적 기회이다. 이에 따라 레드햇은 고객 대상으로 무상 온라인 AI 파운데이션(AI Foundations) 교육을 제공한다. 해당 교육은 AI가 비즈니스 운영에 유용한 정보를 제공하고 의사결정 간소화와 혁신을 추진하는데 어떻게 도움이 되는지, 레드햇 AI 솔루션에서 이를 활용하는 방법으로 구성됐다.

가용성

레드햇 오픈시프트 AI 2.18과 RHEL AI 1.4는 정식 버전으로 제공되고 있다. 추가 기능, 개선 사항, 버그 수정 및 최신 버전 업그레이드는 공식 자료에서 확인할 수 있다.
레드햇 AI 인스트럭트랩 온 IBM 클라우드는 곧 제공될 예정이다.
레드햇 AI 파운데이션 온라인 교육은 고객에게 제공 중이다.

조 페르난데스(Joe Fernandes), 레드햇 AI 사업부 부사장 겸 총괄

“레드햇은 기업이 더 많은 활용 사례를 프로덕션에 도입하고 대규모로 실행함에 따라 증가하는 생성형 AI 배포 비용을 관리할 수 있는 방법이 필요하다는 것을 알고 있다. 또한 AI 모델을 자사의 고유 데이터에 통합하는 문제를 해결하고 데이터 위치에 무관하게 모델을 배포할 수 있어야 한다. 레드햇 AI는 기업이 자사 데이터를 기반으로 보다 효율적이고 특수 목적 모델을 학습시켜 온프레미스, 클라우드, 엣지 환경 전반에서 유연한 추론을 지원한다”라고 말했다.

레기스 레바레즈(Régis Lesbarreres), 에어버스 헬리콥터(Airbus Helicopters) 디지털 혁신 부문 첨단 분석 및 AI 이노베이션 매니저

“에어버스 헬리콥터는 AI 여정을 시작할 때 기존 아키텍처에 AI를 통합하고, 섀도우 IT를 줄이며, 데이터 과학자를 단일 AI 플랫폼으로 통합하고, 대규모로 비용을 최적화하고자 했다. 레드햇 오픈시프트 AI를 통해 이러한 목표를 달성할 수 있었으며 이는 첫 AI 비즈니스 활용 사례로 이어졌다. 레드햇의 AI 비전은 당사의 비즈니스 목표와 일치하며 유연성, 접근성, 투명성을 유지하며 목표를 달성할 수 있게 한다”라고 말했다.

하비에르 올라이졸라 카신(Javier Olaizola Casin) IBM 컨설팅 하이브리드 클라우드 및 데이터 부문 글로벌 매니징 파트너

“기업은 핵심 비즈니스 프로세스를 혁신하기 위해 AI를 점점 더 많이 활용하고 있다. 이를 위해서는 유연하고 비용 효율적이며 신뢰할 수 있는 엔터프라이즈 데이터로 조정된 AI 솔루션이 필요하다. 레드햇 AI는 기업이 하이브리드 클라우드 전반에서 AI 모델과 애플리케이션을 구축하고 배포하는 데 필요한 일관성과 신뢰성, 속도를 제공한다. 우리는 IBM 컨설팅의 도메인, 기술 및 산업 전문 지식과 레드햇 AI기술을 결합해 고객이 기술 투자에서 ROI를 창출할 수 있도록 지원한다”라고 말했다.

토르스텐 볼크(Torsten Volks), ESG 애플리케이션 현대화 수석 애널리스트

“선도적 조직은 팀과 사업부 전반에서 AI 기반 데이터 중심 의사결정을 활용한다. 따라서 기업 전반에서 AI 기반 기능을 빠르고 비용 효율적으로 개발, 배포, 통합, 확장, 관리할 수 있는 능력이 핵심 성공 요인이 됐다. 이러한 역량을 구축하려면 기존 시스템 및 프로세스와의 원활한 통합, 운영 민첩성, 지속적인 거버넌스를 보장하는 개방적이고 확장 가능한 AI 기반이 필요하다. 직원과 고객이 보다 빠르고 광범위하게 AI의 혜택을 누릴 수 있도록 지원하는 것이 지속적 비즈니스 성공을 위한 요소이다”고 말했다.

아난드 스와미(Anand Swamy) HCL테크(HCLTech) 글로벌 에코시스템 총괄 겸 부사장

“생성형 AI의 잠재력을 최대한 활용하려면 조직은 민첩하고 유연한 인프라를 우선시해야 한다. 엔드투엔드 AI 애플리케이션 플랫폼을 제공하는 RHEL AI와 레드햇 오픈시프트 AI를 아우르는 레드햇 AI의 역량에 HCL테크의 AI 전문성과 HCL테크 AI 파운드리 솔루션의 일부인 인지 인프라(cognitive infrastructure) 서비스를 결합함으로써, 고객은 데이터 보안, AI워크로드 확장, 인프라 비용 최소화와 같은 보편적 문제를 해결하는 데 도움이 되는 AI 혁신을 실현하는 간소화된 경로를 확보할 수 있다”고 말했다.

레드햇, 레드햇 AI 최신 업데이트 발표… 하이브리드 클라우드 전반서 엔터프라이즈 AI 강화