Red Hat, Neural Magic 인수로 AI 모델 최적화

Red Hat은 IBM의 소유 하에 있는 오픈 소스 소프트웨어 회사로서 Neural Magic이라는 스타트업을 인수했습니다. Neural Magic은 AI 모델을 일반 프로세서와 GPU에서 더 빠르게 실행할 수 있도록 최적화하는 기술을 개발했습니다. 거래 조건은 공개되지 않았습니다. Neural Magic은 MIT 연구 과학자 Alex Matveev와 교수 Nir Shavit에 의해 2018년에 매사추세츠주 서머빌에 설립되었습니다. 이 회사의 소프트웨어는 일반적으로 더 많은 메모리를 가진 상용 프로세서에서 AI 작업을 처리하여 성능을 향상시키는 것을 목표로 하고 있습니다.

AI 최적화 경쟁 업체와 차별화

AMD 등 대형 기술 기업과 NeuReality, Deci, CoCoPie, OctoML, DeepCube 같은 여러 신생 업체들도 AI 최적화 소프트웨어를 제공하고 있습니다. 그러나 Neural Magic은 무료 플랫폼과 오픈 소스 도구를 제공하는 몇 안 되는 기업 중 하나로 주목받고 있습니다. Neural Magic은 Andreessen Horowitz, New Enterprise Associations, Amdocs 등을 포함한 여러 벤처 투자자로부터 총 5천만 달러의 자금을 모았습니다.

vLLM 프로젝트와 Red Hat의 시너지

Red Hat의 CEO Matt Hicks에 따르면 Neural Magic의 vLLM 프로젝트가 특히 Red Hat의 관심을 끌었습니다. vLLM은 모델 서비스를 위한 오픈 소스 프로젝트로, Red Hat은 이를 기반으로 클라우드 환경에서 모델을 최적화하고 배포할 수 있는 "엔터프라이즈급" 스택을 제공받게 됩니다. 이는 인프라와 보안을 완전하게 제어할 수 있게 해줍니다.

AI 작업 최적화를 위한 Red Hat의 전략

Hicks는 고객 데이터가 있는 하이브리드 클라우드에서 AI 작업이 실행되어야 한다면서, 이를 위해 유연하고 표준화된 오픈 플랫폼과 도구가 필수적이라고 강조했습니다. 이러한 기술은 조직이 고유의 운영 및 데이터 요구에 가장 적합한 환경, 자원 및 아키텍처를 선택할 수 있게 합니다.

Red Hat은 KubeCon에서 Neural Magic 인수를 발표함과 동시에 여러 AI 관련 발표를 했습니다. 이 행사에서 Intel, Bloomberg 및 IBM과 협력하여 개발한 데이터 센터 에너지 효율성을 최적화하는 도구인 Climatik을 공개하였으며, OpenShift AI와 Device Edge 개발 플랫폼을 새롭게 선보였습니다. 이러한 노력은 AI 구축과 배포에 필요한 전력 수요와 비용이 증가함에 따라 관련 기술을 최적화하기 위한 전략의 일환입니다.

출처 : Red Hat is acquiring AI optimization startup Neural Magic