AI2, 새로운 AI 모델 '툴루 3 405B' 공개

미국 시애틀 소재의 비영리 AI 연구소 AI2가 '툴루 3 405B(Tulu 3 405B)'라는 새로운 AI 모델을 자랑스럽게 발표했습니다. 이 모델은 중국의 AI 기업 딥시크(DeepSeek)의 선도적인 AI 시스템 '딥시크 V3'를 능가할 뿐만 아니라, 오픈AI(OpenAI)의 GPT-4o와 비교해도 특정 기준에서 우수한 성능을 보였습니다. 더욱 주목할 점은 '툴루 3 405B'가 오픈 소스로 공개되어 있다는 사실입니다. 따라서 누구나 이 모델의 구성 요소를 활용해 재현할 수 있습니다.

오픈 소스 AI 개발에서의 미국 주도 가능성

AI2의 대변인은 이번 출시가 경쟁력 있는 생성형 AI 모델 개발에서 미국이 선도적인 위치를 차지할 가능성을 보여주는 중요한 사례라고 강조했습니다. '툴루 3 405B'의 등장은 오픈 소스 AI 발전에 있어 특히 획기적인 이정표로 평가되고 있습니다.

4050억 개의 매개변수와 강화 학습 기술

'툴루 3 405B'는 무려 4050억 개의 매개변수로 구성되어 있으며, 이를 훈련시키기 위해 256개의 GPU가 사용되었습니다. 일반적으로, 매개변수의 개수가 많을수록 AI 모델의 퍼포먼스는 향상되는 경향이 있습니다. 이 모델의 경쟁력을 높이는 데 중요한 역할을 한 기술은 '검증 가능한 보상 기반 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)'입니다. RLVR은 수학 문제와 같이 검증 가능한 결과를 가진 작업을 기준으로 학습을 진행하는 방법론입니다.

다양한 AI 벤치마크에서 뛰어난 성과

벤치마크 테스트 결과, '툴루 3 405B'는 딥시크 V3와 GPT-4o를 넘어서는 성과를 보여주었으며, 이를 통해 메타(Meta)의 '라마 3.1 405B' 모델을 특정 작업에서 능가하는 결과도 기록했습니다. 특히 초등학교 수준의 수학 문제를 포함하는 GSM8K 테스트에서 '툴루 3 405B'는 해당 범주에서 최고 성능을 달성하며 주목받았습니다.

의견

이번 '툴루 3 405B'의 등장은 AI 분야에서 중요한 돌파구로 보입니다. 특히, 오픈 소스로 완전히 공개되어 있어 더 많은 연구자와 개발자가 이를 활용할 수 있다는 점은 AI 생태계 전체에 긍정적인 영향을 미칠 것으로 기대됩니다. RLVR 같은 독창적 학습 기법의 도입 역시 AI 기술이 해결할 수 있는 문제의 영역을 확대하는 데 기여할 것입니다. AI 모델 간 경쟁이 치열해지면서, 이러한 발전이 다양한 산업 분야에 어떻게 적용될지 기대됩니다.