UC 버클리 '스카이 컴퓨팅 연구소', 새로운 AI 모델 공개

스카이-T1-32B-프리뷰(Sky-T1-32B-Preview), 최초의 완전 오픈소스 추론 모델로 주목

UC 버클리의 스카이 컴퓨팅 연구소(Sky Computing Lab) 소속 NovaSky에서 개발한 새로운 추론 AI 모델, 스카이-T1-32B-프리뷰가 공개됐다. 이 모델은 데이터셋과 학습 코드를 모두 제공하며, 처음부터 끝까지 재현 가능한 완전한 오픈소스 모델로 평가받고 있다.

기존 고가 모델과의 비용 차이를 극복

$450 미만 비용으로 고급 추론 성능 구현

스카이-T1은 학습 비용이 $450 미만으로 기존 고급 성능의 AI 모델 학습에 수백만 달러가 필요한 점을 감안하면 획기적이다. 이러한 비용 절감의 배경에는 인공(Synthetic) 학습 데이터가 큰 역할을 한 것으로 분석된다.

신뢰성 강화된 추론 모델의 가능성

물리, 과학, 수학 분야 활용성 증대

추론 모델은 자체적으로 사실 검증(fact-checking)을 수행할 수 있어 물리학, 과학, 수학 등의 신뢰성을 요구하는 분야에서 유용성을 높이고 있다. 다만, 추론 모델은 비추론(non-reasoning) 모델에 비해 솔루션을 도출하는 데 시간이 더 걸릴 수 있다.

훈련 방법과 데이터 활용

알리바바 및 OpenAI 데이터로 학습

스카이-T1은 초기에 알리바바의 QwQ-32B-프리뷰 데이터를 사용해 학습을 진행했고, 추가적으로 OpenAI의 GPT-4o-mini 모델을 사용해 데이터 정제를 진행했다. 이 과정은 8개의 Nvidia H100 GPU를 활용해 약 19시간 동안 수행되었다.

다양한 평가 지표에서 뛰어난 성과

수학 및 코딩 능력에서 강력한 경쟁력 입증

스카이-T1은 MATH500이라는 수학 평가 데이터셋에서 OpenAI 초기 모델(o1)을 능가했고, 코딩 평가 세트(LiveCodeBench)에서도 우위를 보였다. 그러나 GPQA-Diamond, 즉 물리학, 생물학, 화학의 심화 질문을 포함한 시험에서는 o1보다 약간 낮은 성과를 기록했다.

앞으로의 목표

효율성과 신뢰성 동시에 강화

NovaSky 팀은 스카이-T1 모델을 기반으로 효율성과 정확성을 동시에 높이는 방향으로 모델을 더 발전시킬 계획임을 밝혔다. 이를 통해 다양한 분야에서 더욱 정교하고 경제적인 AI 활용 가능성이 기대된다.

의견

이 모델은 AI 기술의 대중화를 위한 중요한 진전을 보여주며, 특히 과학적 신뢰성에서 발전 가능성을 엿볼 수 있다. 추후 효율과 처리 속도가 향상된다면, 다양한 연구 및 산업 분야에서 큰 기여를 할 것으로 보인다. Open-source라는 점에서 다른 연구자들에게도 큰 기회가 될 수 있을 것이다.