단 50달러로 AI 논리 모델 개발 성공

스탠퍼드대학교와 워싱턴대학교 연구진이 50달러 미만의 클라우드 컴퓨팅 크레딧을 이용해 AI 논리 모델 's1'을 개발했다. s1은 OpenAI의 'o1' 및 DeepSeek의 'R1'과 같은 고급 논리 모델과 유사한 성능을 보이며, 수학 및 코딩 테스트에서도 좋은 결과를 기록했다. 이 모델은 학습 데이터 및 코드와 함께 깃허브(GitHub)를 통해 공개됐다.

기존 AI 모델 활용해 저렴하게 개발

연구진은 기존에 제공되는 AI 모델을 활용한 뒤, '지식 증류(distillation)'라는 기법을 사용해 논리 능력을 강화했다. 구체적으로, 구글의 'Gemini 2.0 Flash Thinking Experimental' 모델을 기반으로 해당 기술을 적용했다. 지식 증류는 캘리포니아대학교 버클리캠퍼스 연구진이 과거 약 450달러의 비용으로 AI 논리 모델을 제작할 때도 사용한 방식이다.

소규모 데이터로도 AI 논리 성능 개선 가능

이번 연구에서는 '테스트 시 확장성(test-time scaling)'을 통해 모델이 정답을 내리기 전 더 깊이 사고할 수 있도록 했다. 또한, 대규모 강화 학습(reinforcement learning)보다 저렴한 지도 학습 기반 미세 조정(SFT, supervised fine-tuning)을 적용해 우수한 논리 모델을 생성할 수 있음을 입증했다.

연구진은 중국 AI 연구소 Qwen에서 제공하는 소형 AI 모델을 기반으로 s1을 개발했다. 약 1,000개의 고품질 질문 및 각 질문에 대한 답변과 논리적 해석을 포함한 데이터셋을 만들어 학습에 활용했다. 이 과정에서 16개의 Nvidia H100 GPU를 사용했고, 전체 학습 시간은 30분 이하로 소요됐다. 필요한 컴퓨팅 자원은 약 20달러에 대여할 수 있는 수준이었다.

대형 기술 기업들도 AI 인프라 투자 확대 전망

흥미로운 점은 연구진이 s1에 ‘신중하게 생각하도록(wait)’ 지시했을 때 답변의 정확도가 향상되었다는 사실이다. 오는 2025년에는 메타(Meta), 구글(Google), 마이크로소프트(Microsoft) 등 대형 기술 기업들이 AI 인프라에 대규모 투자를 진행할 것으로 예상된다.

다만, 연구진은 지식 증류 기술이 기존 AI 모델을 재현하는 데 유용하지만, 완전히 새로운 고성능 AI 모델을 생성하는 데는 한계가 있음을 지적했다.

의견

이번 연구는 AI 모델의 성능을 저비용으로 크게 향상시킬 수 있음을 보여준 좋은 사례다. 특히, 기존의 대규모 강화 학습 방식이 아닌 지도 학습과 지식 증류만으로도 준수한 성능을 낼 수 있다는 점은, 앞으로의 AI 연구 방향에 중요한 시사점을 제공한다. 또한 AI 모델이 사고하는 시간을 늘리면서 정확도를 높일 수 있다는 것도 인상적인 결과다. 향후 대형 기술 기업들이 AI 인프라 확대에 나설 것으로 예상되는 만큼, 이러한 저비용 AI 학습 기술이 더욱 중요해질 것으로 보인다.