알리바바, 320억 매개변수 AI 모델 'QwQ-32B' 공개

알리바바의 AI 연구팀 'Qwen'이 320억 개의 매개변수를 갖춘 새로운 AI 모델 QwQ-32B를 선보였다. 이 모델은 규모가 훨씬 큰 DeepSeek-R1과 대등한 성능을 보이며, 강화 학습(제어를 통한 최적결과 도출)의 확장 가능성을 시사했다.

강화 학습 적용으로 향상된 추론 능력

QwQ-32B는 단순히 사전 학습(pretraining)과 사후 학습(post-training)을 거친 모델이 아닌, 강화 학습을 적용해 성능을 극대화한 모델이다. 연구진에 따르면, 이 모델은 강화 학습을 통해 논리적 사고, 툴 사용, 환경 피드백에 따른 적응 능력을 향상시켰다.

연구팀은 "강화 학습을 확장하면 전통적인 학습 방법보다 더 높은 성능을 달성할 가능성이 있다."라며, "최근 연구에서도 강화 학습이 모델의 추론 능력을 크게 향상시킨다는 점이 입증됐다"고 강조했다.

대형 AI 모델과 경쟁 가능한 성능

QwQ-32B는 6710억 개의 매개변수(활성 370억 개)를 보유한 DeepSeek-R1과도 유사한 성능을 발휘하며, 대형 모델과 소형 모델 간 성능 격차를 좁힐 수 있음을 입증했다.

모델 평가는 다양한 벤치마크에서 진행되었으며, QwQ-32B는 수학적 추론, 코딩 능력 및 일반 문제 해결 분야에서 탁월한 성과를 보였다.

벤치마크 결과 비교

알리바바 연구팀은 QwQ-32B를 여러 AI 모델과 비교 평가했으며, DeepSeek-R1-Distilled-Qwen-32B, DeepSeek-R1-Distilled-Llama-70B, o1-mini, DeepSeek-R1 등과의 성능 비교에서 인상적인 결과를 얻었다.

[
\begin{array}{|c|c|c|}
\hline
\textbf{벤치마크} & \textbf{QwQ-32B} & \textbf{DeepSeek-R1-6718} \
\hline
AIME24 & 79.5 & 79.8 \
LiveCodeBench & 63.4 & 65.9 \
LiveBench & 73.1 & 71.6 \
IFEval & 83.9 & 83.3 \
BFCL & 66.4 & 62.8 \
\hline
\end{array}
]

일부 테스트에서는 DeepSeek-R1을 능가하는 모습을 보였으며, 전반적으로 소형 모델임에도 불구하고 강력한 성능을 자랑하는 점이 특징이다.

다단계 강화 학습 전략 도입

QwQ-32B의 연구 과정에서 강화 학습이 두 단계로 진행되었다.

첫 번째 단계: 수학 및 코딩 개선을 목표로, 정확도 검증 시스템과 코드 실행 서버를 활용한 RL 훈련 진행.
두 번째 단계: 일반적 역량까지 확장해, 명령 이해, 인간 선호도에 맞춘 응답, 에이전트 성능 등 다양한 측면을 강화.

연구팀은 "소수의 학습 단계만 거쳐도 강화 학습이 일반적인 문제 해결 능력과 인간 지향 조정(instruction following) 등을 개선하는 데 효과적이라는 점을 확인했다"라고 밝혔다.

오픈 액세스 제공 및 향후 계획

QwQ-32B는 Apache 2.0 라이선스 하에 Hugging Face 및 ModelScope에서 무료로 제공되며, 연구 및 개발 목적으로 자유롭게 활용 가능하다.

Qwen 팀은 이번 공개를 강화 학습을 통한 AI 추론 능력 확장의 첫걸음으로 보고 있으며, 향후 AI 에이전트와 RL을 결합하여 보다 복잡한 논리적 사고를 수행하는 모델을 개발할 계획이다.

연구팀은 "더 강력한 기초 모델과 확장된 연산 자원을 결합해 RL을 발전시키면 일반 인공지능(AGI, Artificial General Intelligence)에 한 걸음 더 다가갈 수 있을 것이라고 확신한다"고 밝혔다.

💡 AI 모델 성능 발전의 새로운 패러다임

이번 연구는 강화 학습을 효과적으로 적용하면 모델 크기에 의존하지 않고도 탁월한 성능을 달성할 수 있음을 보여줬다. 기존에는 초대형 모델이 성능 우위를 점하는 경향이 강했으나, QwQ-32B의 사례는 효과적인 학습 방법이 대형 모델에 필적하는 성능을 가능하게 한다는 점을 시사한다.

특히 인공지능 분야에서 AGI(인공지능의 궁극적 목표)에 한 걸음 더 다가갈 가능성이 열린 것은 주목할 만한 부분이다. 앞으로 강화 학습과 모델 구조 개선이 결합된다면, AI가 보다 정교한 사고력을 갖추는 시대가 머지않았다고 볼 수 있다.