오픈소스 Tülu 3 AI로 포스트 트레이닝 가능

오픈 소스 AI와 대기업 사이의 격차 해소

오픈 소스 AI 커뮤니티에서는 대기업과의 격차가 단순히 컴퓨팅 파워에 그치지 않는다고 말한다. Ai2는 이를 해결하기 위해 전면적으로 오픈 소스 데이터베이스와 모델을 시작으로, 이제는 '원시' 대형 언어 모델(LLM)을 유용하게 변형할 수 있는 오픈 소스 기반의 포스트 트레이닝 과정을 도입하고 있다.

LLM, 프리트레이닝만으로는 불충분

많은 사람들이 생각하는 것과는 달리, 기본 언어 모델은 훈련 과정이 끝났다고 해서 바로 사용 가능한 것이 아니다. 프리트레이닝 과정이 필수적이긴 하지만, 그것만으로는 충분하지 않다. 점점 더 많은 연구가 포스트 트레이닝 과정에서 진정한 가치를 창출할 수 있음을 보여주고 있기 때문이다.

Ai2의 포스트 트레이닝 혁신

대부분의 기업들은 포스트 트레이닝 과정을 비공개로 유지하지만, Ai2는 데이터 수집과 정리, 클리닝, 그리고 정확한 훈련 방법까지 모든 것을 공개하는 데 전념하고 있다. 이를 통해 LLM을 더 개방하고 활용할 수 있게 만든다.

Tülu 3로 AI 생태계 민주화

Ai2의 팀은 이를 위해 Tülu 3를 발전시켰다. 이는 이전의 더 기초적인 포스트 트레이닝 프로세스보다 큰 개선을 보여준다. 다양한 주제 선택부터 데이터 큐레이션, 강화 학습, 세부 조정, 선호도 조정까지 다양한 과정을 거치며, 필요에 맞게 모델을 조정한다.

AI 모델 개인화의 새로운 가능성

대규모 기업의 자원 없이도 사용자에게 적합한 AI 모델을 만들 수 있는 기회를 제공하는 Tülu 3은 다양한 분야에서 더 나은 대안을 제시한다. 향후 OLMo 기반, Tülu 3로 훈련된 모델을 오픈 소스로 발표할 계획이니 많은 기대를 모으고 있다.

출처 : Ai2’s open source Tülu 3 lets anyone play the AI post-training game