새로운 언어 모델 Ai2 출시 메타와 경쟁

새로운 AI 모델 시리즈 OLMo 2 공개

최근 Ai2가 새로운 AI 모델 시리즈인 OLMo 2를 공개했다. 이는 완전한 오픈 소스 AI 모델로, 모든 개발 도구와 데이터가 공개적으로 이용 가능하다.

오픈 소스 AI 모델의 정의

지난 10월, 오픈 소스 이니셔티브가 AI에 대한 오픈 소스 정의를 확정했다. OLMo 2는 이 기준을 충족하며, 이는 이전 OLMo 모델들에서도 마찬가지였다.

OLMo 2의 특징과 개발 과정

OLMo 2는 개방적이고 접근 가능한 학습 데이터와 오픈 소스 코드를 사용하여 개발되었다. 중간 체크포인트와 투명한 평가를 통해 재현 가능한 학습 방식을 채택하였고, 이 모든 과정이 공개적으로 공유되고 있다.

OLMo 2의 구성

OLMo 2는 두 개의 모델로 구성되어 있다: 70억 개의 파라미터를 가진 OLMo 7B와 130억 개의 파라미터를 가진 OLMo 13B. 파라미터 수가 많을수록 더 나은 성능을 보이는 경향이 있다.

다양한 텍스트 기반 작업 수행

OLMo 2의 두 모델은 질문에 답변하거나 문서 요약, 코드 작성 등 다양한 텍스트 기반 작업을 수행할 수 있다.

고품질의 학습 데이터 세트

Ai2는 5조 개의 토큰으로 구성된 데이터 세트를 사용해 모델을 학습시켰다. 여기에는 웹사이트, 학술 논문, Q&A 게시판, 수학 교재 등이 포함되어 있으며, 모두 양질의 데이터를 필터링하여 구성되었다.

OLMo 2의 성능

OLMo 2는 성능 면에서 매우 경쟁력이 있으며, OLMo 2 7B 모델은 LLama 3.1 8B를 능가한다고 Ai2는 주장했다.

OLMo 2의 라이선스와 상업적 사용

OLMo 2 모델 및 그 모든 구성 요소는 Apache 2.0 라이선스 하에 있으며, 상업적으로도 사용할 수 있다.

오픈 모델의 안전성 논란

최근 오픈 모델의 안전성에 대한 논란이 있었다. 특히 일부 Llama 모델이 중국 연구자들에 의해 국방 도구 개발에 활용된 것으로 알려지면서 관심이 모아졌다.

Ai2는 기술 발전과 윤리적 모델 개발의 중요성을 강조하며, 이러한 접근법이 기술 발전에 기여한다고 전했다. Dirk Groeneveld 엔지니어는 "불균형한 권력 집중을 줄이고 보다 공평한 접근을 촉진할 수 있다"고 주장했다.

출처 : Ai2 releases new language models competitive with Meta’s Llama