인공지능 평가를 위한 새로운 비영리 단체 설립
프랑수아 숄레, ARC 상금 재단 공동 설립
프랑수아 숄레(François Chollet)가 '인간 수준'의 인공지능을 평가하기 위한 새로운 기준을 개발하고자 비영리 단체인 ARC 상금 재단(ARC Prize Foundation)을 공동 설립한다. 이 재단은 세일즈포스(Salesforce)에서 엔지니어링 디렉터로 활동했던 그렉 캄래트(Greg Kamradt)가 이끌 예정이다. 재단은 1월 말부터 본격적인 자금 모집에 나설 계획이다.
AGI를 향한 도전: ARC-AGI 평가 기준 개발
AI가 새로운 기술 습득 능력을 갖추는지 시험
숄레는 이 재단이 '범용 인공지능'(Artificial General Intelligence, AGI)의 개발을 이끄는 가이드 역할을 하길 기대하고 있다. AGI는 인간이 수행하는 다양한 종류의 작업들을 대체할 수 있는 AI를 뜻한다. ARC 상금 재단은 숄레가 설계한 인공지능 평가 기준인 ARC-AGI를 발전시킬 계획이다.
ARC-AGI는 퍼즐 형식의 문제로 구성되어 있으며, AI는 다양한 색깔의 사각형을 사용하여 정답 격자를 생성해야 한다. 이는 AI가 훈련 데이터 외의 문제에 적응하고 새로운 기술을 습득할 수 있는지를 시험하기 위한 방식이다. 숄레는 이 평가 방식을 2019년에 소개했으며, 현재까지 많은 AI 모델이 구조화된 작업에서는 뛰어난 성과를 보였으나 ARC-AGI와 같은 시험에서는 여전히 어려움을 겪고 있다.
새로운 기준의 필요성: 인간 지능과의 격차 줄이기
슈퍼휴먼 초점에서 인간적 역량으로 전환
숄레는 기존 AI 벤치마크들이 주로 인간을 뛰어넘는 초인적인 문제 해결에 초점을 맞췄다고 언급했다. ARC-AGI는 인간의 능력에 더 가까운 기준으로 초점을 전환해 이 간극을 줄이는 데 목적이 있다.
지난 6월, 숄레와 Zapier의 공동 창업자인 마이크 크누프(Mike Knoop)는 ARC-AGI 기준을 능가할 수 있는 AI를 개발하기 위한 공모전을 시작했다. 이 과정에서 OpenAI의 미공개 버전 모델인 'o3'이 일정 기준을 충족했으나 대규모의 컴퓨팅 자원이 필요했다는 점이 드러났다.
다음 세대의 도전: 새로운 기준과 발전 방향
업계와 학계의 협업으로 AGI 기준 확립
숄레는 ARC-AGI의 한계도 인정했다. 몇몇 AI 모델은 '브루트 포스(brute force)' 방식으로 높은 점수를 얻는 데 성공했으나, 이는 실제 인간 지능과의 근본적인 차이를 보여주는 사례로 지적된다. 따라서 숄레는 차세대 ARC-AGI가 더 큰 도전 과제를 제시할 것이라고 밝혔다. 이에 따라 크누프는 두 번째 세대 벤치마크 출범과 함께 세 번째 버전 개발 계획도 발표할 예정이다.
ARC 상금 재단은 더불어 AGI 발전을 위한 학문적 네트워크 구축과 함께, AGI 평가 기준 개발을 위한 산업 내 협업 파트너십도 추진할 계획이다.
의견: 인간 지능과 AI 간 신뢰 구축의 시작
이 프로젝트는 인간 수준의 지능을 가진 AI 개발과 이를 효과적으로 측정하는 기준 마련이라는 점에서 중요한 의의를 지닌다. AGI가 단지 기술적 혁신에 국한되지 않고, 인간 삶에 실질적인 도움을 줄 수 있는 방향으로 발전하려면 현실적이고 신뢰할 수 있는 평가 체계가 반드시 필요하다. ARC-AGI가 이와 같은 길잡이가 될 수 있을 것으로 보이며, 후속 발전도 기대된다.