AI 평가 기준으로 게임 활용 주목

현대 인공지능(AI) 기술은 다양하고 복잡한 문제를 해결하는 능력을 테스트하기 위해 여러 가지 벤치마크를 사용한다. 그러나 많은 기존 벤치마크는 단순 암기력에 의존하거나 대다수 사용자에게 관련성이 떨어지는 주제를 다뤄, 실제 AI의 문제 해결 능력을 평가하기에는 부족하다. 이러한 한계를 극복하기 위한 방법으로 AI 개발자들은 게임을 활용하고 있다.

AI 모델의 문제 해결 능력 검증

프리랜서 AI 개발자인 폴 캘크래프트는 두 개의 AI 모델이 서로 피셔너리를 연상시키는 게임을 하는 애플리케이션을 개발했다. 한 모델이 그림을 그리고, 다른 모델이 그 그림이 무엇을 의미하는지 추측하는 방식이다. 캘크래프트는 "이 게임이 모델의 잠재력을 평가하는 흥미로운 방법이 될 수 있다고 생각했다"고 밝혔다.

이와 비슷한 예로, 16세의 아도니스 싱은 마인크래프트 게임을 통해 AI가 구조물을 설계하고 자원을 활용하는 능력을 평가하는 도구를 개발했다. 싱은 마인크래프트가 AI 모델에 더 큰 자유도를 제공하고, 제한적이지 않기 때문에 유용한 벤치마크가 될 수 있다고 믿는다.

게임을 넘어서 AI를 평가하다

게임을 AI의 성능 평가 수단으로 활용하는 것은 새로운 개념은 아니다. 1949년 수학자 클로드 섀넌은 체스와 같은 게임이 '지능적' 소프트웨어에 적절한 도전 과제가 될 수 있다고 주장하였다. 최근 알파벳의 딥마인드는 퐁과 브레이크아웃 등의 게임을 학습하는 AI 시스템을 개발했고, 오픈AI는 도타 2 경기에서 경쟁할 수 있는 AI를 훈련했다.

캘크래프트는 피셔너리 같은 게임이 AI 모델의 논리적 사고 능력을 테스트할 수 있다고 한다. 그는 게임이 그림을 그리고 추측하는 과정을 통해 AI가 구상의 연관성을 이해하는지 측정할 수 있음을 강조했다. 이는 생성적 적대 네트워크(GAN)의 구성 요소와도 유사점을 가진다.

마인크래프트와 AI의 예상치 못한 연결

하지만 AI 연구자인 마이크 쿡은 마인크래프트가 다른 비디오 게임과 특별히 다르지 않다고 주장한다. 그는 "마인크래프트의 인기는 실질적으로 일반적인 비디오 게임과 비슷하며, 리워드 시스템이나 절차적인 세계의 도전을 제공한다"며 "실제 세상과의 유사성은 그리 크지 않다"고 설명했다.

그럼에도 불구하고 AI가 마인크래프트 성 안을 짓는 과정을 보는 것은 흥미로울 수 있다. 이러한 시도를 통해 AI의 문제 해결 능력과 학습 범위를 확장해 나가는 데 기여할 수 있을 것으로 보인다.

출처 : Can Pictionary and Minecraft test AI models’ ingenuity?