AI 규제를 앞서가는 유럽연합의 움직임

유럽연합은 올해 초 AI 애플리케이션을 규제하기 위한 리스크 기반의 프레임워크를 통과시키며 AI 규제를 선도하고 있습니다. 이 법은 8월에 발효되었으며, 전 유럽의 AI 거버넌스 체계에 대한 세부 사항은 여전히 진행 중입니다. 법의 단계적 조항들은 AI 애플리케이션과 모델 제조사들에 적용되기 시작하며, 법적 의무 이행에 대한 평가가 다음 과제가 되고 있습니다.

LatticeFlow AI의 기술적 해석과 점검 프레임워크

스위스의 공립 연구 대학교인 ETH Zurich에서 출범한 LatticeFlow AI는 AI 리스크 관리 및 규정을 전문적으로 다루고 있습니다. 이들은 유럽연합 AI 법에 대한 최초의 기술적 해석을 발표하며, 규제 요구 사항을 기술적 요구 사항으로 변환하는 작업을 수행했습니다. 또한, 이를 기반으로 오픈 소스 LLM 검증 프레임워크인 'Compl-AI'를 개발했습니다. 이 프레임워크는 AI 모델 제작자가 자신의 기술이 유럽연합 AI 법의 요구 사항에 어떻게 부합하는지 평가할 수 있도록 돕습니다.

Compl-AI와 AI 모델 평가

LatticeFlow는 여러 주류 대형 언어 모델(LLM)을 평가하며, 다양한 버전의 Meta의 Llama 모델과 OpenAI의 GPT를 포함해 유럽연합 AI 법 준수 리더보드를 공개했습니다. 이 리더보드는 Anthropic, Google, OpenAI, Meta, Mistral 등의 모델이 규제 요구 사항을 얼마나 준수하는지를 0에서 1까지의 척도로 평가합니다.

다양한 벤치마크를 활용한 평가 기준

LatticeFlow의 프레임워크는 “무해한 텍스트의 독성 완성,” “편견 있는 답변,” “해로운 지침의 따름,” “진실성,” “상식적 추론” 등 27개의 벤치마크를 통해 LLM의 응답을 평가합니다. 모델은 각 기준에 따라 점수를 받거나, 데이터가 없는 경우에는 N/A로 평가됩니다.

출처 : LatticeFlow’s LLM framework takes a first stab at benchmarking Big AI’s compliance with EU AI Act