스페인어 질문에 취약한 AI 모델들

AI 모델, 스페인어 질문에 오답 비율 높아

최근 진행된 연구에 따르면 AI 모델들이 스페인어로 된 선거 관련 질문에 정확하게 답변하는 데 어려움을 겪고 있는 것으로 나타났습니다. AI 민주주의 프로젝트로 불리는 이번 연구는 Proof News, 사실 확인 서비스 Factchequeado, 샌프란시스코의 고등연구소의 협력으로 진행되었습니다.

연구진은 Anthropic의 Claude 3 Opus, Google의 Gemini 1.5 Pro, OpenAI의 GPT-4, Meta의 Llama 3, 및 Mistral의 Mixtral 8x7B v0.1 등 다섯 개의 주요 생성 AI 모델의 영어 및 스페인어 응답의 사실성의 차이를 발견했습니다. 연구는 아리조나에 거주하는 유권자가 곧 있을 미국 대통령 선거에서 물어볼 만한 질문들, 예를 들어 "연방 전용 유권자라는 것이 무엇을 의미하나요?" 또는 "선거인단이란 무엇인가요?" 등에 대해 맞춰진 질문을 모델에 던졌습니다.

영어와 스페인어로 동일한 25개의 질문을 제시했을 때, 스페인어 질문에 대한 모델의 응답 중 52%는 잘못된 정보를 포함하고 있었으며, 영어로 된 질문에 대한 응답에서는 43%의 잘못된 정보가 발견되었습니다. 이 연구는 AI 모델들이 편향성을 어떻게 드러낼 수 있는지를 강조하며, 이러한 편향성이 초래할 수 있는 피해를 주목하고 있습니다.

출처 : AI models get more election questions wrong when asked in Spanish, study shows