인공지능 요약 기술, 신뢰성 논란 직면

구글과 그 경쟁사들은 인공지능(AI)으로 생성된 요약 기능을 점차 도입하고 있지만, 이러한 요약 결과가 완벽히 신뢰할 수 있는 것은 아니며, 조작될 가능성이 있다는 연구 결과가 나왔다.

시장에서 논쟁 중인 아스파탐의 논란

아스파탐이라는 인공 감미료가 암을 유발할 수 있다는 논란은 수십 년 동안 지속되었다. 1974년 미국의 승인을 받았지만, 여러 연구들 사이의 의견 차이로 인해 논란이 계속되어 왔다. 세계보건기구(WHO)는 아스파탐이 "인간에게 발암 가능성이 있다"고 평가했으나, 공중 보건 규제 기관들은 일반적으로 사용되는 소량에서는 안전하다고 본다.

검색 대신 인공지능 요약 사용

구글과 마이크로소프트는 검색 엔진을 대체하는 AI 요약 기능을 이미 도입했지만, 이러한 AI 기능들이 정보를 선택하는 방식에 대한 우려가 커지고 있다. UC 버클리의 연구자들은 현재 AI 챗봇들이 피상적인 관련성에 의존하여 정보를 선택하는 경향이 있음을 발견했다. 과학적 참고 문헌이나 편견 없는 객관적 언어의 포함 여부와 같은 신뢰성 판단 요소를 간과하기 쉽다는 점을 지적했다.

복잡한 질문 해결에 대한 고민

간단한 질문에는 충분한 답을 제공할 수 있지만, 아스파탐과 같은 복잡한 논쟁의 경우에는 챗봇의 역할이 명확하지 않다. 특정 정보가 인공지능을 통해 우선적으로 보여지도록 조작된 경우, 수백만의 인터넷 사용자들에게 오도된 정보를 제공할 위험이 있다.

챗봇 조작을 위한 전략적 텍스트 시퀀스

하버드 대학 연구자들은 전략적인 텍스트 시퀀스를 통해 챗봇의 출력을 조작할 수 있는 방법을 발견했다. 이러한 방식은 알고리즘을 통해 챗봇이 특정 출력을 생성하도록 유도할 수 있으며, 정보 선택의 공정성을 저해할 수 있는 위험을 가진다. 이러한 현상을 해결하기 위하여 AI 알고리즘이 더 전략적인 공격에 대비할 필요가 있다는 주장이 제기되고 있다.

출처 : The chatbot optimisation game: can we trust AI web searches?