AI 봇의 무단 데이터 수집, 중소기업 비즈니스 차질 초래

미국 전자상거래 기업 Triplegangers가 AI 봇의 활동으로 인해 사업 운영에 큰 타격을 입었다.

OpenAI의 GPTBot, 트래픽 폭증 유발

지난 토요일, Triplegangers의 CEO인 올렉산드르 톰축은 회사의 전자상거래 사이트가 갑작스럽게 중단되는 상황을 겪었다고 밝혔다. 그는 이 현상의 원인이 OpenAI의 GPTBot이라는 AI 봇의 대규모 데이터 수집 시도라는 점을 발견했다.

Triplegangers는 65,000개 이상의 제품을 보유하고 있으며, 이들 하나하나가 다수의 사진이 포함된 개별 페이지로 구성되어 있다. 이 AI 봇은 수 만 건의 서버 요청을 보내며 방대한 콘텐츠를 다운로드하려고 시도해 웹사이트의 리소스를 과도하게 소모시켰다.

600개 IP 주소로 이어진 대규모 공격

톰축은 OpenAI가 약 600개의 IP 주소를 사용하여 데이터 수집을 시도했다고 설명하며, 이는 단순한 요청이 아니라 상당히 조직적인 작업이었다고 추측했다. 이러한 봇의 활동으로 Triplegangers의 사이트는 미국 영업 시간 내내 다운됐으며, AWS(아마존 웹 서비스) 비용 또한 급격히 증가할 것으로 예상했다.

'robots.txt' 설정의 중요성

톰축은 이러한 문제를 방지하기 위해 'robots.txt' 파일을 올바르게 설정하는 것이 중요하다고 강조했다. 이 파일은 GPTBot을 포함한 AI 봇이 사이트 데이터를 긁지 못하도록 제한해준다. 그러나 많은 사이트가 이를 올바르게 설정하지 않아 AI 봇의 무분별한 데이터 수집에 취약한 상태라고 지적했다.

OpenAI와의 소통 난항과 데이터 유출 우려

톰축은 사건 발생 후 수일이 지나서야 'robots.txt' 파일과 클라우드플레어 서비스를 설정하여 크롤러를 차단하는 조치를 취할 수 있었다고 전했다. 하지만 어떤 데이터가 이미 OpenAI에 의해 수집되었는지 파악하지 못하고 있으며, OpenAI와의 소통에서도 어려움을 겪고 있다.

저작권 및 윤리적 문제의 대두

그는 또한 많은 웹사이트 운영자들이 AI 봇의 활동 여부를 인지하지 못하고 있어 콘텐츠 손실의 위험에 노출되어 있다고 강조했다.

무단 트래픽 급증과 법적 규제의 필요성

연구에 따르면 AI 크롤러로 인한 비정상적인 트래픽의 증가가 확인되며, 이는 데이터 스크래핑 문제를 더욱 심화시키고 있는 상황이다. 톰축은 기업이 서버 로그를 적극적으로 모니터링해 유사한 활동을 탐지해야 하며, 온라인 콘텐츠를 보호하기 위한 방안이 마련되어야 한다고 주장했다.

의견

AI 기술이 발전하면서 효율적인 자동화 도구를 제공하는 동시에, 데이터의 무단 수집으로 인한 법적, 윤리적 문제가 커지고 있다. 본 사건은 AI 기술이 콘텐츠 저작권 및 데이터 사용 문제를 어떻게 재정의해야 할지에 대해 중요한 질문을 던지고 있다. 기업들은 기술적인 방어 수단을 강화하는 한편, 관련 법적 규제와 윤리적 합의가 필요하다는 목소리를 높여야 한다.