AI 사용이 초래할 수 있는 잠재적 위험

ServiceTitan은 클라우드 서비스 스타트업으로, 최근 공개한 IPO 문서에서 인공지능(AI) 사용에 관한 새로운 위험 요소를 제시했다. 일반적으로 IPO S-1 서류에는 금융 성과나 전쟁, 자연재해 등 주식 구매에 관한 다양한 위험 요소가 포함되지만, ServiceTitan은 AI, 특히 생성적 AI 사용에 따른 위험을 구체적으로 설명했다.

생성적 AI의 부정적 영향 가능성

ServiceTitan의 위험 요소 설명에는 약 1,150자에 달하는 AI 사용에 따른 부정적 영향 가능성이 명시돼 있다. 구체적으로, LLM(대형 언어 모델)의 환각적 행동이 “부정확한” 정보를 생산할 수 있고, “차별적” 행동을 할 수 있다는 점이 우려사항으로 제기됐다. 또한, 이러한 LLM이 타인의 저작권이나 지적 재산권을 침해할 가능성도 있고 데이터를 해킹에 노출시킬 위험도 존재한다. 게다가 필요한 데이터를 수집하지 못할 경우, AI 제품을 지속적으로 제공하거나 새로운 제품을 개발하지 못할 수도 있다는 점도 언급됐다.

윤리적 및 규제적 고려사항

AI 사용으로 인해 사회적, 윤리적 문제에 직면할 가능성도 염려되고 있다. 미래의 규제가 수익에 영향을 미칠 수 있다는 점도 회사는 경계하고 있다. 또한, 서비스 제공을 위해 필요한 AI 전문가를 채용하기 어려울 수 있고, 심지어 채용하더라도 고비용이 들 수 있다. ServiceTitan의 AI 제품은 자체적으로 통제할 수 없는 제3자의 서비스에 의존하고 있으며, 특히 Microsoft 및 OpenAI를 지목했다. 이러한 서비스에 문제가 생기거나 사용할 수 없게 될 경우 위험이 발생할 수 있다는 점도 언급됐다.

LLM과 소형 비즈니스

ServiceTitan이 운영하는 분야는 GenAI, 특히 LLM 기반의 AI 에이전트가 주류를 차지할 것으로 예상되는 분야다. ServiceTitan은 주로 건설 계약자, HVAC 전문가, 조경업자 등 소형 비즈니스에게 맞춰진 소프트웨어를 제공하며, 이 소프트웨어는 마케팅, 고객 관계 관리(CRM), 고객 지원 및 회계 등의 기능을 갖추고 있다.

Titan Intelligence와 AI 에이전트

ServiceTitan은 최소한 2023년부터 Titan Intelligence라는 AI 기반 서비스를 제공해왔으며, 10월에는 판매, 고객 서비스 및 콜센터를 위한 AI 에이전트 제품도 출시했다. LLM은 원래 단어, 이미지 및 데이터를 연구하여 자체적인 버전을 생성하도록 설계됐으나, 이 과정에서 신뢰성 문제가 발생할 가능성이 있다. 회사들이 점점 더 신뢰성 있는 AI 에이전트를 개발하면서 시간이 지남에 따라 이러한 문제는 해결될 수 있다. 그러나 현 단계에서 AI 채택은 문제를 해결하는 만큼이나 많은 문제를 야기할 수도 있다는 점이 문서에서 솔직하게 드러난다.

출처 : ServiceTitan names LLMs from Microsoft, OpenAI as risk factors