AI 파일럿의 70~85%가 실패한다. 범용 챗봇이 해결 못하는 격차를 RAG 기반 엔터프라이즈 LLM이 어떻게 메우는지 분석한다.
모든 대형 리테일러는 이제 사업 어딘가에서 생성형 AI를 운영하고 있습니다. 그러나 이에 대한 전략을 갖춘 기업은 많지 않습니다. 바로 이 차이가 AI를 지속 가능한 경쟁 우위로 전환하는 기업과, 계속 늘어나는 실패한 파일럿 프로젝트에 예산만 쏟아붓는 기업을 가르는 기준이 되고 있습니다. 엔터프라이즈 리테일러는 이 문제의 특수한 버전에 직면해 있습니다: 가격 정책, 재고 현황, 로열티 이력, 공급업체 조건과 같은 가장 중요한 데이터는, 애초에 범용 공유 AI 모델이 안전하고 정확하게 처리하도록 설계되지 않은 데이터이기 때문입니다. 이 글에서는 AI 투자가 실제로 성과를 내는 지점은 어디인지, 리테일 환경에서 범용 도구가 빠르게 한계에 부딪히는 이유는 무엇인지, 그리고 실험 단계에 머무르는 기업과 달리 엔터프라이즈 LLM에서 실질적인 가치를 이끌어내는 기업은 무엇이 다른지를 최신 연구를 바탕으로 살펴봅니다.
대기업의 AI 도입은 초기 실험 단계를 넘어 기본 인프라로 자리 잡았습니다. 그러나 연구 결과는 한 가지 지점에서 일관됩니다: 엔터프라이즈 AI의 도입은 실질적 가치 창출과 분리되어 있다는 것입니다.
리테일 부문으로 좁혀 보면, Deloitte의 Global Retail Industry Outlook에 따르면 임원의 67%가 1년 내 AI 기반 개인화 역량을 갖출 것으로 기대하고 있습니다 - 이는 Deloitte의 리테일·소비재 부문 자체 연구가 여전히 생성형 AI 성숙도의 초기 단계로 평가하는 업종치고는 상당히 야심 찬 목표입니다. 이러한 기대와 준비 수준 사이의 격차야말로, 범용 챗봇과 전용으로 설계된 엔터프라이즈 시스템 중 무엇을 선택해야 하는지가 가장 중요해지는 지점입니다.
기성 AI 챗봇 도입 사례는 데모 단계에서는 우수한 성능을 보이지만, 프로덕션 단계에서는 부진한 경우가 많습니다. 이는 프롬프트를 더 정교하게 다듬는다고 해결되는 문제가 아니라 구조적인 문제입니다.
실시간 리테일 데이터에 근거하지 않습니다. 범용 모델은 리테일러의 실제 재고 피드, 현재 진행 중인 프로모션, SKU 단위 가격 정보와 지속적으로 연결되어 있지 않습니다. 정적인 학습 데이터나 얕은 수준의 연동에 의존해 답변하기 때문에, 수많은 리테일 챗봇 파일럿이 재고나 가격에 대해 확신에 찬 오답을 내놓는 것입니다.
통제되지 않는 데이터 노출을 초래합니다. 독점 판매 데이터, 공급업체 계약, 고객 이력을 공유형 퍼블릭 모델에 입력하는 행위는 대부분의 리테일 법무·컴플라이언스 팀이 더 이상 묵과하지 않을 문제를 야기합니다. Gartner는 전망합니다 2028년까지 선도 기업의 40% 이상이 핵심 업무를 위한 하이브리드 컴퓨팅 아키텍처를 도입할 것이며, 이는 현재 약 8% 수준에서 크게 늘어난 것으로, 민감도가 높은 작업은 퍼블릭 인프라에서 분리되어 프라이빗 LLM 환경에서 처리될 것이라고 밝혔습니다.
업종별 정확도 기준을 충족하지 못합니다. 이는 널리 확인된 문제입니다: 여러 분석 기관과 컨설팅 회사의 자료에 따르면 AI 이니셔티브가 기대 성과를 충족하지 못하는 비율은 일반적으로 70~85%에 달하며, 실패 원인으로는 모델 성능보다 데이터 품질 저하와 연동 부족이 더 자주 지목됩니다. 리테일 환경에서 AI 에이전트가 반품 정책을 잘못 안내하거나 가격을 잘못 전달하는 것은 사소한 오류가 아니라 고객 신뢰와 매출에 직결되는 문제입니다.
범용성을 위해 설계되었을 뿐, 특정 비즈니스를 위한 것이 아닙니다. 범용 모델은 홈퍼니싱 리테일러와 식료품 체인을 동일하게 취급합니다. 매 세션마다 일일이 다시 설명하지 않는 한, 리테일러의 마진 구조, 계절별 수요 패턴, 로열티 프로그램 규칙에 대한 개념이 전혀 없습니다 - 이런 방식은 소수의 사용 사례를 넘어서는 순간 확장성을 잃습니다.
엔터프라이즈 LLM - 즉 리테일러 자체 인프라 내에서 배포·통제되며, 리테일러 고유의 데이터로 파인튜닝되거나 근거를 확보한 모델 - 은 프롬프트 엔지니어링으로 문제를 가리는 대신, 앞서 언급한 실패 요인들을 정면으로 해결합니다. 핵심 질문은 AI를 도입할지 여부가 아니라, 기업용 LLM의 사용 방식이 자사가 실질적으로 통제하는 형태인지, 아니면 단순히 접근 권한만 빌려 쓰는 형태인지에 있습니다.
RAG(검색 증강 생성)는 엔터프라이즈 소유 AI를 범용 챗봇과 근본적으로 다르게 만드는 메커니즘입니다. 모델이 학습 당시 습득한 정보에만 의존하는 대신, RAG는 응답을 생성하기 전에 리테일러 자체 시스템 - 제품 카탈로그, 가격 엔진, 재고 데이터베이스 - 에서 최신의 검증된 정보를 검색합니다.
리테일러의 내부 지식 기반 위에 구축된 프라이빗 LLM은 대화형 도구인 동시에 엔터프라이즈 지식 관리 시스템으로 기능합니다. 바이어, 매장 운영 팀, 고객 서비스 담당자는 서로 단절된 위키, 스프레드시트, 낡은 인트라넷을 뒤지는 대신 하나의 통제된 시스템에서 정보를 조회할 수 있습니다.
리테일러는 업계에서 가장 민감한 상업 데이터, 즉 실시간 가격 전략, 공급업체 조건, 신원 확인이 가능한 고객과 결부된 로열티·구매 이력을 보유하고 있습니다. 이러한 데이터가 AI 시스템과 맞닿는 방식에 대한 규제 압박은 완화되기는커녕 오히려 강화되고 있습니다.
리테일러가 직접 소유한 프라이빗 LLM을 운영하면 데이터 상주 위치, 접근 로그, 감사 추적이 제3자 API 제공업체의 약속이 아니라 아키텍처 자체의 속성이 됩니다.
연구 결과는 어떤 기업이 라이선스한 모델과는 거의 무관하게, AI 성과를 내는 기업과 그렇지 못한 기업을 가르는 요인에 대해 이례적으로 일관된 결론을 보여줍니다.
McKinsey의 연구는 이러한 패턴을 명확히 뒷받침합니다: 고성과 기업은 점진적 사용 사례보다 혁신적 사용 사례를 추구할 가능성이 3배 이상 높으며, 기존 레거시 워크플로우 위에 AI를 얹기보다 프로세스 자체를 AI 중심으로 재설계하는 경향이 있습니다. Deloitte의 리테일 특화 조사 결과 역시 동일한 격차를 보여줍니다 - 명확한 전략, 구체적인 사용 사례, 통제된 데이터 인프라를 갖추고 움직이는 기업들이 실질적인 개인화 및 효율성 성과를 거두는 반면, 나머지 대다수는 여전히 초기 탐색 단계에 머물러 있습니다.
엔터프라이즈가 AI 이니셔티브를 확장하는 과정에서 공통적으로 겪는 과제는 다음과 같습니다:
제대로 근거를 갖춘 엔터프라이즈 시스템의 가치는 더 이상 이론에 머물지 않습니다. 여러 연구 결과가 이를 수치로 입증하고 있습니다:
이 모든 연구에서 나타나는 패턴은 동일합니다: 가치는 AI 시스템이 실제 비즈니스 데이터 및 워크플로우와 깊이 연결되어 있을 때 발생하며, 단순히 그 위에 얹힌 범용 부가 기능을 때는 발생하지 않습니다.
AI에 대해 이야기만 하는 기업과 실제로 AI로 수익을 창출하는 기업 사이의 격차는 더 이상 누가 가장 성능이 뛰어난 모델에 접근할 수 있는지의 문제가 아닙니다 - 오늘날 거의 모든 기업이 그런 접근권을 갖고 있기 때문입니다. 진짜 차이는 누가 자사 데이터를 통제하고, 자사 비즈니스의 실제 사실에 근거해 AI를 구축하며, 배포를 챗봇 실험이 아닌 인프라 결정으로 다루는가에 있습니다. 가격 정확성, 재고 정보의 신뢰성, 고객 신뢰가 곧 비즈니스 그 자체인 엔터프라이즈 리테일러에게, 범용 AI 도구는 결국 한계에 부딪히게 됩니다. 반면 제대로 통제되고 RAG로 근거를 확보한 엔터프라이즈 LLM은 그렇지 않습니다. 앞으로 몇 년 안에 두각을 나타낼 리테일러는 AI를 가장 먼저 도입한 기업이 아니라, AI를 진정한 의미에서 소유한 기업이 될 것입니다.
Hanna is an industry trend analyst dedicated to tracking the latest advancements and shifts in the market. With a strong background in research and forecasting, she identifies key patterns and emerging opportunities that drive business growth. Hanna’s work helps organizations stay ahead of the curve by providing data-driven insights into evolving industry landscapes.