기업의 20%가 AI 가치의 74%를 차지한다. RAG가 분산된 기관 지식을 마케팅 수익으로 전환하는 방법을 분석한다.
기업 마케터 10명에게 가장 유용한 고객 인사이트가 어디에 있는지 물어보면, 대부분은 특정 폴더나 위키(wiki), 혹은 이미 퇴사한 동료를 떠올릴 것입니다. 이것이 바로 분산된 기업 지식이 초래하는 실질적인 비용입니다. 즉, 분명히 존재하는 전문 지식임에도 캠페인이 요구하는 속도로 찾아내고, 확보하고, 활용할 수 없다는 뜻입니다. RAG(retrieval-augmented generation)와 LLM(large language model)은 AI 시스템을 기업의 검증된 데이터, 리서치, 성과 이력과 직접 연결함으로써 이러한 격차를 해소합니다.
McKinsey의 2025년 설문조사에서 기업의 생성형 AI 도입률은 88%를 넘어섰으며, 2026년 후속 조사에서도 응답 기업의 약 90%가 여전히 AI를 정기적으로 사용하고 있는 것으로 나타났습니다. 그러나 대부분의 기업은 이러한 AI 접근성을 측정 가능한 마케팅 인텔리전스로 전환하지 못하고 있습니다. 이 글에서는 AI 활용에서 앞서가는 기업과 뒤처지는 기업을 가르는 요인은 무엇인지, 마케팅 RAG와 마케팅 LLM 활용 사례가 실제로 업무 방식의 경제성을 어떻게 바꾸는지, 그리고 McKinsey, Deloitte, PwC, Gartner, IDC, MIT Sloan의 최신 데이터가 기업 지식을 지속 가능한 경쟁 우위로 전환하는 방법에 대해 무엇을 말해주는지 살펴봅니다.
엔터프라이즈 RAG는 제품 사양, 브랜드 가이드라인, 고객 리서치, 과거 캠페인 성과 등 관련성이 높고 검증된 문서를 검색하여, 응답을 생성하는 순간 엔터프라이즈 LLM에 전달하는 아키텍처입니다. 모델이 학습 과정에서 습득한 정보에만 의존하는 대신, 이 시스템은 현재 시점의 고유한 컨텍스트를 가져와 결과물의 근거로 삼습니다. 이는 그럴듯하게 들리는 주장을 지어내는 AI와, 실제 가격표·실제 고객 세그먼트 데이터·실제 3분기(Q3) 캠페인 보고서를 인용하는 AI 사이의 차이를 만들어냅니다.
AI 지식 관리 관점에서 이러한 변화는 중요한 의미를 가집니다. 기업 지식은 언제나 방대했지만, 제대로 색인화되지 못했기 때문입니다. 기존의 기업 검색은 문서 목록을 나열하는 데 그쳤지만, RAG 기반의 현대적인 엔터프라이즈 지식 관리 플랫폼은 출처가 명시된 종합적인 답변을 제공합니다. Gartner의 Market Guide for Enterprise AI Search는 이러한 변화를 명확히 짚어내며, 생성형 AI가 기업 검색을 정보 검색(information retrieval)에서 정보 종합(information synthesis)으로 전환시키고 있다고 설명합니다. 이는 직원과 AI 에이전트 모두에게 해당되는 변화입니다.
시그널(Signal): 마케팅 팀은 방대한 양의 리서치, 크리에이티브 자산, 성과 데이터를 생성하지만, 이 정보가 다음에 필요한 사람에게 제대로 전달되는 경우는 드뭅니다. 근거(Evidence): Gartner의 Top Trends in Data and Analytics for 2026에 따르면, 2029년까지 기업의 40%가 복잡한 검색 작업의 사실 정확성과 추론 능력을 높이기 위해 GraphRAG 기법을 도입할 것으로 전망됩니다. 시사점(Implication): 지금 검색(retrieval) 인프라에 투자하는 기업은, 향후 마케팅 분야의 생성형 AI가 신뢰할 수 있는 결과물을 만들어낼지, 아니면 비용만 낭비하는 노이즈를 만들어낼지를 결정짓는 토대를 구축하고 있는 것입니다.
기업의 AI 도입은 이제 시험적 도입 여부를 논의하는 단계를 지났습니다. 약 105개국 1,993개 기업을 대상으로 진행된 McKinsey의 2025년 State of AI 설문조사에 따르면, 최소 한 개 이상의 업무 영역에서 AI를 정기적으로 사용하는 기업의 비율은 88%로, 전년 78%에서 상승했습니다. 2026년 5월부터 6월까지 97개국 1,719명을 대상으로 진행된 2026년판 조사에서도 이러한 추세는 이어졌습니다. 응답 기업의 약 90%가 AI를 정기적으로 사용하고 있다고 답했으며, 기업 전반에 걸쳐 AI를 확장 적용하고 있다고 답한 비율은 44%로, 전년 38%에서 증가했습니다.
그러나 성과 측면을 살펴보면 이야기가 사뭇 달라집니다. McKinsey는 EBIT의 5% 이상을 AI의 기여로 인정하고 그로부터 유의미한 가치를 창출하는 기업을 'AI 하이퍼포머(AI high performers)'로 정의하며, 이 그룹의 비중은 2025년과 2026년 조사 모두에서 응답 기업의 약 6% 수준에 머물러 있습니다. 2026년 조사에서는 응답 기업의 37%가 AI로 인한 EBIT 영향을 어느 정도 인정했는데, 이는 전년과 사실상 동일한 수준입니다. 주로 매출 10억 달러 이상 기업의 임원 1,217명을 대상으로 진행된 PwC의 2026년 AI 성과 연구에서도 놀라울 만큼 일관된 결과가 나왔습니다. 즉, 기업의 20%가 AI가 창출한 전체 가치의 74%를 차지하고 있다는 것입니다. 이와 별도로, PwC의 제29차 Global CEO Survey에 따르면 매출 증가와 비용 절감을 동시에 경험했다고 답한 CEO는 8명 중 1명에 불과했으며, 56%는 두 가지 효과 중 어느 것도 경험하지 못했다고 답했습니다.
마케팅 부서는 전통적으로 생성형 AI를 가장 먼저 도입해온 영역이며, 실제 성과도 이를 뒷받침합니다. Stanford HAI의 2026년 AI Index는 AI에 노출된 업무 기준으로 소프트웨어 개발 분야에서 26%, 고객 지원 분야에서 14~15%의 생산성 향상을 확인했습니다. 같은 보고서를 다룬 여러 매체의 보도에 따르면, 마케팅 산출물의 생산성 향상 폭은 이보다 훨씬 더 큰 것으로 알려져 있습니다. 이러한 격차가 존재하는 이유는, 콘텐츠 다양화, 세그먼트 설정, 캠페인 분석과 같은 마케팅 업무가 LLM이 잘 수행하는 작업 유형과 정확히 맞아떨어지기 때문입니다. 단, 모델이 정확한 소스 자료에 기반해 그라운딩(grounding)되어 있어야 한다는 전제가 따릅니다.
바로 이 지점에서 마케팅 RAG가 진가를 발휘하며, 이는 단순한 챗봇 래퍼(wrapper)와 진정으로 유용한 마케팅 LLM 도입을 가르는 기준이 됩니다. 검색(retrieval) 기능이 없다면, 제품 메시지 작성을 요청받은 LLM은 범용 학습 데이터를 바탕으로 제품 사양, 가격, 포지셔닝을 추측할 수밖에 없습니다. 반면 검색 기능이 있다면, 실제 제품 카탈로그, 실제 고객 데이터 플랫폼, 실제 승인된 브랜드 보이스 가이드를 그대로 가져와 활용할 수 있습니다. IMD와 공동으로 진행된 MIT Sloan Management Review의 생성형 AI 및 조직 지식 관련 연구에 따르면, 실험 단계를 넘어 실질적인 성과를 내고 있는 기업들에는 한 가지 공통점이 있습니다. 바로 생성형 AI를 개별적인 포인트 솔루션으로 도입하는 대신, 기업 전반의 지식을 연결하고 활용하는 데 사용한다는 점입니다.
현재 실제 운영 중인 대표적인 기업 활용 사례:
McKinsey의 2026년 설문조사는 기능별 분석에서도 이러한 패턴을 뒷받침합니다. AI 활용에 따른 매출 증가는 마케팅 및 영업 부문에서 가장 많이 보고되었고, 그다음으로 제품·서비스 개발, 소프트웨어 엔지니어링 순이었습니다. 반면 비용 절감은 공급망 관리, 서비스 운영, 제조 부문에서 가장 빈번하게 보고되었습니다. McKinsey의 기능별 분석에 따르면, 마케팅은 현재의 기업 AI 도입 흐름에서 매출 측면의 가장 뚜렷한 수혜 부문 중 하나입니다.
하이퍼포머 기업과 나머지 기업 사이의 격차는, 어떤 모델이나 벤더를 선택했는지에서 비롯되는 것이 아닙니다. PwC의 AI 성과 연구는 기술적 기반은 물론 AI를 얼마나 폭넓고 전략적으로 활용하는지를 아우르는 60가지 경영·투자 관행을 검증하여, 이를 'AI 피트니스 지수(AI fitness index)'로 정리했습니다. 그 결과, 성과와 가장 강한 상관관계를 보인 요인은 기술적 요소가 아니라 조직적 요소였습니다.
AI 투자를 검토하는 기업이라면 기능(function) 단위 성과와 기업 전체 단위 성과를 함께 고려해야 합니다. 아직까지 이 두 가지가 함께 움직이는 경우는 많지 않기 때문입니다.
시그널(Signal): 기능 단위에서의 성과가 자동으로 기업 전체의 재무적 영향으로 이어지는 것은 아닙니다. 근거(Evidence): McKinsey의 2026년 설문조사에 따르면, AI로 인한 EBIT 영향을 조금이라도 인정한 기업은 37%에 불과했으며, 이는 전년과 사실상 동일한 수준입니다. 시사점(Implication): 마케팅 리더는 기능 단위 ROI를 투자를 정당화하는 초기 근거로 활용하되, 이를 기업 전체의 전환이 이미 이루어졌다는 증거로 받아들여서는 안 됩니다.
성공적인 파일럿을 기업 전체로 확장하는 단계는 여전히 업계에서 가장 많은 실패가 발생하는 지점입니다. Gartner가 2024년 발표한 예측에 따르면, 데이터 품질 저하, 미흡한 리스크 관리, 비용 상승, 불명확한 비즈니스 가치 등의 이유로 2025년 말까지 생성형 AI 프로젝트의 30%가 개념 증명(proof of concept) 이후 중단될 것으로 전망되었습니다. 그러나 Gartner의 후속 연구에 따르면 실제 수치는 이보다 더 높았습니다. 2025년 말 기준, 동일한 이유로 개념 증명 이후 중단된 생성형 AI 프로젝트는 전체의 최소 50%에 달했습니다. 연구자들이 '파일럿 퍼가토리(pilot purgatory)'라고 부르는 이 현상, 즉 통제된 테스트 환경에서는 우수한 성과를 보이지만 실제 프로덕션 단계에는 도달하지 못하는 패턴은 McKinsey, Deloitte, Gartner의 연구에서 공통적으로 나타납니다.
2026년 현재, 기업 AI를 둘러싼 논의는 더 이상 '생성형 AI를 도입할 것인가'에 관한 것이 아닙니다. McKinsey의 최신 조사에 따르면 이미 응답 기업의 약 90%가 AI를 도입한 상태입니다. 이제 중요한 것은, CRM과 리서치 아카이브, 캠페인 이력 속에 잠들어 있는 기업 지식을, 정확하게 검색하고 일관되게 활용할 수 있는 AI 시스템으로 전환할 수 있는 기업이 어디인가 하는 점입니다.
McKinsey, PwC, Deloitte, Gartner, Stanford HAI의 데이터는 모두 일관된 결론을 가리킵니다. 소수의 하이퍼포머 그룹이 AI가 창출하는 가치의 불균형적으로 큰 몫을 차지하고 있으며, 이 차이를 만드는 것은 어떤 모델을 선택했는가가 아니라 데이터 아키텍처, 거버넌스, 업무 프로세스 재설계라는 것입니다. 특히 마케팅 조직에게 있어 이러한 기회는 유독 크게 열려 있습니다. 마케팅은 이미 측정된 모든 기능 중에서 가장 높은 수준의 생산성 향상과 매출 성과를 보여주고 있습니다. 엔터프라이즈 LLM과 RAG 인프라를 단기적인 콘텐츠 도구가 아니라 장기적인 지식 자산으로 다루는 기업이야말로, 앞으로 수년간 이 우위를 복리처럼 키워나갈 수 있는 기업이 될 것입니다.
Luke is a technical market researcher with a deep passion for analyzing emerging technologies and their market impact. With a keen eye for data and trends, Luke provides valuable insights that help shape strategic decisions and product innovations. His expertise lies in evaluating industry developments and uncovering key opportunities in the ever-evolving tech landscape.