AI가 고객 경험의 운영체제가 되는 이유

서론

‍

기업용 소프트웨어에는 언제나 '운영체제'가 존재해 왔습니다. 실제로 업무가 어떻게 진행되는지를 결정하는 보이지 않는 계층 말입니다. 지난 10년간 이 계층은 대시보드, 티켓팅 큐, 정적인 규칙 엔진을 중심으로 구축되었습니다. 그러나 이제 상황이 빠르게 바뀌고 있습니다. 콜센터, 마케팅 플랫폼, 셀프서비스 포털 전반에서 AI 고객 경험은 더 이상 부가 기능이 아니라, 고객이 무엇을 보고, 얼마나 빠르게 도움을 받으며, 비즈니스 관계가 깊어질지 끊어질지를 결정하는 조정 계층으로 자리 잡고 있습니다. Deloitte, McKinsey, Gartner, PwC의 최신 연구 결과는 이러한 변화가 이미 AI 선도 기업과 나머지 기업 간의 측정 가능한 격차를 만들어내고 있음을 보여줍니다. 이 기사에서는 실제 데이터가 말해주는 것, 일부 기업이 압도적인 성과를 거두는 이유, 그리고 AI를 단순한 파일럿 프로젝트에서 진정한 운영 인프라로 전환하기 위해 필요한 요소를 심층적으로 분석합니다.

데이터로 보는 변화: AI는 이제 기본 전제입니다

‍

엔터프라이즈 AI 도입은 이미 얼리어답터 단계를 지났습니다. McKinsey의 2025 State of AI 글로벌 설문조사에 따르면, 조직의 88%가 최소 한 개 업무 영역에서 정기적으로 AI를 활용하고 있으며, 생성형 AI 활용률은 2023년 33%에서 2025년 79%로 상승했습니다. Deloitte의 2026 State of AI in the Enterprise 보고서는 2025년 8월부터 9월 사이 24개국 3,235명의 리더를 대상으로 인터뷰를 진행했으며, 2025년 한 해 동안 직원의 AI 접근성이 50% 증가했다고 밝혔습니다. 이는 AI가 고립된 파일럿 단계를 넘어 진정한 엔터프라이즈 규모로 확장되고 있다는 신호입니다. 이러한 확장세는 실질적인 자본 투자로도 뒷받침됩니다. Stanford HAI의 2026 AI Index에 따르면, 2025년 전 세계 기업의 AI 투자액은 5,817억 달러에 달했으며, 이는 전년 대비 약 130% 증가한 수치입니다.

‍

이러한 큰 흐름 속에서 고객 경험 영역은 AI 기반 고객 경험 투자를 실증하는 가장 명확한 시험대로 부상하고 있습니다. 업계 분석가들은 고객 경험 분야의 생성형 AI를 이러한 변화의 출발점으로 점점 더 많이 지목하고 있습니다. 이는 생성형 AI가 인간의 판단을 대체해서가 아니라, 모든 상호작용의 속도를 늦추던 초안 작성, 요약, 정보 조회 작업을 덜어주기 때문입니다.

• Deloitte의 리더들은 공급망 관리, R&D, 사이버보안 등 잠재력이 큰 다른 활용 사례가 있음에도 불구하고, 에이전틱 AI가 가장 큰 영향을 미칠 분야로 고객 지원을 꼽았습니다.
• McKinsey는 마케팅·영업, 전략·재무, 제품·서비스 개발 부문이 AI 활용을 통해 가장 자주 매출 효과를 보고하는 영역이며, 이는 주로 AI 개인화, 리드 스코어링, 콘텐츠 생성에서 비롯된다고 밝혔습니다.
• Gartner는 에이전틱 AI가 텍스트 생성 단계를 넘어 고객을 대신해 자율적으로 행동하는 단계로 발전하면서, 고객 상호작용에서 차지하는 비중이 점점 커질 것으로 전망합니다.

방향성은 명확합니다. 이제 승자와 패자를 가르는 것은 실행력입니다.

AI 중심 콜센터가 앞서가는 이유

‍

Deloitte Digital의 2026 Global Contact Center Survey는 AI 챗봇과 에이전틱 기술이 제대로 도입되었을 때와 그렇지 않을 때의 차이를 가장 선명하게 보여주는 자료 중 하나입니다. AI 중심 콜센터와 성숙도가 낮은 콜센터를 비교한 결과는 매우 뚜렷합니다.

• 전반적인 수익성 85% 향상
• 우수한 고객 경험을 제공할 가능성 69% 증가
• 우수한 직원 경험을 제공할 가능성 60% 증가
• 대규모 개인화 경험 제공 가능성 23% 증가

이는 미미한 차이가 아니라 구조적인 경쟁 우위입니다. Deloitte의 연구는 후발 기업들이 겪는 어려움도 함께 짚어냅니다. 뒤처진 콜센터 리더들이 공통적으로 꼽는 세 가지 장애물은 기술·시스템·도구 통합(72%), 레거시 인프라(58%), 데이터 보안 및 규정 준수 우려(53%)입니다. 즉, 진짜 걸림돌은 AI 모델 자체가 아니라 그 아래에 깔린 인프라인 셈입니다. 시스템 파편화 문제를 먼저 해결하지 않고 고객 경험 자동화를 시도하는 기업은 오히려 AI가 기존의 비효율을 대체하기보다 증폭시키는 결과를 맞이하는 경우가 많습니다.

확장의 격차: 파일럿의 95%가 정체되는 이유

‍

현재 엔터프라이즈 AI 분야에서 가장 충격적인 데이터는 MIT의 Project NANDA에서 나왔습니다. 2025년 7월 발표된 보고서 The GenAI Divide: State of AI in Business는 공개된 300건 이상의 AI 도입 사례를 검토하고, 52개 조직을 대상으로 한 구조화 인터뷰와 153명의 고위 리더를 대상으로 한 설문조사를 기반으로 작성되었습니다. 저자들은 이를 예비적이며 동료 심사를 거치지 않은 연구라고 밝혔고, 방법론에 대해 일부 분석가들의 이견도 있었습니다. 그러나 핵심 결론만큼은 업계 전반에서 널리 인용되고 있습니다. 누적 300억~400억 달러에 달하는 생성형 AI 파일럿 투자에도 불구하고, 파일럿의 95%가 손익(P&L)에 측정 가능한 영향을 미치지 못했으며, 실질적인 재무 성과로 이어진 조직은 약 5%에 불과했습니다.

‍

그 원인은 주로 기술적인 문제가 아닙니다. MIT의 연구는 이를 "학습 격차(learning gap)"라고 표현합니다. 즉, 맥락을 유지하거나 업무 흐름에 적응하고, 피드백을 통해 스스로 개선하지 못하는 도구의 한계입니다. 대화형 AI와 LLM 기반 시스템을 구축하는 기업들 사이에서 두 가지 뚜렷한 패턴이 발견됩니다. (참고로 많은 기업이 이러한 맥락 유지 문제를 해결하기 위해 RAG(검색 증강 생성) 기술을 도입하고 있습니다.)

• 전문 벤더로부터 도구를 구매하고 파트너십을 구축한 조직은 약 67%의 성공률을 기록한 반면, 순수 내부 개발 프로젝트의 성공률은 이보다 훨씬 낮았습니다.
• 예산 배분에서도 불균형이 나타납니다. 생성형 AI 예산의 절반 이상이 영업·마케팅 도구에 투입되지만, MIT는 가장 높은 ROI가 백오피스 자동화-아웃소싱 비용 절감 및 운영 효율화-에서 발생한다는 사실을 발견했습니다.

이는 CX 리더들에게 직접적인 시사점을 줍니다. 고객 대면 AI는 이 두 가지 패턴이 교차하는 지점에 있기 때문입니다. 벤더 수준의 신뢰성이 요구되는 동시에, 더 화려하지만 검증되지 않은 다른 활용 사례들과 예산을 두고 경쟁해야 합니다.

일부 기업이 압도적으로 높은 성과를 거두는 이유

‍

AI 도입률은 거의 보편화되었지만 그 가치는 소수에 집중되어 있다면, 자연스럽게 떠오르는 질문은 "무엇이 승자를 가르는가"입니다. PwC의 2026 AI Performance Study는 25개 산업군, 1,217명의 고위 임원을 대상으로 조사를 진행해 지금까지 나온 답변 중 가장 명확한 결과를 제시합니다. 상위 20%의 기업이 AI 경제적 가치의 74%에 가까운 비중을 차지하고 있으며, 이 격차는 AI를 얼마나 많이 도입했는지와는 거의 무관합니다.

‍

기술적 요인도 중요하지만, 조직적 요인이 더 결정적입니다.

• 전략적 의도. McKinsey에 따르면, 고성과 조직은 부분적인 효율화가 아닌 전사적 차원의 트랜스포메이션을 추구할 가능성이 3배 이상 높고, AI를 중심으로 워크플로우 자체를 근본적으로 재설계했을 가능성도 거의 3배에 달합니다.
• 투자의 깊이. 고성과 기업의 3분의 1 이상이 디지털 예산의 20% 이상을 AI 기술에 투입하고 있습니다.
• 비용 절감보다 성장 지향. PwC의 조사에 따르면, 성과가 높은 기업들은 인력 감축이 아니라 새로운 매출원 확보와 비즈니스 모델 혁신을 위해 AI를 활용하고 있으며, AI 적합도가 가장 높은 기업들은 다른 기업 대비 7.2배에 달하는 AI 기반 재무 성과를 기록했습니다.
• 데이터 및 거버넌스 기반. PwC와 MIT 모두 동일한 전제 조건을 지적합니다. 깨끗하고 체계적으로 관리된 데이터와 명확한 소유권 구조는 나중에 고려할 사항이 아니라, 확장을 위한 필수 전제 조건이라는 것입니다.

조직의 39%만이 전사 차원에서 측정 가능한 EBIT 영향을 보고하고 있으며, 대부분은 개별 활용 사례 수준의 효과만 보고하고 있습니다. 바로 이 실행과 성과 사이의 간극이야말로 CX 리더들이 KPI로 집중해서 추적해야 할 지점입니다.

AI가 이미 고객 여정을 개편하고 있는 영역들

‍

백오피스 지표를 넘어, 고객 경험 AI가 실제 고객 여정 전반에서 만들어내는 구체적인 변화도 나타나고 있습니다.

• 셀프서비스와 문제 해결. Gartner는 2029년까지 에이전틱 AI가 사람의 개입 없이 일반적인 AI 고객 서비스 이슈의 80%를 자율적으로 해결하고, 운영 비용을 약 30% 절감할 것으로 전망합니다. 이는 67%의 고객이 이미 셀프서비스를 선호하는 흐름과도 맞닿아 있습니다.
• 대규모 개인화. McKinsey의 연구에 따르면, 개인화는 일반적으로 10~15%의 매출 상승을 가져오며, 산업군과 실행 역량에 따라 기업별로는 최대 25%까지 이르기도 합니다.
• 에이전틱 워크플로우. 기업들은 항공편 재예약, 수하물 경로 변경, 고객 미팅에서의 액션 아이템 자동 기록 및 추적과 같은 업무에 자율 에이전트를 도입하고 있으며, 이를 통해 인간 상담원에게 언제, 어떻게 연결할지 판단해 복잡하고 높은 공감이 필요한 상호작용에 집중할 수 있게 되었습니다.
• 인력 대체가 아닌 안정화. 대규모 인력 감축을 예고하는 헤드라인과 달리, Gartner는 AI로 인해 실제로 상담원 인력을 감축한 고객 서비스 리더는 약 20%에 불과하며, 대부분은 인력 규모를 유지한 채 더 많은 상담량을 처리하고 있다고 밝혔습니다. 또한 2027년까지 인력을 감축했던 기업의 약 절반이 유사한 직무로 재고용에 나설 것으로 전망했습니다.

AI 선도 기업 vs. 후발 기업 비교

엔터프라이즈 AI 확장 시 흔히 겪는 과제

‍

자원이 충분한 기업들조차 파일럿에서 실제 운영으로 전환하는 과정에서 반복적으로 마찰을 겪습니다.

• 레거시 시스템 통합. Deloitte Digital에 따르면 뒤처진 콜센터의 72%가 이를 최대 장애물로 꽂았습니다.
• 파편화되거나 품질이 낮은 데이터. PwC와 MIT 모두 취약한 데이터 기반을 AI 가치 실현이 정체되는 주요 원인으로 지목합니다.
• 거버넌스 및 규정 준수 공백. 성과가 낮은 콜센터의 53%가 데이터 보안 및 규정 준수를 AI 확장의 걸림돌로 꼽았습니다.
• 잘못된 예산 우선순위. MIT는 상대적으로 ROI가 낮은 영역에 가장 많은 생성형 AI 예산이 투입되는 반면, 백오피스 자동화처럼 ROI가 높은 영역은 오히려 예산이 부족하다는 사실을 발견했습니다.
• 얕은 수준의 워크플로우 재설계. 기존 프로세스를 그대로 둔 채 챗봇만 얹는 방식으로는, 완전히 재설계된 AI 네이티브 워크플로우가 만들어내는 성과를 기대하기 어렵습니다.

결론: 도구에서 인프라로

‍

모든 주요 리서치 기관의 데이터가 가리키는 방향은 일관됩니다. AI는 더 이상 개별적인 고객 서비스 기능이 아니라, 기업이 고객의 의도를 파악하고, 문제를 해결하며, 대규모로 관계를 개인화하는 운영 계층으로 자리 잡고 있습니다. 그러나 동일한 연구들은 단순한 AI 도입만으로는 가치가 보장되지 않는다는 점 또한 분명히 밝히고 있습니다. 앞서가는 기업들은 단순히 AI에 가장 많은 비용을 지출하는 기업이 아니라, AI를 구조적 변화의 촉매로 삼아 워크플로우를 재구축하고, 데이터 기반에 투자하며, 비용이 아닌 성장에 AI 투자의 초점을 맞추는 기업들입니다. 아직 파일럿 단계에 머물러 있는 기업이라면, 향후 12~24개월의 전략적 과제는 어떤 모델이나 벤더를 선택할지가 아닙니다. 데이터, 거버넌스, 워크플로우 재설계하는 조직적 조건을 갖추어, AI가 실험이 아닌 실질적인 인프라로 기능하도록 만드는 것입니다.