AI 최적화 퍼널은 전환율 30% 향상, CAC 25% 절감을 달성한다. McKinsey가 밝힌 매출 누수 지점을 분석한다.
이제 대부분의 기업은 사실상 비슷한 수준의 생성형 AI 모델에 접근할 수 있습니다. 승자와 그렇지 못한 기업을 가르는 요인은 더 이상 어떤 모델을 선택하느냐가 아니라, 도입 이후에 무엇을 하느냐입니다. McKinsey, MIT, Gartner, Deloitte의 최근 연구 결과는 하나의 불편한 결론으로 수렴합니다. AI 도입은 거의 보편화되었지만, AI 비즈니스 가치를 실제로 실현하는 사례는 여전히 드물다는 것입니다. 진짜 차별화 요소는 모델 계층의 지능이 아니라 워크플로우 인텔리전스, 즉 AI가 의사결정 권한, 업무 인수인계, 데이터 흐름, 일상적인 운영 리듬 속에 얼마나 깊이 내재화되어 있는가에 있습니다. 이 글에서는 왜 AI 투자 ROI가 소수의 조직에만 집중되고 있는지, 이들 조직이 다른 조직과 구조적으로 어떻게 다른지, 그리고 기업 리더들이 앞으로 AI 투자 전략에서 무엇을 우선순위에 두어야 하는지를 살펴봅니다.
엔터프라이즈 AI 도입은 불과 3년 전만 해도 상상하기 어려웠던 수준에 도달했습니다. McKinsey의 State of AI 조사에 따르면 최소 한 개 이상의 비즈니스 기능에서 AI를 정기적으로 활용하는 조직의 비율은 88%로, 전년 대비 약 10%p 상승했습니다. 생성형 AI 역시 틈새 실험에서 기본 도구로 자리 잡았습니다. 동일한 McKinsey 조사에 따르면 최소 한 개 이상의 기능에서 생성형 AI를 활용한다고 응답한 조직은 72%로, 불과 2년 전과 비교해 거의 두 배로 늘어난 수치입니다.
그러나 도입과 가치 실현은 서로 분리되고 있습니다. MIT Project NANDA에서 가장 많이 인용되는 연구 결과는 - 300개 이상의 기업 배포 사례 검토, 52건의 심층 인터뷰, 150건 이상의 리더십 설문 응답을 기반으로 한 것으로 - 대다수의 생성형 AI 파일럿 프로젝트가 측정 가능한 재무적 성과를 만들어내지 못했다는 것입니다. McKinsey 자체 데이터 역시 다른 각도에서 유사한 패턴을 보여줍니다. EBIT에 미치는 영향을 조금이라도 보고한 조직은 약 39%에 불과했으며, EBIT의 5% 이상을 AI 관련 이니셔티브의 성과로 돌린 '하이 퍼포머(high performer)'는 단 6%에 그쳤습니다.
이들 연구를 관통하는 공통된 흐름은, 병목 현상이 모델 자체가 아니라 그 이후 단계, 즉 업무가 조직되는 방식에 있다는 점입니다.
지난 3년간 AI 트랜스포메이션 전략의 중심은 모델 선택 - 어떤 벤더를 쓸지, 파라미터 수는 얼마인지, 벤치마크 점수는 어떤지 - 에 있었습니다. 그러나 이러한 계산법은 이제 상당 부분 의미를 잃었습니다. 프런티어 모델의 성능은 이미 벤더와 무관하게 비슷한 수준으로 상향 평준화될 만큼 빠르게 상품화되었습니다. 진정한 AI 기반 비즈니스 혁신은 더 이상 모델 선택에서 시작되지 않습니다. 워크플로우에 대한 결정에서 시작됩니다.
MIT 연구진은 성공적인 배포와 정체된 배포를 가르는 요인이 무엇인지 명확하게 밝혔습니다. 보고서는 가치를 실현하는 조직과 그렇지 못한 조직 사이의 격차가 모델 품질이나 규제 마찰로 설명되지 않으며, 오히려 접근 방식의 차이로 설명된다고 분명히 말합니다. 이들이 지목한 구체적인 실패 요인은 '학습 격차(learning gap)'입니다. 즉, 맥락을 기억하지 못하고, 기존 시스템과 제대로 통합되지 않으며, 특정 팀의 실제 업무 방식에 적응하지 못하는 도구들입니다. 보고서 인터뷰에 참여한 기업 사용자들은 평소 개인적으로 사용할 때는 신뢰하던 동일한 생성형 AI 도구가, 적응 과정 없이 그대로 엔터프라이즈 워크플로우에 투입되는 순간 신뢰할 수 없는 도구로 바뀐다고 설명했습니다.
이는 AI 투자에 대한 전체적인 논의의 틀을 바꿔놓습니다. 모델에 대한 접근성이 더 이상 희소 자원이 아니라면, 진짜 희소 자원은 다음과 같습니다.
Gartner의 연구도 이 지점을 구체적으로 뒷받침합니다. Gartner는 2026년까지 AI 준비가 되지 않은 데이터를 기반으로 한 AI 프로젝트의 60%가 폐기될 것으로 전망했으며, 이는 63%의 조직이 AI에 적합한 데이터 관리 체계를 갖추지 못했거나 갖추었는지조차 확신하지 못한다는 설문 결과에 근거한 것입니다. 파일럿 프로젝트를 지속 가능한 경쟁 우위로 전환시키는 것은 모델 선택이 아니라 AI 워크플로우 최적화입니다. 문제의 원인은 대부분 모델에 있지 않았습니다.
워크플로우 인텔리전스란 실제 운영 업무를 구성하는 일련의 의사결정, 업무 인수인계, 판단 과정 속에 AI를 내재화할 수 있는 조직의 역량을 의미합니다. 단순히 업무 옆에 챗봇 하나를 배치하는 것과는 다릅니다. 이는 구매 결정이 아니라 시스템 수준의 역량이며, 빠르게 엔터프라이즈 AI 성숙도를 가늠하는 핵심 기준으로 자리 잡고 있습니다.
McKinsey의 도입 및 확산 관련 연구는 이 지점에서 시사하는 바가 큽니다. 생성형 AI 도입과 관련된 12가지 구체적인 실행 방식을 분석한 결과, McKinsey는 각 방식과 실적 개선 사이에 일관되게 긍정적인 상관관계가 있음을 발견했습니다. EBIT 개선과 가장 강한 상관관계를 보인 요소는 모델 선택이나 컴퓨팅 투자가 아니라, AI 솔루션에 대한 명확한 KPI를 추적하는 것이었습니다. 흥미롭게도 조사 대상 조직 중 실제로 생성형 AI 배포에 대한 KPI를 추적하고 있는 곳은 5곳 중 1곳에도 미치지 못했습니다. 가장 효과적인 실행 방식이 가장 드물게 채택되고 있다는 뜻입니다.
워크플로우 중심 관점을 뒷받침하는 가장 명확한 근거는 McKinsey가 정의한 'AI 하이 퍼포머'에서 찾을 수 있습니다. 이는 EBIT의 5% 이상을 AI 성과로 돌린, 전체 응답 조직의 약 6%에 해당하는 그룹입니다. McKinsey의 2025년 11월 State of AI 보고서에 따르면 이들 하이 퍼포머의 55%는 AI를 도입하면서 비즈니스 프로세스를 근본적으로 재설계했다고 응답했으며, 이는 다른 조직 대비 거의 3배에 달하는 수치입니다. 하이 퍼포머는 또한 점진적인 효율성 개선이 아니라 전사적 차원의 트랜스포메이션을 추구한다고 응답할 확률이 3배 이상 높았습니다.
Deloitte의 State of AI in the Enterprise 연구는 2025년 8월부터 9월 사이 3,200명 이상의 경영진을 대상으로 진행되었으며, 여기에 조직 거버넌스라는 또 다른 차원을 더합니다. 경영진이 AI 거버넌스를 기술 조직에만 위임하지 않고 직접 주도하는 기업일수록 훨씬 더 큰 비즈니스 가치를 보고했습니다. Deloitte 조사에 참여한 조직의 3분의 2는 AI로 인한 생산성 또는 효율성 개선을 이미 경험했다고 답했지만, 매출 성장은 여전히 희망 사항에 머물러 있습니다. 약 74%가 AI를 통한 매출 성장을 기대한다고 답한 반면, 실제로 이를 달성하고 있다고 답한 조직은 약 20%에 불과했습니다. 이 격차 역시 기술의 문제라기보다는 워크플로우와 실행의 문제입니다.
측정 가능한 AI ROI를 보고하는 조직과 여전히 파일럿 단계에 머물러 있는 조직을 비교하면 McKinsey, Deloitte, MIT, Gartner의 연구 전반에서 일관된 패턴이 드러납니다. 하이퍼포머 는 다음과 같은 경향을 보입니다.
반대로 성과를 보여주지 못하는 조직들은 정반대의 특징을 공유하는 경향이 있습니다. 우선순위 없이 여러 사용 사례에 걸쳐 광범위한 실험을 진행하고, 일관된 측정 체계가 없으며, 거버넌스를 경영진의 관여 없이 IT 조직에만 전적으로 맡기고, 재설계되지 않은 기존 워크플로우 위에 AI를 그대로 얹는 경우가 많습니다. PwC의 2026 Global CEO Survey는 4,454명의 경영진을 대상으로 조사한 결과, 매출 증가와 비용 절감을 동시에 보고한 CEO는 약 12%에 불과하다는 사실을 밝혀냈습니다. 이는 대부분의 조직이 기껏해야 AI가 가진 잠재적 가치의 일부, 그것도 매우 제한된 일부만을 확보하고 있다는 강력한 신호입니다.
출처: McKinsey, Deloitte, Gartner
파일럿 단계에서 좋은 성과를 낸 조직조차 확장 단계에서 정체되는 경우가 많습니다. 최근 연구에서 확인된 AI 구축 과정의 주요 장애 요인은 다음과 같습니다.
이러한 문제들 중 어느 것도 모델 자체의 문제가 아닙니다. 모두 워크플로우, 데이터, 조직 설계의 문제입니다. 바로 이 때문에 AI 구축 성공은 모델을 선택하기 훨씬 전 단계에서 내려지는 운영 모델 관련 의사결정에 점점 더 크게 좌우됩니다.
워크플로우 계층을 제대로 구축한 조직에게는 실질적이고 점점 더 명확하게 문서화되고 있는 성과가 존재합니다. 다만 전사적 차원의 EBIT 개선은 전체 조직 중에서는 여전히 드문 사례입니다. 3,235명의 경영진을 대상으로 한 Deloitte 조사에 따르면, 이미 확보되고 있는 성과는 다음 몇 가지 범주에 집중되어 있습니다.
이들 결과에서 나타나는 패턴은 일관됩니다. 가장 큰 가치를 만들어내는 것은 명확한 실행 경로 없이 발표되는 광범위한 전사적 AI 비전이 아니라, 범위가 좁고 운영에 깊이 내재화되어 있으며 특정 워크플로우에 직접 연결된 성과입니다. 이것이 바로 2026년 생성형 AI ROI가 실질적으로 의미하는 바입니다. 가치는 AI가 명확한 전후 비교 지표를 가진 특정 프로세스에 실제로 엮여 들어갔을 때 나타나는 것이지, 단순히 AI를 사용 가능하게 만들었다고 해서 나타나는 것이 아닙니다. 특히 매출 성과는 비용 절감이나 생산성 개선에 비해 여전히 뒤처져 있으며, 이 격차를 좁히는 지점에서 워크플로우 인텔리전스의 우위가 가장 빠르게 축적됩니다.
기업 리더들에게 주는 전략적 시사점은 명확합니다. 모델 선택은 더 이상 경쟁 우위의 원천이 아니라 기본 전제 조건이 되었습니다. 진지하게 경쟁하는 대부분의 기업이 비슷한 수준의 역량에 접근할 수 있기 때문입니다. 앞으로 누적되는 경쟁 우위는 AI 트랜스포메이션을 소프트웨어 구매의 문제가 아니라 운영 모델 재설계의 문제로 다루는 조직에게 돌아갈 것입니다.
이러한 변화는 엔터프라이즈 AI 전략을 수립하는 방식에도 실질적인 함의를 갖습니다. 특히 초기 AI 구현 가이드 단계에서부터 이러한 원칙을 반영하는 것이 중요합니다.
이러한 전환을 내재화한 조직이야말로, AI를 도입한 88%의 조직 중에서 측정 가능한 기업 가치를 실제로 입증할 수 있는 소수 그룹으로 이동할 가능성이 가장 높은 조직입니다.
2025년과 2026년 엔터프라이즈 AI를 둘러싼 이야기는 어떤 모델이 가장 뛰어난가에 관한 것이 아닙니다. 어떤 조직이 뛰어난 모델을 실제 운영 방식 속으로 흡수해낼 수 있는가에 관한 이야기입니다. McKinsey, MIT, Deloitte, Gartner, PwC의 연구 결과는 놀라울 만큼 일관되게 다음 사실을 보여줍니다. AI 도입은 이제 표준이 되었지만, AI 투자 수익률은 여전히 AI를 단순한 가속화 도구가 아니라 업무를 재설계할 이유로 받아들인 소수의 조직에 집중되어 있다는 것입니다. AI 리더와 의사결정자들에게 주는 장기적 시사점은 분명합니다. 다음 경쟁 우위는 가장 먼저 최신 모델을 도입하는 기업이 아니라, 현재와 미래의 어떤 모델이든 실제 비즈니스 안에서 작동하게 만들 수 있는 조직적·워크플로우적 인텔리전스를 구축한 기업의 몫이 될 것입니다.
Joseph is a Technical Communications Specialist responsible for translating complex technical concepts into clear, engaging, and accessible content for diverse audiences. He collaborates closely with technical teams, product experts, and stakeholders to develop documentation, reports, knowledge resources, and communication materials that support business objectives and enhance user understanding.