AI와 RAG가 제조업의 지식을 수집하고 검색하며 활용하는 방식을 혁신합니다.
제조업의 지식은 한곳에 모여 있는 경우가 드뭅니다. 표준 작업 절차서는 현장의 바인더 속에 흩어져 있고, 설계 의사결정의 배경은 수십 년 전 변경 이력 속에 묻혀 있으며, 특정 설비 설정값의 이유는 오직 숙련 기술자의 기억 속에만 존재하는 경우가 많습니다. 이러한 베테랑 인력이 은퇴하면서 그들이 가진 지식도 함께 조직을 떠나고 있습니다. 제조업 AI는 이제 로봇공학이나 예지보전뿐 아니라 바로 이 문제를 정조준하고 있습니다. 검색 증강 생성과 결합된 제조업 분야의 생성형 AI는 흩어져 있던 기술 지식을 몇 초 만에 검색하고, 설명하고, 활용할 수 있는 형태로 바꿔놓고 있습니다.
하지만 실제 데이터가 보여주는 그림은 과장된 기대보다 훨씬 복잡합니다. 도입률은 거의 보편화된 수준이지만, 측정 가능한 성과를 내는 기업은 여전히 드뭅니다. 이 글에서는 제조업 지식 관리가 실제로 어느 지점에 와 있는지, 그리고 실질적인 가치를 확보한 기업과 파일럿 단계에 머물러 있는 기업을 가르는 요인이 무엇인지 최신 검증 데이터를 바탕으로 살펴봅니다.
McKinsey의 Global Survey on AI는 8년 연속으로 어떤 업무 영역에서 AI 활용도가 가장 높은지 추적해 왔습니다. 105개국 약 2,000명의 응답자를 대상으로 한 2025년 조사에서는 지식 관리가 처음으로 IT, 마케팅·영업과 더불어 AI 활용 보고가 가장 많은 영역에 이름을 올렸습니다. 그 배경에는 구조적인 이유가 있습니다. 지식 관리는 AI 에이전트가 정보를 수집하고 처리한 뒤 대화형 인터페이스를 통해 다시 전달하기에 최적화된 영역, 즉 생성형 AI가 가장 잘 발휘될 수 있는 업무 유형이기 때문입니다.
제조기업들은 이 문제를 유독 심각하게 겪고 있습니다. 항공우주, 자동차, 반도체, 전자 등 첨단 제조업체들은 수십 년에 걸쳐 방대한 기술 노하우를 축적해왔지만, 그 상당 부분은 체계화된 시스템이 아니라 개별 직원들의 머릿속에 남아 있습니다. Deloitte의 2026 Manufacturing Industry Outlook은 제조업 임원 600명을 대상으로 한 설문을 바탕으로, 에이전틱 AI가 은퇴를 앞둔 직원들의 암묵지를 포착하고, 교대 인수인계 보고서와 작업 지시서를 자율적으로 생성하며, 이렇게 확보한 노하우를 표준 작업 절차서로 전환해 신규 인력의 온보딩 속도를 높이는 방법이 될 수 있다고 설명합니다.
이러한 변화를 가능케 하는 기술적 전환의 핵심은 검색 증강 생성입니다. 특정 공장의 설비 이력이나 사내 전용 정비 매뉴얼을 전혀 알지 못하는 범용 모델의 학습 데이터에 의존하는 대신, 제조업 RAG는 검증된 내부 문서에서 관련 내용을 먼저 검색한 뒤, 그 출처에 근거한 답변을 생성합니다. 이러한 차이는 규제가 엄격하고 안전이 최우선인 환경에서 매우 중요한 의미를 갖습니다. 토크 사양이나 화학물질 취급 관련 질문에 대해 근거 없는 답변이 나온다면 이는 사소한 불편이 아니기 때문입니다.
Gartner의 Market Guide for Enterprise AI Search를 분석한 업계 자료에 따르면, 이 카테고리는 엔터프라이즈 전반의 저장소에서 정보를 검색하고 종합하는 소프트웨어로 정의되며, RAG는 엔터프라이즈 규모로 확장 가능한 AI 어시스턴트와 에이전트를 구현하는 핵심 기술로 꼽힙니다. 같은 자료는 엔터프라이즈 AI 검색과 어시스턴트 기능이 2028년까지 엔터프라이즈 애플리케이션의 60%에 내장될 것이라는 Gartner의 전망을 인용하고 있는데, 이는 현재 약 20% 수준에서 3년 만에 3배로 성장하는 규모입니다. 제조기업 입장에서 이는 CRM, ERP, 제조실행시스템(MES), 품질관리 플랫폼 등 대부분의 핵심 시스템이 자체적인 검색 레이어를 갖추게 된다는 의미입니다.
이러한 구조 위에 구축된 제조업 LLM은 일반 챗봇과 몇 가지 중요한 차이를 보입니다.
이 카테고리에 대한 Gartner의 거버넌스 지침은 레거시 콘텐츠 정리, 메타데이터 보강, 검색 데이터 품질 평가를 더 폭넓은 지식 관리 프로그램의 일환으로 수행할 것을 권고하는 것으로 알려져 있으며, 키워드 검색과 벡터 검색을 결합한 하이브리드 검색이 단순한 도구와 진정한 엔터프라이즈급 도구를 가르는 핵심 요소로 제시됩니다.
제조업 엔터프라이즈 AI의 도입률을 보여주는 대표 수치는 상당히 인상적입니다. McKinsey의 2025년 설문조사에 따르면 조직의 88%가 최소 한 개 업무 영역에서 정기적으로 AI를 사용하고 있으며, 이는 1년 전 78%에서 상승한 수치입니다. McKinsey의 자체 장기 추적 데이터에 따르면 생성형 AI 활용률은 2025년 79%로 상승했으며, 이는 2024년 71%, 2023년 33%에서 크게 늘어난 수치입니다. 그러나 확산 단계로 넘어가는 것은 또 다른 이야기입니다. 여전히 조직의 3분의 2가량이 전사적 AI 확산을 시작하지 못했으며, 확산 단계에 도달했다고 답한 비율은 약 3분의 1에 그칩니다.
기업 규모는 예상보다 훨씬 큰 변수로 작용합니다. 매출 50억 달러 이상 기업의 절반 가까이가 확산 단계에 도달한 반면, 매출 1억 달러 미만 기업 중에서는 29%만이 이 단계에 도달했습니다. 이는 의지의 차이라기보다 예산, 데이터 인프라, 변화관리 역량의 차이를 반영하는 격차입니다.
제조업만 놓고 보면, Deloitte의 2025 Smart Manufacturing and Operations Survey(임원 600명 대상)에 따르면 응답자의 78%가 전체 개선 예산의 20% 이상을 스마트 제조 이니셔티브에 배정하고 있으며, 자동화 하드웨어, 데이터 분석, 클라우드 컴퓨팅과 같은 AI 지식 시스템의 기반이 되는 핵심 기술에 투자를 집중하고 있습니다. 한편 Manufacturing Leadership Council의 조사에 따르면, 자율성이 더 높은 로봇인 피지컬 AI를 도입할 계획이라고 답한 제조기업의 비율은 향후 2년 내 현재의 9%에서 22%로 두 배 이상 증가할 것으로 전망됩니다.
여기서부터 이야기는 다소 냉정해집니다. MIT Project NANDA의 2025년 연구는 300건 이상의 공개된 AI 도입 사례를 체계적으로 검토하고, 52개 조직을 대상으로 심층 인터뷰를 진행했으며, 153명의 고위 리더로부터 설문 응답을 수집했습니다. 그 결과, 생성형 AI에 300~400억 달러가 투자되었음에도 불구하고 엔터프라이즈 파일럿의 95%가 손익(P&L)에 측정 가능한 영향을 주지 못한 것으로 나타났습니다. (참고: 이 보고서에 대한 초기 언론 보도 일부는 인터뷰 150건, 직원 설문 350건이라는 다른 표본 수치를 인용했으나, 위의 방법론은 원 보고서 자체에 명시된 내용을 따른 것입니다.)
연구진은 그 원인을 주로 '학습 격차(learning gap)'로 설명합니다. 대부분의 도입 도구가 피드백을 축적하거나, 업무 맥락에 적응하거나, 시간이 지나면서 성능을 개선하는 기능을 갖추지 못한 탓에 지속 가능한 시스템으로 발전하지 못하고 영구적인 개념 증명(PoC) 단계에 머물러 있다는 것입니다. 특히 주목할 점은, 예산이 흔히 영업·마케팅과 같이 가시성이 높은 프런트오피스 활용 사례에 집중되는 반면, 실제로 가장 높은 성과는 백오피스 자동화에서 나온다는 사실입니다. 이는 본질적으로 백오피스 역량인 제조업 지식 관리와도 직결되는 패턴입니다.
McKinsey의 연구는 다른 각도에서 이러한 격차를 뒷받침합니다. AI로 EBIT의 5% 이상을 창출하고 유의미한 기업 가치를 실현했다고 답한 'AI 상위 성과 기업'은 전체 응답자의 6%에 불과했습니다. 이들을 다른 기업과 구분 짓는 것은 더 뛰어난 기술력이 아니라 조직 운영 방식입니다.
한마디로 정리하면, 상위 기업과 그렇지 못한 기업 사이의 기술 격차는 실행 격차보다 훨씬 작습니다. 업무 프로세스 재설계, 지속적인 투자, 경영진의 의지가 실제 가치를 창출하는 조직과 그렇지 못한 조직을 가르는 결정적인 요인입니다.
제조업 AI가 실제로 성과를 내는 영역에서는, 전사적 EBIT 개선 사례는 여전히 드물더라도 산업 단위의 성과는 점점 더 명확하게 수치화되고 있습니다. PwC의 Global AI Jobs Barometer는 6개 대륙에 걸쳐 약 10억 건의 구인 공고와 수천 건의 기업 재무 보고서를 분석한 결과, AI 노출도가 가장 높은 산업군의 생산성 증가율이 2018~2022년 7%에서 2018~2024년 27%로 약 4배 뛰어오른 반면, AI 노출도가 낮은 산업군의 생산성 증가율은 같은 기간 소폭 하락했다고 밝혔습니다. 2026년판 같은 조사에서는 AI 노출도가 가장 높은 기업들의 생산성 증가율이 34%로 나타났으며, 상위 20% 기업의 경우 163% 성장해 AI 노출도가 높은 기업 전체 평균 대비 약 5배에 달했습니다(2018년 기준).
제조업만 놓고 보면, McKinsey의 데이터는 AI 활용 사례에서 발생하는 비용 절감 효과가 제조업, 소프트웨어 엔지니어링, IT에서 가장 자주 보고된다는 사실을 보여줍니다. 이는 주로 마케팅·영업, 제품 개발 영역에 집중되는 매출 증대 효과보다 훨씬 더 일관되게 나타나는 패턴입니다. 이러한 패턴은 제조기업이 AI 기반 지식 관리를 사내에 어떻게 포지셔닝해야 하는지를 시사합니다. 즉, 이는 근본적으로 비용·생산성 개선 수단이지 매출 창출 스토리가 아니며, 이에 맞게 기대치를 설정해야 파일럿 프로젝트가 중도에 폐기되는 실망스러운 결과를 피할 수 있습니다.
탄탄한 파일럿을 진행한 기업조차 전사적 확산 단계에 이르지 못하고 멈추는 경우가 많습니다. 여러 연구에서 공통적으로 지적하는 장애 요인은 다음과 같습니다.
자체 제조업 LLM을 구축할지, 아니면 벤더 플랫폼을 도입할지 고민하는 제조기업들도 결국 직접 구축하든 외부 솔루션을 도입하든 동일한 장벽에 부딪히는 경우가 많습니다. 관건은 기반 모델 자체가 아니라, 이를 뒷받침할 데이터, 거버넌스, 워크플로 재설계가 갖춰져 있는지 여부입니다.
AI 기반 지식 관리 도입을 검토하는 제조기업이라면, 여러 연구 결과가 공통적으로 가리키는 실질적인 우선순위는 다음과 같습니다.
데이터가 보여주는 그림은 일관됩니다. 제조업에서 AI 도입 여부는 더 이상 논쟁거리가 아니지만, AI가 만들어내는 가치는 여전히 규율 있게 실행하는 소수 기업에 집중되어 있습니다. 두각을 나타내는 기업들은 반드시 더 뛰어난 모델을 사용하는 것이 아니라, 워크플로를 재설계하고, 야망에 걸맞은 수준으로 투자하며, 산출물을 꼼꼼히 검증하고, 조직 내 지식을 그것을 보유한 인력이 은퇴하기 전에 확보해야 할 자산으로 취급합니다.
제조기업 입장에서 AI 기반 엔터프라이즈 검색과 RAG 기반 지식 시스템은 이러한 흐름 속에서 가장 지속 가능하고 백오피스에 뿌리를 둔 기회 중 하나입니다. 고객 대면형 생성형 AI만큼 화려하지는 않지만, 측정 가능한 비용·생산성 성과와 훨씬 더 일관되게 연결되어 있습니다. 결론은 명확합니다. AI 지식 관리를 일회성 소프트웨어 구매가 아니라 실행과 거버넌스의 영역으로 다루는 제조기업이, 오늘의 파일럿을 내일의 경쟁 우위로 전환할 가능성이 가장 높습니다.
Hanna is an industry trend analyst dedicated to tracking the latest advancements and shifts in the market. With a strong background in research and forecasting, she identifies key patterns and emerging opportunities that drive business growth. Hanna’s work helps organizations stay ahead of the curve by providing data-driven insights into evolving industry landscapes.