기업에서의 AI, 어떻게 도입해야 하는가 - 모래성을 쌓지 말자 (back to the basic)

 요즘 기업에서 AI 도입에 한창이다...아니 모든 기업이 이제 AI를 쓰고있다고 봐야한다. 좋던 싫던 부분적이던 전체적이던 AI를 도입했으며 회사가 안했다면 개인이 제미나이던 챗지피티던 클로드던 하나는 다 쓰고 있다. 학생들도 다 쓰는데 직장인이 안쓰기는 어려울 것이다. 물론 안쓰고도 인정받고 회사를 잘 다닐 수 있다면 해피한 것일 수도 있다. 아무튼 많은 회사가 AI를 도입하고 있는데 괜한 우려인지는 모르겠으나 여러가지 생각이 들어 글을 써본다.




[블록덕 인사이트] 기업용 챗GPT를 샀는데 왜 답을 못 할까? : 모래성을 허물고 진짜 AI 최적화를 완성하는 길

최근 학교 동창이나 선후배들을 만나보면 (제가 산업공학을 전공해서 주위에 AI, 디지털, 혁신 관련 업무를 하는 사람들도 많고 나이가 있다보니 대부분 리더 역할을 많이 합니다) 많은 혁신 리더/경영진이 고민을 하는 것을 들어봅니다. "AI는 빨리 도입을 해야하고 시대는 하루가 다르게 변하고 있는데 보안이 강화된 기업용(Enterprise) 챗GPT나 코파일럿을 도입하는 것이 회사 AI 혁신이 아니냐"는 것입니다. 물론 틀린 말은 아니다. 반은 맞는 말이다. 그들도 다 알고는 있지만 ERP도 개선하고 프로세스도 기계가 할 수 있도록 정비하고 데이타도 모으고 학습시켜고 LLM 외 최적화 알고리즘도 고민해야 하고 FM대로 하려면 참 힘든 일이고, 현실적으로 3년 프로젝트 잡고 하기에는 사내공감대를 얻기도 쉽지 않을 것이다.

하지만 막상 수억 원을 들여 시스템을 열어주고 "이번 주 최적 생산 스케줄을 짜줘" 혹은 "마진율을 극대화할 수 있는 물류 라우팅을 찾아줘"라고 질문하면, 언어모델 AI만 가지고는 침묵하거나 뜬구름 잡는 소리만 늘어놓게 될 것입니다. 왜 그럴까요? 기초적인 데이터 정합성과 최적화 알고리즘이라는 '지반' 없이, 화려한 LLM(거대언어모델)이라는 '모래성'만 쌓았기 때문입니다. 물론 언어모델이 커뮤니케이션 속도를 증폭시키고 많은 업무를 효율화 합니다. 하지만 기업 AI의 본질은 임직원의 이메일 초안을 써주고 파워포인트, 워드를 작성해 주고 외부데이타를 좀더 쉽게 검색하는 것에 머물러서는 안 됩니다. 진짜 지능형 기업(Intelligent Enterprise)으로 도약하기 위해 반드시 짚고 넘어가야 할 세 가지 퍼즐과 그 융합에 대해 이야기해 보겠습니다.

1. '언어 천재'에게 '수학 난제'를 묻는 오류


LLM은 방대한 텍스트를 학습해 가장 자연스러운 문장을 완성하는 '언어 천재'입니다. 하지만 수만 가지 경우의 수를 계산해 최적해를 찾는 '수학자'는 아닙니다. 정밀 제조 현장을 예로 들어보겠습니다. 철강 압연 공정에서 강종과 두께를 교체할 때 발생하는 셋업 타임(Setup Time)을 최소화하면서 납기를 맞추는 것은 전형적인 '용량 제약이 있는 최적화 문제(Capacitated Scheduling Problem)'입니다. 현장의 설비 제약, 원자재 재고, 복잡한 공정 순서(Routing)를 동시에 풀려면 혼합정수계획법(MILP) 또는 메타휴리스틱 같은 고도의 수리적 알고리즘이 필요합니다. 챗GPT 같은 외부 LLM은 이 복잡한 현장 데이터를 알지도 못할뿐더러, 이를 독자적으로 계산해 낼 수 있는 최적화 엔진(Solver)도 갖고 있지 않습니다.

2. 흩어진 사일로(Silo)와 데이터의 한계


백번 양보해서 AI가 훌륭한 계산 능력을 갖췄다고 해도, '읽을 데이터'가 없으면 무용지물입니다. 기업 내부를 들여다보면 영업팀은 엑셀로, 생산팀은 낡은 MES로, 재무팀은 각기 다른 전표 시스템으로 데이터를 관리하는 경우가 태반입니다. (물론 일부 대기업들은 최신 버전 SAP ERP를 갖고 있기는 합니다. 하지만 대부분 그렇지 않습니다)

데이터가 파편화되어 있고 숫자가 맞지 않는 상태(Garbage In)에서는 아무리 뛰어난 AI를 돌려도 결국 쓰레기 값(Garbage Out)이 나옵니다. 전사적 데이터가 실시간으로 일관되게 흐를 수 있는 단일 진실 공급원(Single Source of Truth)이 필요합니다. 이것이 바로 차세대 ERP 고도화가 AI 도입의 필수 전제 조건인 이유입니다. 낡은 레거시 시스템을 걷어내고 뼈대를 바로 세우지 않으면, 기업의 진짜 핵심 정보(자재 소요량, 마진율, 고객사 단가 등)를 AI에 안전하게 공급할 수 없습니다. 또한 ERP 안에 업무를 수행할 수 있는 프로세스가 탑재되어 있어야 향후 AI 에이전트 활용도 극대화할 수 있습니다.

※ 사일로: 본래 농가에서 곡물을 저장하는 원통형 창고를 의미하지만, 비즈니스와 경영학에서는 '조직 내의 각 부서나 팀이 자신의 업무 영역에만 갇혀 다른 부서와 소통하거나 협력하지 않는 현상'을 뜻하는 부정적인 의미로 주로 사용

3. 진정한 혁신: LLM + 데이터 + 최적화 엔진의 완벽한 융합


그렇다면 비즈니스 혁신을 위한 AI 솔루션은 어떻게 구성되어야 할까요? 목적에 맞는 무기들을 결합해야 합니다.

  • 인터페이스 (LLM): ChatGPT Enterprise, M365 Copilot, 제미나이, 클로드 등은 사용자와 시스템을 이어주는 훌륭한 '통역사' 역할을 합니다.

  • 데이터 인프라 (ERP & 내재화 AI): 기업의 프로세스와 데이타를 가진 ERP 시스템은 기업 내부의 완벽한 데이터 정합성을 보장하고 안전한 샌드박스를 제공합니다. 여기에 자체 AI를 더할 수 있습니다.

  • 최적화 엔진 (Optimization Solver): IBM ILOG CPLEX, Gurobi(구로비), SAP IBP 등은 현장의 얽히고설킨 제약 조건을 풀어내어 비용을 절감하고 이익을 극대화하는 진짜 '뇌' , 알고리즘 역할을 합니다.


결국 기업 AI의 완성은 이 세 가지의 융합에 있습니다. 사용자가 자연어로 "다음 달 A제품의 마진을 극대화할 생산 스케줄을 알려줘"라고 LLM에 입력하면, LLM은 ERP 시스템에서 실시간 재무 및 재고 데이터를 끌어옵니다. 그리고 이 데이터를 최적화 솔버(Solver)로 넘겨 수리적 연산을 마친 뒤, 그 결과값을 다시 분석해 사용자에게 알기 쉬운 보고서 형태로 브리핑해 주는 청사진입니다.


4. 맺음말: 모래성을 허물고 반석을 다지자


화려한 생성형 AI 툴을 쥐여주는 것은 직원 개인의 스킬을 높일 뿐입니다. 기업이라는 거대한 유기체의 체질을 바꾸고 프로세스를 최적화하려면, 보안 장벽을 넘어 기업의 핵심 인프라인 ERP부터 고도화해야 합니다. 보이지 않는 인프라 혁신과 데이터 정합성 확보, 그리고 실질적인 최적화 알고리즘의 내재화. 가장 재미없어 보이지만, 이 탄탄한 지반 없이는 어떤 AI 혁신도 파도 한 번에 무너질 모래성에 불과합니다. 진짜 비즈니스 가치를 창출하고 싶다면, 지금 당장 모래성을 짓는 삽질을 멈추고 지반 공사부터 다시 점검해야 할 때입니다.

댓글

이 블로그의 인기 게시물

[블록덕 인사이트] 지식의 자본화 - '디지털 복리 시스템'이 1인 기업의 대차대조표를 바꾸는 원리

스트래티지(MSTR) 새로운 대시보드 - 비트코인 본위제 재무제표 탄생