1부. 문제와 원리
1.1. AI를 활용한 업무자동화가 실패하는 이유
AI를 활용한 업무자동화가 실패하는 이유를 규칙 기반(결정론)의 한계와 생성형 AI의 불확정성 측면에서 분석하고, 올바른 자동화 전략을 세우기 위한 문제의 본질을 진단합니다.
요즘 어딜 가나 온통 AI 이야기입니다. AI가 사람 대신 코드를 짜고, 슬라이드를 작성하고, 심지어 영상까지 뚝딱 만들어낸다는 소식이 매일같이 쏟아집니다. 어떤 기업은 AI 도입으로 업무 효율을 몇 배나 끌어올렸다고 자랑하기도 합니다.
이런 소식에 이끌려 나도 ChatGPT, Claude, Gemini와 같은 앱을 켜고 내가 매일 하는 업무를 AI에게 시켜 봅니다.
처음 마주한 결과물은 제법 그럴듯해 보입니다. 문장도 매끄럽고 구성도 나쁘지 않습니다. 하지만 막상 자세히 들여다보면 우리 회사 양식과는 어딘가 맞지 않습니다.
표 서식을 표준으로 바꾸고 항목 순서만 조금 조정해 달라고 다시 요청해 봅니다. 그런데 이번에는 손대지 말아야 할 본문까지 엉뚱하게 바뀌어 돌아옵니다. 어디가 어떻게 바뀌었는지 처음부터 다시 대조하고 검토하다 보면, 결국 한숨 섞인 결론에 도달합니다.
그냥 내가 하는 게 빠르겠다.
본 가이드는 이 실패가 왜 반복되는지, 그리고 어디서부터 풀어야 하는지를 다룹니다.
1. 업무자동화가 실패하는 이유
먼저 분명히 해둘 사실이 있습니다. 이 실패는 여러분만의 문제가 아닙니다.
AI가 개발자 대신 코드를 짜고 화려한 이미지나 영상을 만들어내며 뛰어난 능력을 보여주는데, 왜 우리 일에는 정작 제대로 활용하지 못하는 걸까요? 회계, 재무, 세무를 비롯한 사무직 업무가 대규모 소프트웨어 개발보다 복잡하거나, 예술 창작처럼 고도의 독창성을 요구하는 일도 아닌데 말입니다.
주변을 둘러봐도 AI로 자기 업무를 완벽히 자동화해서 편하게 일하고 있다는 실무자는 찾아보기 어렵습니다. 소셜 미디어나 영상에 넘쳐나는 성공 사례들은 대부분 특정 조건에 딱 맞춘 단발성 결과물이거나, 매번 결과가 달라져도 상관없는 창작 분야의 이야기인 경우가 많습니다.
결론적으로 우리의 실무를 자동화하는 것이 이토록 어려운 이유는, 업무 자동화의 역사에서 마주친 두 가지 한계 때문입니다.
2. 규칙 기반(결정론)의 한계
AI 이전의 전통적인 자동화는 엑셀 매크로(VBA), 파이썬 스크립트, 그리고 RPA(Robotic Process Automation)처럼 프로그래밍에 기반했습니다. 그리고 이를 앞으로 결정론적(Deterministic) 방식이라고 부르겠습니다.
결정론적 방식은 철저히 정해진 규칙대로만 동작합니다. 입력이 같으면 만 번을 돌려도 만 번 모두 완벽하게 똑같은 결과를 냅니다. 업무 흐름이 명확하고, 데이터 양식이 변하지 않는 완벽한 루틴 업무라면 가장 강력한 방법입니다.
하지만 우리의 실제 업무는 그렇지 않습니다. 수많은 예외와 비표준이 존재합니다.
- 거래처마다 보내오는 증빙 서류의 양식이 제각각입니다 (PDF 전자세금계산서, 엑셀 명세서, 종이 영수증 사진 등).
- 규정 어디에도 적혀 있지 않은 사내 관례나 예외 처리 절차가 업무 곳곳에 박혀 있습니다.
- 홈택스나 사내 ERP의 웹 화면이 조금만 개편되어도 화면 좌표를 따라 움직이던 매크로나 RPA는 즉시 멈춰 섭니다.
즉, 결정론적 방식으로는 이 모든 예외사항을 규칙으로 만들어 처리할 수 없고, 결국 이를 해결하기 위해 사람이 다시 개입해야 했습니다.
3. AI 자동화의 한계
바로 이 지점에서 사람처럼 문맥을 읽고 유연하게 추론, 판단하는 생성형 AI가 등장했습니다. 정해진 규칙이 없어도 비정형 문서를 읽어내고, 제각각인 양식에서 필요한 정보를 척척 뽑아냅니다. 0과 1의 규칙에만 갇혀 있던 업무자동화에 새로운 길이 열린 것처럼 보였습니다.
그래서 많은 실무자가 AI에게 업무를 통째로 맡겨보지만, 여기서 곧바로 두 번째 벽에 부딪힙니다.
우리가 자동화하고 싶은 실무의 산출물(월별 결산자료, 분기별 공시자료 등)은 대부분 정해진 양식과 프로세스를 반복적으로 사용합니다. 그리고 이러한 업무의 핵심은 일관성입니다. 지난달과 이번 달의 산출물은 들어가는 숫자만 다를 뿐 양식, 계정과목 체계, 계산 수식, 검증 절차는 완전히 같아야 합니다.
그런데 생성형 AI는 확률모델이며, 본질적으로 불확정성(Nondeterminism) 이라는 한계를 갖습니다.
불확정성이란 쉽게 말해 "같은 입력을 주어도 매번 다른 결과가 나오는 성질" 을 의미합니다. 전통적인 프로그래밍이 0과 1의 알고리즘에 따라 100% 예측 가능한 결과를 낸다면, 대규모 언어 모델(LLM)은 문맥을 바탕으로 다음에 올 가장 그럴듯한 단어(토큰)를 확률적으로 계산하여 선택합니다. 즉, AI의 작동 원리 자체가 '확률적 추론'에 기반하고 있기 때문에 본질적으로 매 실행마다 결과의 변동성이 생길 수밖에 없습니다.
불확정성은 실무에서 크게 두 가지 형태로 나타납니다.
3.1. 출력의 비일관성
흔히 AI의 한계라고 하면 '할루시네이션'을 먼저 떠올리지만, 실제 업무 자동화를 무너뜨리는 더 치명적인 주범은 바로 출력의 비일관성입니다.
아무리 정교하게 프롬프트를 작성해도 매번 출력 서식과 데이터 구조가 조금씩 달라집니다. 같은 요청을 넣어도 표의 테두리와 열 순서가 바뀌고, 날짜 포맷이나 이름, 용어가 미묘하게 변합니다.
특히 치명적인 것은 '핀포인트(Pinpoint) 수정'이 어렵다는 점입니다. 실무에서는 특정 서식이나 항목 하나만 딱 집어서 바꾸고 싶을 때가 대부분이지만, AI는 해당 부분만 골라 고치는 것이 아니라 매번 처음부터 전체를 다시 작성합니다. 이 과정에서 손대지 말아야 할 멀쩡한 본문이나 숫자까지 의도치 않게 바뀌어 돌아옵니다.
결국 어디가 어떻게 바뀌었는지 처음부터 다시 전수 대조하고 서식을 다듬어야 하므로, 자동화를 하려다 또 다른 수작업의 덫에 갇히게 됩니다.
표 서식만 바꿔 달라고 했지만 AI는 처음부터 다시 쓴다 — 요청한 자리 밖까지 바뀌고, 어디가 바뀌었는지는 알려 주지 않는다
3.2. 할루시네이션 (Hallucination)
또한 많은 사람들이 '할루시네이션(환각)'을 AI의 단순한 지식 부족이나 일시적 오류로 생각하지만, 사실 할루시네이션 역시 AI의 근본적인 불확정성에서 파생되는 필연적인 현상입니다.
AI는 '진실(Fact)'을 검증하여 말하는 것이 아니라, 문맥상 '가장 그럴듯한(Plausible) 확률의 단어 조합'을 선택하기 때문입니다.
회계·세무 실무에서 법적 근거를 물으면 존재하지 않는 K-IFRS 기준서 문단 번호나 세법 조항을 매우 자신 있게 지어내 인용하는 이유가 바로 여기에 있습니다. "이 맥락에서는 이런 전문 용어와 조항 번호가 들어갈 확률이 높다"는 계산에 따라 그럴듯하게 단어를 이어 붙인 결과입니다. 형식이 너무나 완벽해서 원문을 직접 찾아 대조하기 전에는 거짓임을 알아채기조차 어렵습니다.
결국 할루시네이션은 확률 모델이 가진 불확정성이 '내용과 사실의 왜곡'으로 발현된 것입니다.
실무에서 "열 번 중 아홉 번 잘 나오는 것"은 성공이 아닙니다. 단 한 번이라도 숫자가 틀어지거나 서식이 깨지면 실무자는 결국 산출물 전체를 처음부터 끝까지 직접 눈으로 대조·검토해야 합니다.
검토하고 뒷수습하는 데 드는 시간과 스트레스가 직접 작업하는 것보다 커지는 순간, 자동화는 실패로 끝납니다.
같은 요청 열 번 중 아홉 번이 정상이어도, 어느 것이 틀렸는지 모르니 열 건을 전부 대조해야 한다
여기까지 읽으면 자연스럽게 이런 의문이 들 수 있습니다.
그렇다면 우리 실무에서 AI를 활용한 업무자동화는 불가능한 걸까요?
결코 그렇지 않습니다. 우리가 겪은 실패는 도구의 특성과 업무의 자리가 어긋났기 때문입니다. AI의 불확정성을 있는 그대로 인정하고 이를 통제하는 시스템을 만든다면, 실무에서도 흔들리지 않는 자동화를 충분히 구축할 수 있습니다.
다음 챕터부터는 이를 해결하기 위한 구체적인 전략과 이를 실무에서 어떻게 직접 구현할 수 있는지를 차례로 풀어가겠습니다.
이 가이드 그대로 팀·조직 교육이 필요하신가요? 실무자 눈높이의 강의·워크숍으로 진행합니다.