2.1. AI는 확률모델이다

앞 챕터의 결론은 반복은 결정론으로, 판단은 AI에게였습니다. 그런데 여기서 자연스러운 의문이 하나 남습니다.

"굳이 둘을 나눠 써야 하나? 어느 한쪽으로 전부 하면 안 되나?"

2부를 여는 이 챕터가 그 질문에 답합니다. 답에 앞서 이 기계가 실제로 어떻게 움직이는지부터 보겠습니다. AI 쪽 한계의 뿌리가 전부 거기서 나오기 때문입니다.

1. AI는 어떻게 답을 만드나 — 다음에 올 말을 확률로 예측합니다

1부부터 AI를 확률모델이라 불러 왔습니다. 이제 그 말의 정체를 밝힐 차례입니다.

LLM(대규모 언어 모델)은 인터넷의 방대한 텍스트를 읽으며 훈련된 기계인데, 그 훈련의 핵심은 하나입니다. 문장을 여기까지 읽었을 때, 다음에 올 말을 맞히는 훈련입니다. 이때 기계가 다루는 말의 조각을 토큰(Token)이라 부릅니다. 한국어는 대략 글자 한두 자, 영어는 짧은 단어 하나 정도가 토큰 하나에 해당합니다.

그래서 AI가 답을 만드는 방식은 이렇습니다. "당기순이익이 전기 대비"까지 읽었다면 다음 토큰의 확률표를 만듭니다. '증가' 40%, '감소' 35%, '크게' 10% 같은 식입니다. 그중 하나를 뽑아 문장에 붙이고, 다시 다음 확률표를 만들어 또 뽑습니다. 이 뽑기를 수백, 수천 번 이어 붙인 결과가 우리가 받는 답변입니다.

AI는 내용을 이해해서 답하는 것이 아니라, 그럴듯한 다음 말을 확률로 이어 붙입니다.

확률에서 뽑으니 같은 요청에도 출력이 매번 조금씩 다르고, 사실이 아니라 그럴듯함을 기준으로 뽑으니 없는 내용도 매끄럽게 만들어냅니다. 1부에서 장면으로 봤던 현상들의 뿌리가 전부 이 원리 하나입니다. 이 뿌리를 기억해 두고, 이제 두 도구를 극단까지 밀어붙여 보겠습니다.

2. 결정론으로 다 하면 안 되나 — 실무는 예외투성이입니다

엑셀 수식, 매크로, RPA, 파이썬 스크립트 같은 결정론 도구는 정해진 규칙대로만 움직입니다. 같은 입력에 항상 같은 결과를 내는 이 성질이 반복 업무에서의 강점이었습니다.

하지만 이 강점을 뒤집으면 그대로 약점이 됩니다. 규칙에 없는 상황을 만나면 멈추거나, 더 나쁘게는 틀린 결과를 조용히 내놓습니다.

그리고 실무는 예외투성이입니다.

경비 증빙 처리를 떠올려 보겠습니다. A거래처는 PDF 세금계산서를 보내고, B거래처는 엑셀 거래명세서를, C거래처는 종이 영수증을 휴대폰으로 찍어 보냅니다. 같은 "증빙 수취" 업무인데 입력의 생김새가 거래처 수만큼 다릅니다.

문서에 없는 관례도 문제입니다. "이 거래처 청구서는 담당자에게 먼저 유선으로 확인한 뒤 처리한다"처럼, 어느 규정집에도 적힌 적 없는 절차가 업무 곳곳에 박혀 있습니다. 규칙으로 적을 수 없는 일은 코드로도 적을 수 없습니다. 애써 만든 자동화가 환경 변화에 무너지기도 합니다. 화면을 따라 움직이는 RPA는 홈택스 화면 개편 한 번에 시나리오 전체가 멈추는 식입니다.

그래서 결정론 도구는 처음부터 끝까지 완벽하게 루틴한 업무에만 유효합니다. 문제는 그런 업무가 생각보다 적다는 점입니다. 열 걸음 중 아홉 걸음이 루틴이어도, 사이에 낀 한 걸음의 예외 때문에 흐름 전체가 끊깁니다.

결정론이 덮는 루틴 구간 사이사이에 예외가 박혀 있다 — 한 걸음의 예외가 흐름 전체를 끊는다

3. 그럼 AI로 다 하면 안 되나 — 성질이 다른 문제가 둘입니다

반대쪽 극단도 있습니다. 예외를 유연하게 받아내는 AI에게 처음부터 끝까지 맡기는 방법입니다.

여기에는 성질이 다른 문제가 두 개 있습니다. 자주 뭉뚱그려지지만 반드시 구분해야 하고, 둘 다 앞 절에서 본 원리에서 나오는 구조적 한계라 성능이 좋아진다고 사라지지 않습니다.

첫째, 불확정성 — 반복할수록 무너집니다

1부에서 정의한 그 흔들림입니다. 특히 문제가 되는 것은 이 흔들림이 반복 속에서 누적된다는 점입니다.

이미지 생성 AI에게 같은 그림을 "그대로 다시 그려 달라"고 몇 번이고 시키다가, 결과가 점점 원본에서 멀어져 어느새 이상한 그림이 되어 버린 경험을 해 보신 분이 많을 겁니다. 한 번의 편차는 눈치채기 어려울 만큼 작지만, 되풀이되면 그렇게 쌓입니다.

업무도 같습니다. 매월 반복하는 정산을 AI에게 통째로 맡기면 1월과 2월과 3월의 산출물이 조금씩 달라지고, 이 편차는 저절로 교정되지 않습니다. 반복이야말로 AI가 구조적으로 가장 약한 지점입니다.

둘째, 할루시네이션 — 그럴듯한 오답을 지어냅니다

할루시네이션(Hallucination, 환각) 은 AI가 사실이 아닌 내용을 사실처럼 자신 있게 만들어내는 현상입니다.

회계 실무에서는 이렇게 나타납니다. 리스 회계처리의 근거를 물으면 "K-IFRS 제1116호 문단 ○○에 따르면"이라며 존재하지 않는 문단을 매끄럽게 인용합니다. 법령 조문이나 예규 번호도 마찬가지입니다.

무서운 것은 형식이 완벽하다는 점입니다. 문단 번호의 모양새가 진짜와 똑같아서, 원문을 펼쳐 보기 전에는 가려낼 방법이 없습니다. 저도 AI가 인용한 기준서 문단은 그대로 쓰지 않고 반드시 원문과 대조합니다.

두 문제는 이렇게 다릅니다.

구분	불확정성	할루시네이션
문제의 성격	출력이 매번 흔들린다	없는 사실을 지어낸다
틀림의 모양	쓸 만한 답들 사이의 편차	그럴듯한 거짓
주로 드러나는 순간	반복 실행할 때	검증 없이 믿을 때

원인이 다르니 대책도 다릅니다. 불확정성은 반복 구간을 AI 바깥으로 빼는 방식으로, 할루시네이션은 검증 절차를 세우는 방식으로 각각 따로 다루게 됩니다.

4. 왜 하필 우리 일에 치명적인가 — 그래서 둘 다 필요합니다

물론 이 한계가 모든 직군에 똑같이 아픈 것은 아닙니다. 블로그 글이나 광고 시안 같은 창작물은 매번 달라도 되고, 90점짜리 결과물이면 충분히 씁니다.

회계·재무는 정반대입니다. 시산표는 1원까지 맞아야 하고, 장부와 증빙이 10원만 어긋나도 원인을 찾을 때까지 검토가 끝나지 않습니다. 저 역시 매달 조서와 정산표, 보고서를 반복해서 만드는데, 그 안의 숫자 하나가 다른 문서와 어긋나면 일은 거기서 멈춥니다.

90%의 정확도란 열 번에 한 번 틀린다는 뜻입니다. 열 번에 한 번 틀리는 결산 도구를 신뢰할 실무자는 없습니다.

이제 장면을 겹쳐 보면 구도가 선명해집니다. 결정론은 예외 앞에서 멈추고, AI는 반복 속에서 흔들립니다. 그리고 두 한계는 정확히 서로의 강점입니다. 결정론이 못 하는 예외의 해석은 AI가 하고, AI가 못 하는 "매번 똑같이"는 결정론이 합니다. 앞 챕터의 결론 — 반복은 결정론으로, 판단은 AI에게 — 이 여기서 다시 확인됩니다.

다만 이쯤에서 이런 생각이 들 수 있습니다.

"AI의 흔들림이 문제라면, 프롬프트를 더 정교하게 쓰면 잡을 수 있지 않을까?"

지시가 구체적일수록 결과가 좋아지는 것은 분명한 사실이니까요. 다음 챕터에서는 이 기대가 어디까지 유효하고 어디서부터는 통하지 않는지, 그리고 그 너머의 진짜 열쇠 — 코드와 토큰 이야기를 살펴보겠습니다.