1장. AI, 생성형 AI, LLM

지난 글에서는 우리 실무에서 AI로 업무자동화를 시도할 때 왜 실패로 끝나는지에 대한 원인을 알아보고 실패 없는 자동화를 위한 핵심으로 **'반복되는 부분은 코드로 고정하고, 판단만 AI에게 맡기는 전략'**을 살펴보았습니다.

이 전략을 내 업무에 제대로 구현하려면 도구의 작동 원리를 정확히 알아야 하지만, 많은 분들이 첫걸음부터 주춤합니다. 바로 AI 용어의 장벽 때문입니다.

"AI면 AI이지 대체 생성형 AI는 무엇이고, LLM이라는 건 또 무엇인가? 요즘 부쩍 많이 들리는 AI 에이전트라는 건 또 무엇이 다른가?" 비슷비슷해 보이는 단어들이 뒤섞여 정작 무엇을 어떻게 실무에 써야 하는지 갈피를 잡기 어렵습니다.

용어와 원리를 모른 채로는 아무리 좋은 도구가 나와도 시행착오를 되풀이할 뿐입니다. 그래서 이 장부터 실무 자동화 시스템을 구축하는 데 꼭 필요한 AI 관련 핵심 개념을 차례로 정리해 보려 합니다.

그 첫 출발점인 이 장에서는 AI, 생성형 AI, LLM의 개념을 명확하게 정리합니다. 나아가 우리가 실무에 직접 쓰게 될 LLM이 어떤 원리로 글을 쓰는지 살펴보고, 그 원리에서 필연적으로 발생하는 세 가지 한계를 짚어보겠습니다. 지난 글에서 프롬프트를 아무리 공들여 써도 매번 표와 숫자가 달라졌던 현상 역시 실무자의 프롬프트 실력 탓이 아니라, 바로 이 장에서 살펴볼 LLM의 한계 때문이었습니다.

AI, 생성형 AI, LLM

AI: 미리 학습해서 예측한다

AI(Artificial Intelligence, 인공지능)는 데이터를 미리 학습해서, 그것을 토대로 사람처럼 판단하고 분류하고 예측하는 모든 프로그램을 말합니다.

우리 대부분이 AI라는 말을 처음 실감한 때는 2016년 이세돌 9단과 구글의 알파고가 바둑을 둔 무렵입니다. 대국 전만 해도 경우의 수가 무한에 가까운 바둑으로 기계가 사람을 이기기는 어렵다는 예상이 대부분이었지만, 알파고가 첫 판과 두 번째 판을 연달아 이기자 모두가 충격에 빠졌습니다. 이 때 알파고가 한 일은 지금까지 나온 수많은 바둑 기보를 학습해 다음 수를 어떻게 두어야 이기는지를 예측, 판단한 것이었습니다. 이처럼 알파고 또한 데이터를 미리 학습해서 다음에 둘 수를 판단하는 프로그램이므로 AI라고 부릅니다.

우리가 AI라고 의식하지 않을 뿐, 일상에서 쓰는 프로그램에도 같은 원리의 AI가 들어 있습니다.

• 스팸메일 필터: 우리가 받는 메일 중에서 자동으로 스팸메일인지를 판단해서 분류해주는 기능도 AI의 한 종류입니다. 이 프로그램은 수많은 메일과 함께 "이것은 스팸이다, 이것은 아니다"라는 정답지를 주고 학습시킨 것입니다.
• 유튜브 추천 알고리즘: 추천 알고리즘은 사용자들의 시청 기록을 학습한 프로그램입니다. "이 영상을 본 사람은 다음에 주로 이런 영상을 찾아보더라"는 패턴을 익혀, 영상 하나를 보면 관련 영상을 추천합니다.

여기까지 세 프로그램의 공통점은 판단하고 분류하고 예측할 뿐, 새로운 결과물을 만들지는 않는다는 데 있습니다. 회사에서 'AI 도입'이라는 같은 말을 쓰더라도, 그 안에는 이렇게 판단만 하는 프로그램과 새로운 결과물을 만드는 AI가 섞여 있습니다.

생성형 AI: 새로운 결과물을 만든다

2022년말 ChatGPT가 등장함에 따라 우리에게 생성형 AI(Generative AI)라는 단어가 알려지기 시작했습니다. 생성형 AI는 학습한 데이터를 바탕으로 새로운 결과물을 만들어 내는 AI입니다. 판단과 예측에 머물던 기존 AI와 달리, 글이나 이미지, 영상처럼 눈으로 볼 수 있는 결과물을 직접 만들어 보여 줍니다.

알파고나 스팸메일 필터는 채팅창으로 우리에게 답하지 못합니다. 하지만 ChatGPT는 수많은 글을 학습한 뒤 그것을 바탕으로 사람처럼 글을 써서 답했고, 우리가 채팅창에서 받는 답변이 곧 AI가 새로 만든 결과물입니다.

생성형 AI는 무엇을 만드느냐에 따라 여러 종류가 있습니다.

• 글: 우리가 일반적으로 사용하는 챗봇들 처럼 글을 학습해서 글을 씁니다.
• 이미지: 나노바나나, GPT-image, 미드저니 같은 이미지 생성 모델은 이미지를 학습해서 이미지를 만듭니다. 한때 유행했던 디즈니풍 이미지를 이런 모델이 유난히 잘 만든 이유도, 학습한 데이터에 디즈니 그림이 많았기 때문입니다.
• 영상: Veo, 소라(Sora), 클링(Kling) 같은 영상 생성 모델은 영상을 학습해서 영화에 가까운 수준의 영상을 만들어 냅니다.

여기서 기억할 점은 각자 학습한 것만 만든다는 사실입니다. 이미지 모델은 이미지를, 영상 모델은 영상을, 글 모델은 글을 만듭니다. 우리가 매일 다루는 기준서와 법령, 결산 자료, 결산 보고서, 재무제표는 모두 글과 숫자로 이루어져 있습니다. 따라서 우리 실무에 직결되는 생성형 AI는 글을 쓰는 쪽이고, 그 글을 쓰는 AI가 바로 LLM입니다.

LLM: 글을 읽고 쓰는 AI

LLM(Large Language Model)은 우리말로 '대규모 언어 모델'이라고 부르며, 생성형 AI 가운데 글을 읽고 쓰는 AI를 말합니다. 우리가 매일 쓰는 ChatGPT, 클로드, 제미나이가 모두 LLM에 해당합니다.

LLM이라는 단어의 사전적 정의를 아는 것도 중요하겠지만, 더 중요한 것은 LLM을 어떻게 활용해야 하는지 이해하는 것입니다. LLM이라는 이름에 담긴 세 단어에는 이 AI가 일하는 원리가 그대로 담겨 있고, 그 원리가 곧 세 가지 한계로 이어집니다.

LLM의 원리와 한계

LLM이라는 이름을 이루는 세 단어에는 이 AI가 일하는 원리가 그대로 담겨 있습니다.

• Large(대규모): 인터넷의 웹 문서와 책, 뉴스, 개발자들이 쓴 코드 같은 방대한(large) 데이터를 미리 학습했다는 뜻입니다. 데이터의 양보다 중요한 대목은 '미리' 학습했다는 점이며, 이 때문에 LLM은 사전에 학습한 데이터만 기억합니다.
• Language(언어): 생성형 AI 중에서 글(language)을 학습한 모델이라는 뜻입니다. 따라서 LLM은 글만 읽고 쓸 줄 압니다.
• Model(모델): 앞선 문맥을 보고 다음에 올 가장 그럴듯한 단어를 확률로 골라 이어 쓰는 확률 모델이라는 뜻이며, 이 때문에 같은 요청에도 결과가 매번 달라집니다.

ChatGPT의 GPT도 같은 이야기를 합니다. GPT는 Generative(생성하는), Pre-trained(사전학습된), Transformer(모델 구조의 이름)의 머리글자로, 미리 학습한 데이터로 글을 생성한다는 뜻을 담고 있습니다.

정리하면 LLM은 미리 학습한 데이터로 확률상 가장 그럴듯한 글을 쓰는 모델입니다. 여기서 LLM의 한계가 나오는데, 이 세가지 한계는 모두 LLM이 글을 쓰는 방식 자체에서 나오는 성질이기 때문에 모델이 좋아지고 요금제를 바꿔도 사라지지 않습니다. 그러니 이 세 한계를 어떻게 넘느냐가 AI 활용 전략의 핵심입니다. 하나씩 자세히 살펴보겠습니다.

한계 ① 사전학습: 학습되지 않은 정보는 모른다

LLM은 출시 전 사전에 학습한 데이터만 알고, 학습에 포함되지 않은 정보는 알지 못합니다. 이로 인해 실무에서는 크게 두 가지 공백이 생깁니다.

첫째는 최신 데이터를 알지 못한다는 점입니다. 모델은 출시 시점까지의 데이터로 학습을 마치고 고정되므로, 그 이후에 개정된 회계기준이나 세법, 새로운 예규와 판례 같은 최신 정보를 알지 못합니다.

둘째는 공개되지 않은 사내 데이터를 알지 못한다는 점입니다. LLM은 인터넷에 공개된 데이터를 중심으로 학습했기 때문에, 외부에 공개되지 않는 우리 회사의 사내 규정, 고유한 결산 양식, 지난 분기 결산 파일 등은 애초에 학습할 수 없었습니다.

물론 요즘 AI는 웹 검색 기능을 통해 최신 정보를 어느 정도 보완할 수 있습니다. 하지만 웹상의 정보는 검증되지 않은 내용이 많고, 외부에 공개되지 않는 데이터는 결코 알 수 없다는 한계가 여전히 남습니다.

더 큰 문제는 모를 때 모른다고 답하지 않고 그럴듯하게 거짓 정보를 지어내는 할루시네이션(Hallucination, 환각)이 발생한다는 점입니다. 존재하지 않는 기준서 문단 번호나 법령 조항을 자신 있게 인용하는 식인데, 모른다는 사실이 답변에 드러나지 않아 실무에 치명적일 수 있습니다.

결국 사전학습에 없는 정보, 즉 판단에 필요한 배경과 기준은 실무자가 직접 전달해줘야 합니다. 이렇게 AI에게 건네주는 배경 정보를 컨텍스트(Context)라고 부르며, 3장에서 자세히 다룹니다.

한계 ② 글만 쓸 줄 안다

LLM은 기본적으로 글(텍스트)만 읽고 쓸 줄 아는 도구입니다. 모델 자체가 사람처럼 엑셀 프로그램을 직접 띄워 마우스로 셀을 클릭하고 수식을 입력하는 손발을 가지고 있지는 않습니다. 들어가는 입력도 글이고 나오는 출력도 글일 뿐입니다.

실제로 불과 1년 전까지만 해도 AI 챗봇은 답변만 글로 돌려줄 뿐 실제 우리 업무를 대신해 주지는 못했습니다. 표를 정리해 달라고 요청해도 채팅창 화면에 글자로 된 표 모양을 띄워줄 뿐이어서, 결국 사람이 표를 긁어다 엑셀에 붙여 넣고 깨진 서식을 바로잡아야 했습니다.

당연히 많은 사람들은 AI가 단순히 말로 답변만 해주는 데 그치지 않고, 엑셀 파일을 직접 만들거나 보고서를 완성하는 작업까지 대신해 주기를 원했습니다. 그리고 이러한 요구를 실제로 구현해 낸 도구가 바로 AI 에이전트(AI Agent)입니다.

그렇다면 글만 쓸 줄 아는 AI가 대체 어떻게 실제 파일까지 뚝딱 만들어 주는 걸까요?

그 비밀이 바로 앞선 서론에서 다루었던 **'코드'**에 있습니다. AI가 직접 엑셀을 조작하는 것이 아니라 '파일을 생성하는 코드'를 글(텍스트)로 작성하고, 컴퓨터가 그 코드를 대신 실행하여 실제 파일로 만들어 내는 것입니다. 즉, **"AI는 코드를 쓰고, 컴퓨터는 이를 실행한다"**는 분업을 통해 글만 쓴다는 한계를 뛰어넘었습니다.

글만 쓸 줄 아는 AI가 어떻게 실무 파일을 완성해 내는지, 더 상세한 이야기는 다음 2장에서 이어서 다루겠습니다.

한계 ③ 확률 모델: 매번 달라진다

LLM은 문장을 통째로 완성하지 않습니다. 앞선 문맥을 살피며 다음에 올 가장 자연스러운 단어를 확률 분포 속에서 골라 하나씩 이어 씁니다. 예를 들어 문맥상 "대손충당금을" 다음에 '설정'이 올 확률이 62%, '계상'이 25%, '환입'이 9%라고 계산되었다면, LLM은 이 확률에 따라 다음 단어를 선택합니다.

여기서 핵심은 확률이 가장 높다고 해서 언제나 '설정'만 선택되는 것은 아니다라는 점입니다. 62%의 확률이란 열 번 중 대략 여섯 번쯤 선택된다는 뜻이며, 나머지 네 번은 '계상'이나 '환입'이 선택될 수 있습니다. 이렇게 매 순간 확률에 따라 단어를 선택하는 과정을 수천 번 되풀이하여 만들어진 결과물이 바로 우리가 마주하는 답변입니다.

이처럼 매 순간 다음 단어를 확률로 선택하기 때문에, 토씨 하나 틀리지 않고 똑같은 프롬프트를 입력하더라도 결과는 매번 달라질 수밖에 없습니다. 서론에서 다루었던 불확정성(Nondeterminism)의 실체가 바로 이것입니다. 프로그램에 오류가 있어서가 아니라, LLM이라는 기술 자체가 원래 이렇게 작동하도록 설계되었기 때문입니다. 반면 우리가 매일 쓰는 엑셀의 =SUM(B2:B13)은 열 번, 백 번을 다시 계산해도 항상 1원 단위까지 똑같은 결과를 냅니다. 수식은 확률이 아니라 정해진 규칙대로만 계산하기 때문입니다.

이제 앞선 서론에서 마주했던 불확정성의 원인이 명확해집니다. 글만 쓸 줄 아는 AI가 엑셀 파일을 만들기 위해서는 코드를 작성해야 하는데, 그 코드 자체가 매번 확률 모델로 새롭게 작성되다 보니 실행 결과물인 엑셀 파일 역시 매번 달라질 수밖에 없었던 것입니다.

실제로 아무런 규칙을 주지 않은 채 같은 매출원장으로 외상매출금 월별 합계표 작성을 네 번 요청했을 때, 열이 8개, 10개, 4개, 10개로 저마다 다른 형식의 표가 돌아온 이유가 바로 여기에 있습니다.

이렇게 매번 결과가 달라지는 것을 방지하기 위해 프롬프트를 더 정교하게 다듬는 방법도 있습니다. 하지만 프롬프트만으로는 결과의 흔들림 폭을 줄일 수는 있어도 결코 '0'으로 만들 수는 없습니다.

결국 가장 중요한 해결책은, 매번 코드를 새로 작성하게 두지 않고 반복되어야 하는 작업을 '코드'로 고정해 두는 것입니다. 프롬프트로 흔들림을 줄이고 코드로 반복을 고정하는 구체적인 실무 전략은 다음 장에서 더 자세히 다루겠습니다.

세 한계와 그것을 넘는 개념

정리하면 AI는 데이터를 학습해 판단하고 예측하는 프로그램 전체를 뜻하고, 생성형 AI는 그중 새로운 결과물을 만들어 내는 AI이며, LLM은 그 안에서 글을 읽고 쓰는 AI입니다. 실무에서 흔히 혼용되는 생성형 AI, ChatGPT, LLM은 결국 같은 대상을 서로 다른 범위로 부른 이름들입니다.

그리고 LLM에는 세 가지 본질적 한계가 존재합니다. 사전 학습으로 학습하지 않은 것은 알지 못하고, 컴퓨터를 직접 조작하지 못하고 글만 쓸 줄 안다는 점, 그리고 가장 중요한 것은 같은 요청에도 결과가 매번 달라지는 불확정성입니다. '프롬프트 한 줄로 모든 실무를 끝낸다'는 시도가 실패하는 이유도, 이 세 가지 한계를 이해하지 못한 채 AI에게 업무 전체를 통째로 맡겼기 때문입니다.

결국 AI를 실무에 제대로 활용한다는 것은 이 세 가지 한계를 올바른 방법으로 보완하여 넘어서는 것을 의미합니다. 각 한계를 극복하는 해법과 그에 대응하는 핵심 개념은 다음과 같습니다.

이어지는 2장에서는 세 가지 한계 가운데 '글만 쓴다'는 한계를 뛰어넘은 AI 에이전트를 본격적으로 살펴봅니다. 서두에서 던졌던 "AI 에이전트는 대체 무엇이 다른가?"에 대한 명쾌한 답을 확인하고, 에이전트 도구를 손에 쥐었을 때 나머지 두 한계를 어떻게 채워 나가야 할지 그 구체적인 실무 전략으로 나아가겠습니다.