2장. AI 에이전트
LLM의 세 한계 가운데 글만 쓴다는 한계를 넘어선 AI 에이전트가 어떻게 파일을 읽고 코드를 실행해 일을 끝내는지, 챗봇과 로컬 에이전트는 무엇이 다른지 정리하고, 에이전트를 잘 쓰려면 남은 두 한계를 컨텍스트 · 프롬프트 · 코드로 채워야 하는 이유로 이어 갑니다.
앞선 1장에서는 AI, 생성형 AI, LLM의 개념을 정리하고, 우리가 쓰게 될 LLM의 세 가지 본질적 한계를 살펴보았습니다.
- 사전학습: 사전에 학습하지 않은 우리 회사의 데이터와 최신 정보는 알지 못한다.
- 글만 쓴다: 컴퓨터를 직접 조작하지 못하고 오직 글만 읽고 쓴다.
- 확률 모델: 똑같은 요청에도 결과가 매번 달라진다.
그리고 글의 말미에서 이 세 가지 한계를 극복하는 해법을 제시했습니다. 이 장에서 다룰 주인공인 AI 에이전트(AI Agent)는 바로 이 세 한계 가운데 두 번째 한계, 즉 '글만 쓴다'는 한계를 뛰어넘은 존재입니다.
AI 에이전트가 일을 하는 원리를 이해하면 AI가 스스로 처리할 수 있는 일과 우리가 채워 주어야 할 일을 정확히 나눌 수 있습니다. 이 장에서는 질문에 답장만 하던 AI가 어떻게 스스로 일을 하는 에이전트로 진화했는지 그 작동 원리를 살펴보겠습니다.
1. 답장만 하는 AI와 일을 대신 해주는 AI
AI 에이전트는 질문에 말로 답장만 하던 AI가, 내가 해야 할 일 자체를 직접 수행하도록 진화한 형태를 말합니다.
우리가 AI에게 "전기 대비 증감 분석 보고서 만들어 줘"라고 요청했다고 가정해 보겠습니다. 이때 과거의 챗봇과 최신 AI 에이전트는 전혀 다른 방식으로 반응합니다.
- 과거의 챗봇: "전기 대비 증감 분석 보고서를 작성하려면 먼저 전기와 당기 재무제표를 준비하시고, 다음과 같은 서식으로 표를 작성하시면 됩니다…"라며 작성 요령과 텍스트 표를 화면에 글로 띄워 줍니다. 결국 그 글을 읽고 엑셀을 열어 수식을 넣고, 워드에 표를 붙여 넣으며 보고서를 완성하는 일은 우리의 몫으로 남습니다.
- AI 에이전트: 작업 폴더에 있는 전기와 당기 결산 자료를 스스로 찾아 읽고, 수식이 포함된 엑셀 집계표와 깔끔한 양식의 워드 보고서 파일(
.docx,.xlsx)을 직접 만들어 작업 폴더에 저장해 둡니다.
- 전기와 당기 시산표를 나란히 놓으세요
- 증감액과 증감률 열을 추가하세요
- 변동이 큰 계정의 원인을 적으세요 …
즉, 과거의 AI는 질문에 글로 답장만 해주고 엑셀 작업은 사람이 직접 해야 했지만, AI 에이전트는 우리가 작업해야 하는 파일까지 완성해 냄으로써 앞서 살펴본 '글만 쓴다'는 한계를 뛰어넘은 것입니다.
2. 글만 쓰는 AI가 엑셀 파일을 만드는 법
그렇다면 LLM은 사람처럼 직접 마우스를 움직여 클릭하지도 못하고 키보드로 수식을 입력하지도 못한다고 했는데, 대체 어떻게 실제 엑셀 파일을 만들어 내는 걸까요?
이를 이해하기 위해, 우리가 LLM에게 엑셀 파일을 만들어 달라고 요청했을 때 실제로 어떤 과정을 거쳐 파일이 완성되는지 단계별로 살펴보겠습니다.
-
1단계 (사람의 지시): 먼저 우리가 대화창에 "외상매출금 월별 집계표 만들어 줘"라고 평소처럼 우리말로 지시합니다.
-
2단계 (LLM의 코드 작성): 우리의 요청을 받은 LLM은 엑셀 프로그램을 띄워 마우스를 조작하는 대신, 컴퓨터가 그 작업을 수행할 수 있도록 예를 들어 아래와 같이 파이썬(Python) 프로그래밍 코드를 글로 작성합니다.
# make_sheet.py
import openpyxl
wb = openpyxl.Workbook()
ws = wb.create_sheet('월별집계')
ws['B1'] = '1월'
ws['B2'] = '=SUMIFS(분개장!E:E, …)'
wb.save('2026년_매출집계표.xlsx')
코드가 복잡해 보이지만, 내용을 들여다보면 "새 시트를 만들고 B2 셀에 SUMIFS 수식을 넣어 엑셀 파일로 저장하라"는 지시를 컴퓨터의 언어로 적어 둔 것에 불과합니다.
컴퓨터는 굳이 엑셀 화면을 띄우지 않고도 파일을 자유자재로 다루는 전용 도구를 이미 가지고 있습니다. 즉, AI는 우리가 마우스와 키보드로 할 작업을 컴퓨터가 이해할 수 있는 코드라는 언어로 번역해 대신 적어 주는 것입니다. (이러한 코드의 구체적인 역할과 작성 원리는 3장에서 자세히 다룹니다.)
-
3단계 (컴퓨터의 코드 실행): AI가 작성한 코드를 받아 실제로 실행하는 주체는 컴퓨터입니다. 컴퓨터는 AI가 건네준 파이썬 코드를 받아 위에서부터 한 줄씩 실행합니다.
-
4단계 (결과 파일 완성 및 저장): 컴퓨터가 코드 실행을 마치면, 우리가 원했던 실제 파일이 폴더에 저장됩니다. 코드에 적힌 명령 그대로 '월별집계' 시트가 생기고, B1 셀에는 '1월', B2 셀에는 합계 수식이 들어간
2026년_매출집계표.xlsx파일이 완성되는 것입니다. 엑셀뿐만 아니라 워드 보고서든 파워포인트든 어떤 형태의 작업도 동일한 4단계를 통해 수행됩니다.
정리하면 LLM이 하는 일은 코드라는 글을 작성하는 데까지이고, 코드를 컴퓨터가 실행하게 해서 실제 파일까지 완성해 내는 존재가 바로 AI 에이전트입니다.
3. 에이전트는 일이 끝날 때까지 멈추지 않는다
챗봇과 에이전트의 또 다른 결정적 차이는 '스스로 오류를 고치며 끝까지 해내는 능력' 에 있습니다.
기존 챗봇은 사람이 질문을 던지면 한 번 답변하고 침묵합니다. 답변에 오류가 있거나 계산이 틀려도 사람이 그 부분을 복사해 다시 질문 창에 넣어 주지 않으면 아무것도 하지 못합니다.
반면 AI 에이전트는 지시받은 목표가 끝날 때까지 스스로 판단하며 움직입니다. 작업에 필요한 엑셀 파일을 작업 폴더에서 스스로 찾아 읽고 코드를 실행하며, 만약 엑셀 수식이나 코드에 에러가 발생하면 작업을 멈추는 대신 오류 메시지를 스스로 검토하고 코드를 즉시 수정해 성공할 때까지 다시 실행합니다.
이 모든 과정이 진행되는 동안 우리는 중간에 엑셀 데이터를 일일이 복사해 붙여 넣거나 오류 메시지를 전달해 줄 필요가 없습니다.
마치 팀장이 팀원에게 일을 맡겨 두고, 중간중간 보고를 받으며 방향만 승인해 주는 것과 같습니다. 뒤에서 다룰 대손충당금 결산처럼 복잡한 업무를 맡겼을 때 클로드 코드가 전체 작업 계획을 먼저 정리해 보여 주고, 우리의 확인을 받은 뒤 단계별로 엑셀 파일을 스스로 완성해 나가는 것도 바로 이러한 자율적 작동 방식 덕분입니다.
4. 챗봇과 로컬 에이전트의 차이: 일하는 공간
요즘은 Claude나 ChatGPT 등의 챗봇에서도 엑셀 파일을 만들어 줍니다. 이는 AI 서비스 회사의 원격 서버 컴퓨터에서 코드를 실행해 파일을 만든 뒤, 우리에게 채팅창으로 그 파일을 보내주는 방식입니다.
이와 달리, 그 코드 자체를 원격 서버가 아닌 바로 '내 컴퓨터'에서 직접 실행하는 것이 로컬 에이전트(Local Agent)입니다.
표 2-1. 웹 챗봇과 로컬 에이전트 비교 (2026년 10월 기준)
| 구분 | 웹 챗봇 (claude.ai · ChatGPT) | 로컬 에이전트 (클로드 코드, 코덱스) |
|---|---|---|
| 일하는 공간 | AI 서비스 회사의 원격 서버 | 내 컴퓨터(로컬 PC) |
| 첨부파일 제공 | 분석할 파일을 웹 화면에 일일이 첨부해야 함 | 내 PC에 있는 파일을 스스로 찾아서 읽음 |
| 결과물 수령 | 완성된 파일을 브라우저에서 다운로드해야 함 | 내 PC 작업 폴더에 즉시 파일로 저장됨 |
| 코드 재사용 | 새 대화창을 열면 사라지므로 처음부터 다시 지시해야 하고 똑같은 코드는 생성되지 않음 | 내 PC에 파일로 저장 되므로 똑같은 코드 사용 가능 |
완성된 엑셀 파일을 매번 브라우저에서 일일이 내려받아야 한다는 번거로움 외에도, 이 둘 사이에는 회계·재무 업무에서 매우 결정적인 두 가지 차이가 있습니다.
첫째는 내 컴퓨터에 있는 수많은 문서와 파일들을 일일이 채팅창에 첨부할 필요가 없다는 점입니다. 작업 폴더에 지난 결산 자료나 분개장, 규정집을 넣어 두기만 하면, 로컬 에이전트가 폴더 안을 스스로 탐색하여 필요한 문서를 알아서 찾아 읽고 분석합니다.
둘째는 코드가 내 자산으로 고스란히 남아 다음번에 똑같이 재사용할 수 있다는 점입니다. 웹 챗봇에서 AI가 작성해 준 코드는 대화창이 닫히면 사라져 버리지만, 로컬 에이전트가 내 PC에서 작성한 코드는 내 폴더에 어엿한 파이썬 스크립트 파일(.py)로 영구히 남기 때문에 똑같은 코드를 재사용할 수 있습니다.
따라서 다음 달 결산일이 오면 우리는 새로운 프롬프트를 고민할 필요 없이, "저장된 코드로 이번 달 매출집계표 다시 만들어줘" 라는 한마디만 던지면 됩니다. 바로 이것이 서론에서 강조했던 '반복되는 업무는 결정론(코드)으로 고정한다' 는 자동화 전략의 핵심이자, 내 컴퓨터 안에 '자동화 자산'이 차곡차곡 쌓이게 되는 원리입니다.
클로드 코드는 앤트로픽이 만든 대표적인 로컬 에이전트 도구입니다. 본래는 프로그래머들의 개발 생산성을 높이기 위해 개발되었지만, 내 PC의 로컬 파일을 직접 읽고, 코드를 실행하며, 그 코드를 내 자산으로 영구히 남기는 구조는 매달 정형화된 데이터를 반복 처리해야 하는 회계·재무 업무에 가장 완벽하게 들어맞습니다.
5. 에이전트를 완성하는 마지막 퍼즐: 남은 두 한계 채우기
에이전트라는 강력한 도구를 사용한다고 해서 LLM의 모든 문제가 해결된 것일까요? 결코 그렇지 않습니다.
클로드 코드 같은 최신 에이전트라 할지라도 그 두뇌는 여전히 LLM입니다. 즉, 1장에서 살펴본 세 가지 한계 중 '글만 쓴다'는 한계는 극복했지만, 사전학습의 한계와 확률 모델의 한계는 여전히 그대로 남아 있습니다.
결국 AI 에이전트를 실무에서 성공적으로 다룬다는 것은, LLM에 여전히 남아 있는 이 두 가지 한계를 올바른 방법으로 극복하는 것을 뜻합니다.
그 구체적인 해법이 바로 다음의 세 가지 핵심 요소입니다.
-
사전학습의 한계는 '컨텍스트(Context)'로 해결합니다. 사내 규정집, 분개장, 결산 서식 등 AI가 사전에 알 수 없는 판단의 근거 자료를 넘겨주는 것입니다.
-
확률 모델의 한계는 '프롬프트(Prompt)'와 '코드(Code)'로 해결합니다.
- 프롬프트: 대화창의 지시문뿐만 아니라 지침 문서 등을 통해 AI가 일할 방향과 기준을 통제합니다.
- 코드(스크립트): 매달 1원의 오차도 없이 똑같아야 하는 데이터 집계나 서식 등 반복 작업을 결정론적으로 고정합니다.
이 세 가지 요소를 하나로 묶으면 서론에서 강조했던 실무 자동화의 공식이 완성됩니다.
반복은 코드로 고정하고, 판단과 맥락은 AI에게 맡긴다.
이때 AI에게 판단의 맥락과 근거를 전달하는 재료가 컨텍스트이고, 작업의 방향과 업무 규칙을 통제하는 재료가 프롬프트이며, 반복되는 실행을 오차 없이 고정하는 도구가 바로 코드인 것입니다.
이어지는 3장에서는 컨텍스트, 프롬프트, 그리고 코드에 대한 개념과 이를 우리 실무에서 어떻게 활용할 수 있는지에 대해 구체적으로 다뤄보겠습니다.
비슷한 고민을 하고 계신가요? AI 강의·워크숍, 업무 자동화 — 편하게 문의 주세요.