P3T클로드 코드 같은 AI 에이전트, 파일은 누가 고칠까요
모델이 만드는 것은 도구를 부르는 요청이고, 실행은 권한을 받은 프로그램이 합니다
- 무슨 일
- AI 에이전트가 파일을 고치고 명령을 실행하고 웹을 검색합니다.
- 확인된 것
- 모델은 요청을 내놓을 뿐이고 실행은 바깥 프로그램이 합니다.
- 왜 중요한가
- 그래서 사고의 크기를 정하는 것은 모델이 아니라 권한입니다.
- 오늘 할 일
- 에이전트를 켜기 전에 확인 규칙과 접근 범위를 봅니다.
모델은 도구를 부르는 요청까지만 만들고, 실행은 권한을 가진 바깥 프로그램이 합니다.
요즘 AI 에이전트는 파일을 읽고 고치며, 명령을 실행하고 웹을 검색합니다. 그러면 모델이 직접 그 일을 하는 걸까요? 아닙니다. 모델은 「이 도구를 이런 값으로 실행해 주세요」라는 요청을 만듭니다. 실제 실행은 모델 밖의 프로그램이 맡습니다. 마지막 편에서는 언어 모델 위에 무엇을 더해야 쓸 수 있는 제품이 되는지 살펴봅니다.
내 컴퓨터에 올릴 수 있을까요
먼저 자주 받는 질문부터 보겠습니다. AI 모델을 내 컴퓨터에 두고 쓸 수 있을까요?
가장 먼저 볼 것은 모델이 차지하는 메모리 크기입니다. 파라미터가 숫자를 저장할 자리가 필요하고, 숫자 하나를 몇 바이트로 저장하느냐에 따라 크기가 달라집니다.
파라미터 70억 개짜리 모델을 예로 들겠습니다.
파라미터 한 개를 4바이트로 담으면 280억 바이트, 대략 28GB
2바이트로 담으면 14GB
8비트인 1바이트로 줄이면 7GB
4비트인 0.5바이트로 줄이면 이론상 3.5GB
하지만 이것은 가중치만 계산한 값입니다. 실제로 모델을 실행하려면 프로그램이 쓸 공간이 더 필요합니다. 대화가 길어질수록 9편에서 본 KV 캐시도 커집니다. 모델 파일과 같은 크기의 메모리를 준비해도 부족할 수 있는 이유입니다.
숫자의 정밀도를 낮춰 모델을 작게 만드는 방법을 양자화(quantization)라고 합니다. 허깅페이스는 32비트 부동소수점 대신 8비트나 4비트처럼 더 적은 비트를 사용해 메모리 사용량과 계산 비용을 줄일 수 있다고 설명합니다1.
물론 공짜는 아닙니다. 정밀도를 낮추면 작은 오차가 생기며, 양자화 방식과 모델에 따라 답변 품질이 떨어질 수 있습니다2. 실제 용량도 계산값에 부가 정보가 더해져 이론적인 크기보다 커질 수 있습니다.
참고로 메타가 공개한 라마 3는 80억과 700억 파라미터 두 크기로 나왔습니다3. 같은 계열의 모델이라도 크기와 양자화 방식에 따라 필요한 장비와 실행 속도는 크게 달라집니다.
프롬프트, 검색, 파인튜닝 중 무엇을 언제
다음으로 자주 헷갈리는 것이 이 셋의 관계입니다. AI의 답을 개선하는 방법으로 프롬프트, 검색, 파인튜닝이 자주 등장합니다. 셋은 강도가 다른 것이 아니라 해결하는 문제의 종류가 다릅니다.
오픈AI 가이드는 프롬프트 엔지니어링이 대개 가장 좋은 출발점이라고 설명합니다4. 먼저 지시와 예시를 다듬어 현재 모델이 어디까지 할 수 있는지 확인하는 것입니다.
그다음 부터는 문제가 무엇인지 봐야 합니다.
모델에게 필요한 자료가 없다면 검색을 붙입니다. 관련 자료를 찾아 질문과 함께 넣어 주는 방식이며, 대표적으로 RAG가 있습니다5. 최신 정보나 사내 문서처럼 모델이 미리 알기 어려운 내용을 다룰 때 알맞습니다.
자료는 충분한데 답변 형식이나 행동이 계속 어긋난다면 파인튜닝을 검토할 수 있습니다. 원하는 입력과 출력의 예시를 학습시켜, 특정 패턴을 더 안정적으로 따르게 만드는 방법입니다.
정리하면 간단합니다.
지시가 모호하다면 프롬프트
정보가 부족하다면 검색(RAG)
행동을 일관되게 바꾸려면 파인튜닝
그러니까 갈림길은 「강도」가 아니라 「종류」입니다. 필요하면 함께 사용할 수도 있습니다. 중요한 것은 먼저 답변을 평가하고, 무엇이 부족한지 찾는 일입니다.
실행하는 것은 모델이 아닙니다
요즘 AI 도구는 파일을 읽고 고치고, 명령을 실행하고, 웹을 검색합니다. 그렇다면 이 일들을 모델이 직접 하는 것일까요?
그렇지 않습니다. 앤트로픽 문서에 따르면 모델은 정해진 형식의 도구 요청을 만들 뿐이고, 실제 실행은 사용자가 만든 프로그램이나 앤트로픽의 서버가 맡습니다6.
예를 들어 모델은 다음과 같은 요청을 보낼 수 있습니다.
「파일 읽기 도구를 사용해 보고서.txt를 열어 주세요.」
파일을 실제로 여는 것은 운영체제와 바깥 프로그램입니다. 모델은 실행 결과를 자동으로 아는 것도 아닙니다. 프로그램이 실행 결과를 다시 모델에 전달해야 다음 판단에 사용할 수 있습니다7.
이 과정을 반복하는 시스템을 흔히 AI 에이전트라고 부릅니다.
목표 확인 → 도구 선택 → 실행 → 결과 확인 → 다음 행동 결정
제품에 따라 계획을 세우거나 이전 내용을 저장하고, 목표를 마칠 때까지 작업을 반복하는 기능도 더해집니다.
중요한 것은 권한입니다.
모델이 도구를 요청한다고 해서 무엇이든 실행할 수 있어서는 안 됩니다. 파일을 읽는 권한과 지우는 권한은 다르고, 웹을 검색하는 권한과 정보를 외부로 전송하는 권한도 다릅니다. 권한을 나눠 두면 모델이 잘못된 요청을 만들어도 위험한 실행을 차단할 수 있습니다.
클로드 코드는 권한 설정에 따라 도구를 실행하기 전에 사용자에게 확인을 요청합니다8. 샌드박스(sandbox)라는 장치를 사용할 수도 있습니다. 명령이 실행되는 공간을 따로 가둬, 접근할 수 있는 파일과 네트워크 범위를 제한하는 장치입니다9.
따라서 AI 도구의 안전은 모델의 성능만으로 결정되지 않습니다. 어떤 도구를 연결했고, 어디까지 권한을 허용했는지가 함께 중요합니다.
파일 삭제·결제·외부 전송처럼 되돌리기 어려운 작업에는 사람의 확인을 남겨 두는 편이 안전합니다.
열 걸음을 다 왔습니다
1편에서는 AI가 다음 토큰을 확률로 고른다고 했습니다. 이후 글을 토큰으로 자르고, 숫자로 바꾸고, 어텐션으로 관계를 계산하고, 다음 토큰을 고르는 과정을 살펴봤습니다.
행렬 계산에 GPU가 필요한 이유, 모델이 학습되는 과정, 환각이 생기는 이유, 긴 대화가 느리고 비싸지는 이유도 확인했습니다. 마지막으로 오늘은 그 모델에 검색·기억·도구·권한을 붙여 제품과 에이전트를 만드는 과정을 봤습니다.
세 가지만 기억하면 됩니다.
첫째, 중요한 사실은 AI가 알고 있을 것이라 기대하지 말고 확인할 자료를 함께 주세요. 둘째, 답이 이상하면 같은 말을 세게 반복하기보다 지시와 자료를 바꿔 보세요. 셋째, AI가 도구를 사용할 때는 모델의 요청과 실제 프로그램의 실행을 나누어 보세요. 그 사이에 권한과 사람의 확인이 있습니다.
로컬 실행을 직접 시험해 보고 싶다면 Ollama와 llama.cpp를 사용할 수 있습니다.
github.com/ollama/ollama github.com/ggml-org/llama.cpp
둘 다 MIT 라이선스로 공개돼 있습니다. 모델은 huggingface.co에서 찾을 수 있지만, 모델마다 사용 조건과 라이선스가 다르므로 내려받기 전에 확인해야 합니다.
읽고 나서 해 볼 것
AI가 파일을 고치거나 명령을 실행하기 전에 확인 창을 띄우면 그냥 넘기지 마세요. 어떤 도구가 어느 파일과 네트워크에 접근하려는지 읽어 보세요. 그곳이 모델의 제안과 현실의 실행이 갈리는 지점입니다.
출처
각주 9개
본문의 각주 번호는 아래 항목과 1:1 로 대응합니다. 정량 주장은 가능한 경우 둘 이상의 출처로 대조했고, 인용문은 원문에서 직접 확인한 것만 실었습니다.
- 허깅페이스 공식 문서는 양자화가 가중치나 활성값을 표준 32비트 부동소수점 대신 8비트 정수 같은 더 낮은 정밀도 자료형으로 표현해 메모리와 계산 비용을 줄인다고 설명한다It achieves this by representing the model's weights and or activations with lower-precision data types (like 8-bit integers or int8) instead of the standard 32-bit floating-point (float32).https://huggingface.co/docs/transformers/en/quantization/concept_guide확인 2026-09-02↩
- 같은 문서는 양자화의 핵심 맞바꿈이 효율과 정확성이며 정밀도를 낮추면 자원은 아끼지만 작은 오차가 필연적으로 생긴다고 적는다The primary trade-off in quantization is efficiency vs. accuracy. Reducing precision saves resources but inevitably introduces small errors (quantization noise).https://huggingface.co/docs/transformers/en/quantization/concept_guide확인 2026-09-02↩
- 메타가 공개한 라마 3는 80억과 700억 파라미터 두 크기로 나왔다This release features pretrained and instruction-fine-tuned language models with 8B and 70B parametershttps://ai.meta.com/blog/meta-llama-3/확인 2026-09-02Llama 3 comes in two sizes — 8B and 70B parameters — in pre-trained and instruction tuned variants.https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md확인 2026-09-02↩
- 오픈AI 공식 가이드는 프롬프트 엔지니어링이 대개 시작하기 가장 좋은 자리라고 적는다Prompt engineering is typically the best place to start.https://developers.openai.com/api/docs/guides/optimizing-llm-accuracy확인 2026-09-02↩
- 같은 가이드는 맥락 기억을 관련 정보를 컨텍스트 윈도우에 채워 넣어 해결하며 그 방법이 프롬프트 엔지니어링이거나 산업적으로는 RAG라고 적는다This is in-context memory - we solve this in LLMs by stuffing relevant information into the context window, either in a static way using prompt engineering, or in an industrial way using RAG.https://developers.openai.com/api/docs/guides/optimizing-llm-accuracy확인 2026-09-02↩
- 앤트로픽 공식 문서는 모델이 스스로 아무것도 실행하지 않으며 구조화된 요청을 내놓으면 사용자의 코드나 앤트로픽 서버가 작업을 수행하고 결과가 다시 대화로 흘러 들어온다고 적는다The model never executes anything on its own. It emits a structured request, your code (or Anthropic's servers) runs the operation, and the result flows back into the conversation.https://platform.claude.com/docs/en/agents-and-tools/tool-use/how-tool-use-works확인 2026-09-02↩
- 같은 문서는 원래 메시지와 모델의 응답과 도구 결과 블록이 담긴 사용자 메시지를 함께 넣어 새 요청을 보내라고 적는다Send a new request containing the original messages, the assistant's response, and a user message with the `tool_result` blocks.https://platform.claude.com/docs/en/agents-and-tools/tool-use/how-tool-use-works확인 2026-09-02↩
- 클로드 코드 공식 문서는 확인 규칙이 걸린 도구를 쓰려 할 때마다 확인을 묻는다고 적는다Ask rules prompt for confirmation whenever Claude Code tries to use the specified tool.https://code.claude.com/docs/en/permissions확인 2026-09-02↩
- 클로드 코드 공식 문서는 명령이 닿을 수 있는 파일과 네트워크 주소를 정해 두면 운영체제가 모든 명령과 그 자식 프로세스에 그 경계를 강제한다고 설명한다you define which files and network domains commands can touch, and the operating system enforces that boundary for every Bash command and its child processes.https://code.claude.com/docs/en/sandboxing확인 2026-09-02↩