“단순히 말만 주고받는 챗봇 말고, 내 컴퓨터에서 진짜 혼자 일까지 해주는 무료 AI Agent는 어떻게 만들까?”
유료 AI의 비용 폭탄과 데이터 유출 걱정 없이, 내 컴퓨터에서 24시간 일하는 100% 무료 로컬 AI Agent(자율 비서)를 구축하는 실전 가이드입니다.
이번 글에서는 복잡한 도커(Docker) 대신 내 PC(Mac, Windows, Linux)에 직접 설치하는 네이티브 설치형 방식으로 진행합니다. 두뇌로 가장 주목받는 Qwen2.5:14b와 Gemma4를 비교하고, 손발 역할을 하는 Hermes Agent를 직접 깔아 연동하는 방법까지 알기 쉽게 정리해 드립니다.
1. 먼저 알아두는 3초 개념: 챗봇 vs AI Agent의 차이
💬 일반 챗봇 (Chatbot)
“말만 하는 상담원”
- “오늘 날씨 어때?” ➔ “오늘 날씨는 맑습니다.” (대답 끝)
- 스스로 컴퓨터 프로그램을 실행하거나 파일을 저장할 수 없음.
🤖 AI 에이전트 (AI Agent)
“손과 발이 달려서 진짜 일하는 비서”
- “오늘 날씨 확인하고 파일로 정리해줘” ➔ 스스로 웹을 검색하고, 컴퓨터에 텍스트/엑셀 파일로 저장까지 완료함!
- 도구(Tool)를 직접 쥐고 스스로 판단해서 실행함.
2. 나만의 무료 AI Agent를 만드는 3단 부품
| 역할 | 이름 | 쉽게 설명하면? |
|---|---|---|
| 1. 엔진 (Engine) | Ollama | AI 모델을 내 컴퓨터에서 클릭 한 번으로 실행시켜 주는 구동 엔진 |
| 2. 두뇌 (Brain) | Qwen2.5:14b 또는 Gemma4 | 글을 읽고 상황을 판단하는 생각하는 머리 (오픈소스 무료 모델) |
| 3. 손과 발 (Hands & Feet) | Hermes Agent (설치형) | 두뇌의 판단을 받아 진짜 컴퓨터 도구와 명령을 실행하는 에이전트 |
3. Step 1: 구동 엔진(Ollama) 설치하기
Ollama는 내 컴퓨터를 순식간에 강력한 AI 서버로 만들어주는 가장 대표적인 프로그램입니다.
- Mac / Windows: 공식 홈페이지(ollama.com)에서 다운로드 받아 일반 프로그램처럼 더블클릭하여 설치합니다.
- Linux / 터미널: 명령어 한 줄만 입력하면 끝납니다.
curl -fsSL https://ollama.com/install.sh | sh
4. Step 2: 두뇌 선택 및 비교: Qwen2.5:14b vs Gemma4
에이전트의 두뇌로는 어떤 모델이 좋을까요? 현재 실무에서 가장 인기가 뜨거운 Qwen2.5:14b와 구글의 차세대 오픈 모델 Gemma4를 맞비교해 보았습니다.
| 비교 항목 | Qwen2.5:14b (실속파 비서) | Gemma4 (대형 전략가) |
|---|---|---|
| 필요 메모리(VRAM) | 약 9 GB (가볍고 날렵함) | 약 18 GB (고성능 장비 필요) |
| 동작 속도 (Speed) | 매우 빠름 (실시간 챗봇/센서에 최적) | 묵직하고 신중하게 답변 |
| 도구 사용 (Tool Calling) | 오류 없이 완벽에 가까운 성공률 | 복잡한 다단계 추론과 연계 가능 |
| 컨텍스트 길이 | 32,768 토큰 (일반 업무에 넉넉함) | 262,144 토큰 (초대형 문서 분석 가능) |
| 추가 지원 기능 | 코딩, 정형 JSON 데이터 파싱 | 사고 과정(Thinking), 이미지 분석(Vision) |
| 권장 하드웨어 | 일반 PC (RTX 3060/4060 등 16GB) | Mac Studio / RTX 3090/4090 (24GB) |
💡 어떤 모델을 선택해야 할까?
- Qwen2.5:14b 추천:
“스마트팜 센서 감시, 주식 데이터 수집, 빠른 챗봇, 일상적인 업무 자동화”
➔ VRAM 9GB 수준으로 가볍고, 도구(Tool)를 부르는 정확도가 매우 높아 에이전트 실무용으로 가장 실패 없는 선택입니다. - Gemma4 추천:
“수백 페이지 문서 분석, 깊은 논리 추론(Thinking), 이미지/도표 분석이 필요한 고급 프로젝트”
➔ 26B급 파라미터와 26만 토큰에 달하는 엄청난 문맥 수용 능력을 갖춘 차세대 고성능 두뇌입니다.
선택한 두뇌를 터미널에서 명령어 한 줄로 장착합니다.
# 1. 빠르고 정확한 에이전트를 원할 때 (추천)
ollama run qwen2.5:14b
# 2. 고성능 장비에서 깊은 추론과 대용량 문맥을 원할 때
ollama run gemma4:26b
5. Step 3: 손발을 달아주는 Hermes Agent 설치 및 연동 (도커 없이 설치형)
이제 두뇌에게 진짜 컴퓨터 도구를 쥐어줄 차례입니다. Nous Research의 Hermes Agent는 도커 없이도 내 PC에 직접 설치(Native Install)할 수 있는 원클릭 스크립트를 공식 제공합니다.
① Hermes Agent 직접 설치하기
내 운영체제에 맞춰 터미널(또는 파워쉘)에서 아래 명령어를 복사해 실행합니다.
- Mac, Linux, WSL2 환경:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
- Windows 환경 (PowerShell 관리자 권한):
iex (irm https://hermes-agent.nousresearch.com/install.ps1)
설치 스크립트가 알아서 최적의 가상환경과 필요한 도구 실행 패키지를 자동으로 구성해 줍니다.
② 로컬 Ollama와 연결하기
설치가 완료되면, Hermes에게 내 컴퓨터의 Ollama 주소와 사용할 두뇌 모델을 알려주고 실행합니다.
# 내 로컬 Ollama 주소 지정
export OLLAMA_BASE_URL="http://localhost:11434"
# Qwen2.5:14b 두뇌를 장착하고 Hermes 에이전트 실행!
hermes run --model qwen2.5:14b
# (또는 Gemma4를 두뇌로 사용할 때)
hermes run --model gemma4:26b
이제 터미널에 Hermes 에이전트 프롬프트가 뜨며 대기 상태가 됩니다. 도커 없이 내 컴퓨터 프로세스로 아주 가볍게 구동됩니다!
6. 실제 작동 테스트: 에이전트에게 일 시켜보기
실행된 Hermes 에이전트 터미널에 아래와 같이 실제 컴퓨터 업무를 시켜보세요.
> 오늘의 서울 날씨를 인터넷에서 검색하고, 내 컴퓨터 바탕화면에 seoul_weather.txt 파일로 저장해줘.
▶ Hermes Agent 동작 과정: 1. [판단] "날씨 정보를 확인하기 위해 웹 검색 도구(Web Search)를 호출합니다." 2. [두뇌 Qwen] 최신 날씨 결과를 깔끔하게 한글로 요약 작성. 3. [실행] "파일 생성 도구(File Write)를 사용해 seoul_weather.txt를 작성합니다." 4. [완료] "바탕화면에 seoul_weather.txt 저장이 완료되었습니다!"
일반 챗봇은 “저는 파일을 저장할 권한이 없습니다”라고 말하지만, Hermes 에이전트는 진짜로 내 컴퓨터에 파일을 만들어 냅니다!
7. 마무리 및 요약
- Ollama: 설치 한 번으로 내 PC를 가벼운 AI 구동 엔진으로 변신시킵니다.
- Qwen2.5:14b: 가벼운 VRAM(9GB)으로 도구를 척척 다루는 가장 현실적인 에이전트 두뇌입니다.
- Gemma4: 대형 컨텍스트(26만 토큰)와 깊은 추론이 필요할 때 최고의 선택입니다.
- Hermes Agent (설치형): 도커 없이 스크립트 한 줄로 설치되어, 내 PC의 도구를 직접 조작하는 나만의 자율 비서입니다.
매달 비싼 유료 요금을 내지 않아도, 내 컴퓨터 안에서 데이터 유출 걱정 없이 24시간 동안 나 대신 일해주는 든든한 무료 로컬 AI 비서를 지금 바로 구축해 보세요!
답글 남기기