[AI] 내 컴퓨터에 100% 무료 나만의 AI Agent 만들기: Ollama + Qwen2.5:14b vs Gemma4 + Hermes 연동 가이드

작성자

카테고리:

“단순히 말만 주고받는 챗봇 말고, 내 컴퓨터에서 진짜 혼자 일까지 해주는 무료 AI Agent는 어떻게 만들까?”

유료 AI의 비용 폭탄과 데이터 유출 걱정 없이, 내 컴퓨터에서 24시간 일하는 100% 무료 로컬 AI Agent(자율 비서)를 구축하는 실전 가이드입니다.

이번 글에서는 복잡한 도커(Docker) 대신 내 PC(Mac, Windows, Linux)에 직접 설치하는 네이티브 설치형 방식으로 진행합니다. 두뇌로 가장 주목받는 Qwen2.5:14b와 Gemma4를 비교하고, 손발 역할을 하는 Hermes Agent를 직접 깔아 연동하는 방법까지 알기 쉽게 정리해 드립니다.


1. 먼저 알아두는 3초 개념: 챗봇 vs AI Agent의 차이

💬 일반 챗봇 (Chatbot)

“말만 하는 상담원”

  • “오늘 날씨 어때?” ➔ “오늘 날씨는 맑습니다.” (대답 끝)
  • 스스로 컴퓨터 프로그램을 실행하거나 파일을 저장할 수 없음.

🤖 AI 에이전트 (AI Agent)

“손과 발이 달려서 진짜 일하는 비서”

  • “오늘 날씨 확인하고 파일로 정리해줘” ➔ 스스로 웹을 검색하고, 컴퓨터에 텍스트/엑셀 파일로 저장까지 완료함!
  • 도구(Tool)를 직접 쥐고 스스로 판단해서 실행함.

2. 나만의 무료 AI Agent를 만드는 3단 부품

역할이름쉽게 설명하면?
1. 엔진 (Engine)OllamaAI 모델을 내 컴퓨터에서 클릭 한 번으로 실행시켜 주는 구동 엔진
2. 두뇌 (Brain)Qwen2.5:14b 또는 Gemma4글을 읽고 상황을 판단하는 생각하는 머리 (오픈소스 무료 모델)
3. 손과 발 (Hands & Feet)Hermes Agent (설치형)두뇌의 판단을 받아 진짜 컴퓨터 도구와 명령을 실행하는 에이전트

3. Step 1: 구동 엔진(Ollama) 설치하기

Ollama는 내 컴퓨터를 순식간에 강력한 AI 서버로 만들어주는 가장 대표적인 프로그램입니다.

  • Mac / Windows: 공식 홈페이지(ollama.com)에서 다운로드 받아 일반 프로그램처럼 더블클릭하여 설치합니다.
  • Linux / 터미널: 명령어 한 줄만 입력하면 끝납니다.
curl -fsSL https://ollama.com/install.sh | sh

4. Step 2: 두뇌 선택 및 비교: Qwen2.5:14b vs Gemma4

에이전트의 두뇌로는 어떤 모델이 좋을까요? 현재 실무에서 가장 인기가 뜨거운 Qwen2.5:14b와 구글의 차세대 오픈 모델 Gemma4를 맞비교해 보았습니다.

비교 항목Qwen2.5:14b (실속파 비서)Gemma4 (대형 전략가)
필요 메모리(VRAM)약 9 GB (가볍고 날렵함)약 18 GB (고성능 장비 필요)
동작 속도 (Speed)매우 빠름 (실시간 챗봇/센서에 최적)묵직하고 신중하게 답변
도구 사용 (Tool Calling)오류 없이 완벽에 가까운 성공률복잡한 다단계 추론과 연계 가능
컨텍스트 길이32,768 토큰 (일반 업무에 넉넉함)262,144 토큰 (초대형 문서 분석 가능)
추가 지원 기능코딩, 정형 JSON 데이터 파싱사고 과정(Thinking), 이미지 분석(Vision)
권장 하드웨어일반 PC (RTX 3060/4060 등 16GB)Mac Studio / RTX 3090/4090 (24GB)

💡 어떤 모델을 선택해야 할까?

  • Qwen2.5:14b 추천:
    “스마트팜 센서 감시, 주식 데이터 수집, 빠른 챗봇, 일상적인 업무 자동화”
    ➔ VRAM 9GB 수준으로 가볍고, 도구(Tool)를 부르는 정확도가 매우 높아 에이전트 실무용으로 가장 실패 없는 선택입니다.
  • Gemma4 추천:
    “수백 페이지 문서 분석, 깊은 논리 추론(Thinking), 이미지/도표 분석이 필요한 고급 프로젝트”
    ➔ 26B급 파라미터와 26만 토큰에 달하는 엄청난 문맥 수용 능력을 갖춘 차세대 고성능 두뇌입니다.

선택한 두뇌를 터미널에서 명령어 한 줄로 장착합니다.

# 1. 빠르고 정확한 에이전트를 원할 때 (추천)
ollama run qwen2.5:14b

# 2. 고성능 장비에서 깊은 추론과 대용량 문맥을 원할 때
ollama run gemma4:26b

5. Step 3: 손발을 달아주는 Hermes Agent 설치 및 연동 (도커 없이 설치형)

이제 두뇌에게 진짜 컴퓨터 도구를 쥐어줄 차례입니다. Nous Research의 Hermes Agent는 도커 없이도 내 PC에 직접 설치(Native Install)할 수 있는 원클릭 스크립트를 공식 제공합니다.

① Hermes Agent 직접 설치하기

내 운영체제에 맞춰 터미널(또는 파워쉘)에서 아래 명령어를 복사해 실행합니다.

  • Mac, Linux, WSL2 환경:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
  • Windows 환경 (PowerShell 관리자 권한):
iex (irm https://hermes-agent.nousresearch.com/install.ps1)

설치 스크립트가 알아서 최적의 가상환경과 필요한 도구 실행 패키지를 자동으로 구성해 줍니다.

② 로컬 Ollama와 연결하기

설치가 완료되면, Hermes에게 내 컴퓨터의 Ollama 주소와 사용할 두뇌 모델을 알려주고 실행합니다.

# 내 로컬 Ollama 주소 지정
export OLLAMA_BASE_URL="http://localhost:11434"

# Qwen2.5:14b 두뇌를 장착하고 Hermes 에이전트 실행!
hermes run --model qwen2.5:14b

# (또는 Gemma4를 두뇌로 사용할 때)
hermes run --model gemma4:26b

이제 터미널에 Hermes 에이전트 프롬프트가 뜨며 대기 상태가 됩니다. 도커 없이 내 컴퓨터 프로세스로 아주 가볍게 구동됩니다!


6. 실제 작동 테스트: 에이전트에게 일 시켜보기

실행된 Hermes 에이전트 터미널에 아래와 같이 실제 컴퓨터 업무를 시켜보세요.

> 오늘의 서울 날씨를 인터넷에서 검색하고, 내 컴퓨터 바탕화면에 seoul_weather.txt 파일로 저장해줘.
▶ Hermes Agent 동작 과정:
  1. [판단] "날씨 정보를 확인하기 위해 웹 검색 도구(Web Search)를 호출합니다."
  2. [두뇌 Qwen] 최신 날씨 결과를 깔끔하게 한글로 요약 작성.
  3. [실행] "파일 생성 도구(File Write)를 사용해 seoul_weather.txt를 작성합니다."
  4. [완료] "바탕화면에 seoul_weather.txt 저장이 완료되었습니다!"

일반 챗봇은 “저는 파일을 저장할 권한이 없습니다”라고 말하지만, Hermes 에이전트는 진짜로 내 컴퓨터에 파일을 만들어 냅니다!


7. 마무리 및 요약

  1. Ollama: 설치 한 번으로 내 PC를 가벼운 AI 구동 엔진으로 변신시킵니다.
  2. Qwen2.5:14b: 가벼운 VRAM(9GB)으로 도구를 척척 다루는 가장 현실적인 에이전트 두뇌입니다.
  3. Gemma4: 대형 컨텍스트(26만 토큰)와 깊은 추론이 필요할 때 최고의 선택입니다.
  4. Hermes Agent (설치형): 도커 없이 스크립트 한 줄로 설치되어, 내 PC의 도구를 직접 조작하는 나만의 자율 비서입니다.

매달 비싼 유료 요금을 내지 않아도, 내 컴퓨터 안에서 데이터 유출 걱정 없이 24시간 동안 나 대신 일해주는 든든한 무료 로컬 AI 비서를 지금 바로 구축해 보세요!

코멘트

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다