[카테고리:] AI & 자율 에이전트

로컬 LLM, Ollama, 자율 에이전트 및 프롬프트 파이프라인

  • [AI] 내 컴퓨터에 100% 무료 나만의 AI Agent 만들기: Ollama + Qwen2.5:14b vs Gemma4 + Hermes 연동 가이드

    “단순히 말만 주고받는 챗봇 말고, 내 컴퓨터에서 진짜 혼자 일까지 해주는 무료 AI Agent는 어떻게 만들까?”

    유료 AI의 비용 폭탄과 데이터 유출 걱정 없이, 내 컴퓨터에서 24시간 일하는 100% 무료 로컬 AI Agent(자율 비서)를 구축하는 실전 가이드입니다.

    이번 글에서는 복잡한 도커(Docker) 대신 내 PC(Mac, Windows, Linux)에 직접 설치하는 네이티브 설치형 방식으로 진행합니다. 두뇌로 가장 주목받는 Qwen2.5:14b와 Gemma4를 비교하고, 손발 역할을 하는 Hermes Agent를 직접 깔아 연동하는 방법까지 알기 쉽게 정리해 드립니다.


    1. 먼저 알아두는 3초 개념: 챗봇 vs AI Agent의 차이

    💬 일반 챗봇 (Chatbot)

    “말만 하는 상담원”

    • “오늘 날씨 어때?” ➔ “오늘 날씨는 맑습니다.” (대답 끝)
    • 스스로 컴퓨터 프로그램을 실행하거나 파일을 저장할 수 없음.

    🤖 AI 에이전트 (AI Agent)

    “손과 발이 달려서 진짜 일하는 비서”

    • “오늘 날씨 확인하고 파일로 정리해줘” ➔ 스스로 웹을 검색하고, 컴퓨터에 텍스트/엑셀 파일로 저장까지 완료함!
    • 도구(Tool)를 직접 쥐고 스스로 판단해서 실행함.

    2. 나만의 무료 AI Agent를 만드는 3단 부품

    역할이름쉽게 설명하면?
    1. 엔진 (Engine)OllamaAI 모델을 내 컴퓨터에서 클릭 한 번으로 실행시켜 주는 구동 엔진
    2. 두뇌 (Brain)Qwen2.5:14b 또는 Gemma4글을 읽고 상황을 판단하는 생각하는 머리 (오픈소스 무료 모델)
    3. 손과 발 (Hands & Feet)Hermes Agent (설치형)두뇌의 판단을 받아 진짜 컴퓨터 도구와 명령을 실행하는 에이전트

    3. Step 1: 구동 엔진(Ollama) 설치하기

    Ollama는 내 컴퓨터를 순식간에 강력한 AI 서버로 만들어주는 가장 대표적인 프로그램입니다.

    • Mac / Windows: 공식 홈페이지(ollama.com)에서 다운로드 받아 일반 프로그램처럼 더블클릭하여 설치합니다.
    • Linux / 터미널: 명령어 한 줄만 입력하면 끝납니다.
    curl -fsSL https://ollama.com/install.sh | sh

    4. Step 2: 두뇌 선택 및 비교: Qwen2.5:14b vs Gemma4

    에이전트의 두뇌로는 어떤 모델이 좋을까요? 현재 실무에서 가장 인기가 뜨거운 Qwen2.5:14b와 구글의 차세대 오픈 모델 Gemma4를 맞비교해 보았습니다.

    비교 항목Qwen2.5:14b (실속파 비서)Gemma4 (대형 전략가)
    필요 메모리(VRAM)약 9 GB (가볍고 날렵함)약 18 GB (고성능 장비 필요)
    동작 속도 (Speed)매우 빠름 (실시간 챗봇/센서에 최적)묵직하고 신중하게 답변
    도구 사용 (Tool Calling)오류 없이 완벽에 가까운 성공률복잡한 다단계 추론과 연계 가능
    컨텍스트 길이32,768 토큰 (일반 업무에 넉넉함)262,144 토큰 (초대형 문서 분석 가능)
    추가 지원 기능코딩, 정형 JSON 데이터 파싱사고 과정(Thinking), 이미지 분석(Vision)
    권장 하드웨어일반 PC (RTX 3060/4060 등 16GB)Mac Studio / RTX 3090/4090 (24GB)

    💡 어떤 모델을 선택해야 할까?

    • Qwen2.5:14b 추천:
      “스마트팜 센서 감시, 주식 데이터 수집, 빠른 챗봇, 일상적인 업무 자동화”
      ➔ VRAM 9GB 수준으로 가볍고, 도구(Tool)를 부르는 정확도가 매우 높아 에이전트 실무용으로 가장 실패 없는 선택입니다.
    • Gemma4 추천:
      “수백 페이지 문서 분석, 깊은 논리 추론(Thinking), 이미지/도표 분석이 필요한 고급 프로젝트”
      ➔ 26B급 파라미터와 26만 토큰에 달하는 엄청난 문맥 수용 능력을 갖춘 차세대 고성능 두뇌입니다.

    선택한 두뇌를 터미널에서 명령어 한 줄로 장착합니다.

    # 1. 빠르고 정확한 에이전트를 원할 때 (추천)
    ollama run qwen2.5:14b
    
    # 2. 고성능 장비에서 깊은 추론과 대용량 문맥을 원할 때
    ollama run gemma4:26b

    5. Step 3: 손발을 달아주는 Hermes Agent 설치 및 연동 (도커 없이 설치형)

    이제 두뇌에게 진짜 컴퓨터 도구를 쥐어줄 차례입니다. Nous Research의 Hermes Agent는 도커 없이도 내 PC에 직접 설치(Native Install)할 수 있는 원클릭 스크립트를 공식 제공합니다.

    ① Hermes Agent 직접 설치하기

    내 운영체제에 맞춰 터미널(또는 파워쉘)에서 아래 명령어를 복사해 실행합니다.

    • Mac, Linux, WSL2 환경:
    curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
    • Windows 환경 (PowerShell 관리자 권한):
    iex (irm https://hermes-agent.nousresearch.com/install.ps1)

    설치 스크립트가 알아서 최적의 가상환경과 필요한 도구 실행 패키지를 자동으로 구성해 줍니다.

    ② 로컬 Ollama와 연결하기

    설치가 완료되면, Hermes에게 내 컴퓨터의 Ollama 주소와 사용할 두뇌 모델을 알려주고 실행합니다.

    # 내 로컬 Ollama 주소 지정
    export OLLAMA_BASE_URL="http://localhost:11434"
    
    # Qwen2.5:14b 두뇌를 장착하고 Hermes 에이전트 실행!
    hermes run --model qwen2.5:14b
    
    # (또는 Gemma4를 두뇌로 사용할 때)
    hermes run --model gemma4:26b

    이제 터미널에 Hermes 에이전트 프롬프트가 뜨며 대기 상태가 됩니다. 도커 없이 내 컴퓨터 프로세스로 아주 가볍게 구동됩니다!


    6. 실제 작동 테스트: 에이전트에게 일 시켜보기

    실행된 Hermes 에이전트 터미널에 아래와 같이 실제 컴퓨터 업무를 시켜보세요.

    > 오늘의 서울 날씨를 인터넷에서 검색하고, 내 컴퓨터 바탕화면에 seoul_weather.txt 파일로 저장해줘.
    ▶ Hermes Agent 동작 과정:
      1. [판단] "날씨 정보를 확인하기 위해 웹 검색 도구(Web Search)를 호출합니다."
      2. [두뇌 Qwen] 최신 날씨 결과를 깔끔하게 한글로 요약 작성.
      3. [실행] "파일 생성 도구(File Write)를 사용해 seoul_weather.txt를 작성합니다."
      4. [완료] "바탕화면에 seoul_weather.txt 저장이 완료되었습니다!"

    일반 챗봇은 “저는 파일을 저장할 권한이 없습니다”라고 말하지만, Hermes 에이전트는 진짜로 내 컴퓨터에 파일을 만들어 냅니다!


    7. 마무리 및 요약

    1. Ollama: 설치 한 번으로 내 PC를 가벼운 AI 구동 엔진으로 변신시킵니다.
    2. Qwen2.5:14b: 가벼운 VRAM(9GB)으로 도구를 척척 다루는 가장 현실적인 에이전트 두뇌입니다.
    3. Gemma4: 대형 컨텍스트(26만 토큰)와 깊은 추론이 필요할 때 최고의 선택입니다.
    4. Hermes Agent (설치형): 도커 없이 스크립트 한 줄로 설치되어, 내 PC의 도구를 직접 조작하는 나만의 자율 비서입니다.

    매달 비싼 유료 요금을 내지 않아도, 내 컴퓨터 안에서 데이터 유출 걱정 없이 24시간 동안 나 대신 일해주는 든든한 무료 로컬 AI 비서를 지금 바로 구축해 보세요!

  • [AI] 유료 AI Agent vs 무료 로컬 AI Agent: 나에게 진짜 필요한 것은?

    “매달 돈 내는 ChatGPT나 Claude를 쓰는 게 나을까, 아니면 내 컴퓨터(서버)에 무료 AI를 설치해서 쓰는 게 나을까?”

    AI를 업무나 프로젝트에 도입하려고 할 때 가장 먼저 부딪히는 고민입니다. 인터넷을 찾아보면 복잡한 기술 용어(양자화, TCO, 파라미터 등)가 쏟아져서 더 헷갈리기만 합니다.

    어려운 전문 용어는 싹 빼고, “유료 AI 에이전트”와 “무료 로컬 AI 에이전트”의 차이점을 일상생활 비유로 아주 쉽게 정리해 드리겠습니다.


    1. 한눈에 이해하는 직관적인 비유

    🏢 무료 로컬 AI Agent
    (내 컴퓨터에 모셔온 ‘정직원’)

    • 비용: 24시간 내내 질문을 10만 개 던져도 완전 무료 (추가 비용 0원)
    • 보안: 우리 회사 문을 절대 안 나감 (사내 비밀 100% 보장)
    • 능력: 묵묵히 시킨 일(요약, 분류, 일상 업무, 센서 감시)을 성실하게 해냄

    💼 유료 AI Agent
    (질문 건당 돈 받는 ‘특급 전문 변호사/컨설턴트’)

    • 비용: 말 한마디 물어볼 때마다 건당 요금 차감 (쓸수록 돈 나옴)
    • 보안: 남의 회사(미국 서버)에 가서 상담하고 와야 함 (비밀 유출 걱정)
    • 능력: 머리가 엄청 똑똑해서 복잡한 기획, 고난도 문제 해결에 탁월함

    2. 세 가지 핵심 차이점 비교

    비교 항목무료 로컬 AI Agent (Ollama 등)유료 AI Agent (ChatGPT·Claude 등)
    비용완전 무료 (컴퓨터 전기세만 나옴)쓴 만큼 돈 나옴 (많이 쓰면 요금 폭탄)
    사내 비밀 / 개인정보100% 안전 (인터넷 끊겨도 동작)외부 전송 위험 (회사 기밀 넣기 찜찜함)
    문제 해결 능력일반 업무, 정리, 텍스트 요약에 충분함매우 복잡한 논리, 천재적인 아이디어 작성
    인터넷 연결인터넷 없어도 내 컴퓨터에서 동작인터넷 필수 (상대방 서버 장애 나면 멈춤)

    3. 실제 사례로 보는 “어떤 걸 골라야 할까?”

    ✅ 이럴 때는 “무료 로컬 AI Agent”를 쓰세요!

    • 스마트팜 / 공장 / 주식 센서 24시간 자동 감시:
      1초마다 센서 데이터가 들어오는데, 그때마다 유료 AI에 물어보면 한 달 요금이 수백만 원 나옵니다. 24시간 쉬지 않고 단순 감시하는 작업은 무료 로컬 AI가 최고입니다.
    • 회사 내부 문서나 고객 개인정보 분석:
      회사 회계 장부, 계약서, 고객 전화번호 같은 민감한 데이터를 외부 클라우드에 올리는 건 보안상 위험합니다. 내 컴퓨터 안에서만 도는 로컬 AI를 써야 안심할 수 있습니다.
    • 반복적이고 정해진 업무:
      매일 들어오는 이메일 분류, 긴 글 3줄 요약, 영수증 텍스트 추출 같은 작업은 무료 로컬 AI로도 충분히 완벽하게 해냅니다.

    ✅ 이럴 때는 “유료 AI Agent”를 쓰세요!

    • 아주 가끔 고난도 창의적 작업이 필요할 때:
      새로운 사업 제안서 작성, 복잡한 마케팅 카피라이팅, 어려운 코딩 디버깅 등은 가끔씩만 쓰기 때문에 비싼 유료 AI를 건당 결제해서 쓰는 것이 훨씬 똑똑한 결과를 얻을 수 있습니다.
    • 좋은 컴퓨터나 서버가 없을 때:
      로컬 AI를 원활하게 돌리려면 고성능 그래픽카드(GPU)나 좋은 컴퓨터가 필요합니다. 장비를 살 돈이 없다면 월 몇 만 원 내고 유료 AI를 쓰는 게 시작하기엔 더 가볍습니다.

    4. 가장 현명한 방법: 둘을 섞어 쓰는 “환상의 콤비” 전략

    실제 일 잘하는 기업들은 둘 중 하나만 고집하지 않고 둘을 섞어서(하이브리드) 씁니다.

    “80%의 일상적인 잔업은 무료 로컬 직원에게 맡기고,
    20%의 정말 어려운 핵심 문제만 유료 특급 전문가에게 물어본다!”

    • 1단계 (무료 로컬 AI): 하루 종일 쏟아지는 센서 데이터나 로그를 무료 로컬 AI가 24시간 공짜로 감시하고 정리합니다.
    • 2단계 (유료 AI): 그러다 정말 심각한 고장이나 복잡한 전략적 판단이 필요할 때만 유료 AI를 딱 1번 호출해서 해결책을 얻습니다.

    이렇게 구성하면 비용은 90% 이상 아끼면서도, 시스템의 지능은 최고 수준으로 유지할 수 있습니다.


    5. 3초 결정 요약표

    아직도 고민되신다면 아래 질문에 답해보세요:

    1. 24시간 내내 수만 번 쉬지 않고 돌릴 건가요? 👉 무료 로컬 AI
    2. 외부에 유출되면 안 되는 비밀 데이터인가요? 👉 무료 로컬 AI
    3. 한 달에 몇 번 안 쓰지만 천재급 답변이 필요한가요? 👉 유료 AI
  • [AI] 로컬 LLM(Ollama)과 비동기 에이전트를 결합한 지능형 제어 시스템 구축

    클라우드 API 의존도를 낮추고 사내 데이터 보안을 극대화하기 위해 로컬 Ollama 인스턴스와 Python 비동기(httpx) 에이전트를 결합한 지능형 모니터링 시스템을 개발했습니다.

    구현 및 특징

    • 온프레미스 LLM 추론: 사내 전용 노드에서 Ollama를 통해 외부 유출 없는 프롬프트 분석
    • 에이전트 판단 기반 액션: 센서 이상치나 환경 급변 감지 시 자연어 기반 상황 진단 보고서 자동 생성
    • 챗봇 및 알림 봇 연동: 사내 메신저 및 웹 UI로 실시간 상태 리포트 발행