Ollama로 내 컴퓨터에서 인터넷 없이 AI 돌리기

1단계설치하기

1. 맥·리눅스는 터미널을 열고 아래 한 줄을 붙여 넣어요. ollama.com에서 앱을 받아 설치해도 똑같습니다.
   복사

   curl -fsSL https://ollama.com/install.sh | sh

2. 윈도우는 PowerShell에서 아래 한 줄을 실행해요.
   복사

   irm https://ollama.com/install.ps1 | iex

3. 설치가 끝나면 버전이 나오는지 확인해요.
   복사

   ollama --version

• 인터넷에서 받은 설치 스크립트를 바로 실행하는 방식이에요. 찜찜하면 ollama.com에서 설치 파일을 받아 여는 쪽이 편합니다.

2단계첫 모델 받아서 대화하기

1. 구글의 오픈 모델 Gemma 4를 받아서 바로 대화를 시작해요. 처음 한 번은 모델 파일을 내려받느라 시간이 걸립니다.
   복사

   ollama run gemma4

2. >>> 표시가 나오면 한국어로 물어보면 돼요. 여러 줄을 넣고 싶으면 따옴표 세 개(""")로 앞뒤를 감싸요.
3. 대화를 끝낼 땐 /bye 를 입력해요.
   복사

   /bye

• gemma4 기본 판은 10GB 가까이 돼요. 저장 공간을 먼저 확인하세요.
• 모델 목록은 ollama.com/library 에 있어요. 크기(태그)별로 여러 판이 있으니 컴퓨터가 버거우면 작은 판을 고르세요.

3단계자주 쓰는 명령 다섯 개

1. 받아 둔 모델 보기
   복사

   ollama ls

2. 지금 메모리에 올라가 있는 모델 보기
   복사

   ollama ps

3. 모델 내리기(메모리 비우기)
   복사

   ollama stop gemma4

4. 모델 지우기(디스크 비우기)
   복사

   ollama rm gemma4

5. 대화 없이 받기만 하기
   복사

   ollama pull gemma4

• 모델은 마지막으로 쓴 뒤 5분쯤 메모리에 남아 있다가 알아서 내려가요.

4단계다른 프로그램에서 불러 쓰기

1. Ollama는 켜져 있는 동안 내 컴퓨터 11434번 포트(프로그램끼리 통하는 문 번호)에서 요청을 기다려요. 터미널에서 이렇게 물어볼 수 있어요.
   복사

   curl http://localhost:11434/api/chat -d '{
     "model": "gemma4",
     "messages": [{"role": "user", "content": "하늘은 왜 파란가요?"}],
     "stream": false
   }'

2. 파이썬에서는 공식 라이브러리를 깔고 몇 줄이면 돼요.
   복사

   pip install ollama

3. 아래를 hello.py로 저장하고 python hello.py 로 실행해요.
   복사

   from ollama import chat
   
   res = chat(model="gemma4", messages=[
       {"role": "user", "content": "월요병 이기는 법 세 가지만"},
   ])
   print(res.message.content)

• OpenAI 방식 주소(http://localhost:11434/v1)도 열려 있어서, OpenAI용으로 짠 코드도 주소만 바꾸면 그대로 붙어요. 파이썬 요약 스크립트 가이드에서 써먹어요.

알아 두면 좋은 것