
최근 로컬 환경에서 나만의 AI 모델을 직접 돌려보고 싶어하는 분들이 많아졌습니다. 컴퓨터에 대한 배경 지식이 없어도 쉽게 따라 할 수 있도록, 오픈소스 AI 모델인 Hermes(Nous Hermes 2)를 윈도우(Windows) PC에 설치하고 사용하는 방법을 하나하나 차근차근 정리해보겠습니다.
Hermes(Nous Hermes 2)란?
Hermes 2는 Nous Research가 공개한 오픈소스 언어모델(LLM)입니다. 쉽게 말하면, 대화하듯 질문하면 답해주는 AI를 별도의 가입이나 결제 없이 내 컴퓨터 안에서 직접 실행할 수 있게 해주는 모델이라고 생각하면 됩니다.
시작하기 전에 확인할 것
아래 조건만 확인되면 컴퓨터에 익숙하지 않아도 충분히 따라 할 수 있습니다.
- 운영체제: Windows 10 이상
- 메모리(RAM): 최소 8GB 이상 (여유롭게 쓰려면 16GB 권장)
- 저장공간: 모델 파일을 받을 수 있는 6GB~19GB의 빈 공간
- 인터넷 연결: 처음 설치하고 모델을 내려받을 때만 필요합니다
1단계. Ollama 설치하기
Hermes를 실행하려면 로컬에서 AI 모델을 구동해주는 프로그램인 Ollama가 필요합니다. Ollama는 복잡한 설정 없이 명령어 한 줄로 AI 모델을 내려받고 실행하게 해주는 무료 프로그램입니다.
- 웹 브라우저로 Ollama 공식 홈페이지(ollama.com)에 접속합니다.
- 화면에서 Windows용 다운로드 버튼을 눌러 설치 파일을 내려받습니다.
- 내려받은 설치 파일을 실행하고, 화면 안내에 따라 "다음"만 눌러주면 설치가 끝납니다.
PowerShell이 뭔가요? 윈도우에 기본으로 설치되어 있는 명령어 입력 프로그램입니다. 시작 메뉴에서 "PowerShell"이라고 검색하면 바로 찾을 수 있습니다. 아래 단계에서 이 프로그램을 사용합니다.
2단계. Hermes 모델 내려받고 실행하기
- 시작 메뉴에서 PowerShell을 검색해서 실행합니다.
- 아래 명령어를 그대로 복사한 뒤 PowerShell 창에 붙여넣고 Enter를 누릅니다.
ollama run nous-hermes2명령어를 입력하면 처음 한 번은 모델 파일을 자동으로 내려받습니다(용량에 따라 몇 분 정도 걸릴 수 있어요). 다운로드가 끝나면 바로 대화를 입력할 수 있는 화면이 나타납니다.
Hermes 2는 두 가지 크기로 제공됩니다.
- 10.7B 버전: 용량이 작고 속도가 빨라 일반 PC에 적합합니다. 처음에는 이 버전을 추천합니다.
- 34B 버전: 더 똑똑하지만 훨씬 많은 메모리와 저장공간이 필요합니다.
34B 버전을 쓰고 싶다면 아래 명령어를 대신 복사해서 사용하면 됩니다.
ollama run nous-hermes2:34b3단계. 실제로 사용해보기
모델이 실행되고 나면 커서가 깜빡이는 입력창이 나타납니다. 여기에 궁금한 것을 자유롭게 입력하면 됩니다. 예를 들어 아래 문장을 그대로 복사해서 입력해볼 수 있습니다.
파이썬으로 숫자 두 개를 더하는 함수를 짜줘대화를 끝내고 싶을 때는 아래 명령어를 입력하면 됩니다.
/bye마무리 팁
- 컴퓨터 사양이 넉넉하지 않다면 처음부터 34B 같은 큰 모델을 시도하기보다 10.7B 버전으로 먼저 속도와 답변 품질을 확인해보는 것이 좋습니다.
- Ollama는 설치 후 백그라운드에서 계속 실행됩니다. 사용하지 않을 때 끄고 싶다면 작업 관리자에서 "Ollama" 프로세스를 찾아 종료하면 됩니다.
- 로컬 AI 모델은 인터넷 연결 없이도 사용할 수 있고, 대화 내용이 외부 서버로 전송되지 않는다는 장점이 있습니다.
관심 있으신 분들은 이번 기회에 직접 설치해서 사용해보시길 추천드립니다.
'Information > Issue' 카테고리의 다른 글
| '김치'. 불매운동한 중국. 2001년에 국제공인된 '김치' (451) | 2021.01.23 |
|---|---|
| 한국판 뉴딜정책! 간략하게 요약! (437) | 2020.09.03 |
| 인도. 제2외국어 한국어 채택. 중국어 제외! 왜? (459) | 2020.08.01 |
| 삼성ETN 괴리율 실시간 조회(레버리지, 인버스 등) (449) | 2020.04.30 |
| [연금복권720] 금액UP! 확률은 얼마? (474) | 2020.04.25 |










