기밀 유출 없는 DeepSeek R1 무료 로컬 실행법
- DeepSeek 웹·앱은 입력 데이터가 중국 서버로 전송되지만, Ollama로 로컬 실행하면 인터넷 연결 없이 100% 내 PC 안에서만 처리돼 유출 자체가 불가능합니다.
- 사양에 맞는 경량 모델(7B~14B)만 골라도 GPU 없는 노트북에서 무료로 돌아갑니다.
- 방화벽으로 Ollama의 외부 통신을 막는 설정까지 마쳐야 "진짜 완전 오프라인" 보안이 완성됩니다.
사내 회의록을 요약하려고 DeepSeek 웹사이트에 텍스트를 붙여넣던 순간, 보안팀 슬랙 메시지가 날아왔습니다.
"이거 중국 서버로 나가는 거 아시죠?" 등에서 식은땀이 흘렀습니다.
급하게 찾아보니 진짜였습니다. 2025년 초 이탈리아 개인정보보호청(Garante)은 DeepSeek 앱 접속을 아예 차단했고, 한국 개인정보보호위원회도 신규 다운로드를 일시 중단시켰습니다. DeepSeek 공식 개인정보처리방침에는 사용자 입력 데이터와 키 입력 패턴까지 중국 내 서버에 저장된다고 명시돼 있습니다.
그렇다고 성능 좋은 추론 특화 오픈소스 모델을 포기하기는 아까웠습니다. 결국 답은 하나였습니다. 클라우드로 보내지 말고, 내 PC 안에서 직접 돌리면 됩니다. 이 글은 그 과정을 그대로 정리한 실전 기록입니다.
왜 DeepSeek 클라우드는 위험하고, 로컬 실행이 답인가
클라우드 DeepSeek에 문서를 붙여넣는 건 택배 상자를 뜯어서 남의 창고에 맡기는 것과 비슷합니다. 내 물건이지만 일단 남의 공간에 들어가는 순간, 그 안에서 무슨 일이 벌어지는지 나는 알 수 없습니다.
반대로 로컬 실행은 그 상자를 내 방 서랍에 넣어두는 것입니다. 누구도 열어보지 않고, 인터넷 케이블을 뽑아도 여전히 내가 원할 때 꺼내 쓸 수 있습니다.
DeepSeek-R1은 2025년 1월 20일 공개된 오픈소스 모델로, MIT 라이선스라서 상업적 이용과 재배포가 자유롭습니다. 이 덕분에 Ollama 같은 도구가 공식적으로 GGUF(양자화된 경량 파일 포맷) 버전을 배포할 수 있게 됐습니다.
Ollama는 로컬 11434 포트에서 자체 서버를 띄우는 프로그램입니다. 공식 저장소 README에는 "모델을 한번 다운로드하면, 그 이후로는 완전히 로컬 하드웨어에서만 동작한다"고 명확히 적혀 있습니다. 즉 최초 설치와 모델 다운로드 순간만 인터넷이 필요하고, 그 다음부터는 비행기 모드로 써도 된다는 뜻입니다.
Ollama로 DeepSeek R1 설치하기 (실전 단계별 가이드)
1단계 — Ollama 설치
Windows와 Mac 모두 공식 사이트(ollama.com)에서 설치 파일을 받으면 됩니다. 터미널을 쓸 수 있다면 Mac/Linux는 아래 한 줄로 끝납니다.
# Ollama 설치 스크립트 실행
# 이 스크립트가 Ollama 실행 파일과 백그라운드 서비스를 함께 설치해준다
curl -fsSL https://ollama.com/install.sh | sh설치가 끝나면 ollama 명령어가 터미널에서 인식되는지 확인합니다.
ollama -v
# 버전 정보가 출력되면 설치 성공2단계 — 원하는 크기의 모델 다운로드
DeepSeek는 원본 671B 모델뿐 아니라, Qwen2.5·Llama3.1/3.3 구조로 지식 증류(distillation)한 경량 버전도 함께 배포합니다. 지식 증류란 쉽게 말해, 큰 스승 모델의 노하우를 작은 제자 모델에게 압축해서 전수하는 방식입니다. 덕분에 일반 소비자용 그래픽카드에서도 충분히 돌아갑니다.
# 7B(70억 파라미터) 경량 모델 다운로드 및 실행
# 파라미터 수가 적을수록 가볍지만 답변 품질은 다소 낮아질 수 있다
ollama run deepseek-r1:7b모델 크기별로 필요한 사양은 아래 표를 참고하면 됩니다.
| 모델 태그 | 파라미터 규모 | 권장 RAM/VRAM | 추천 대상 |
|---|---|---|---|
deepseek-r1:1.5b |
15억 | 4GB 이상 | 구형 노트북, 가벼운 테스트용 |
deepseek-r1:7b |
70억 | 8GB 이상 | 일반 사무용 PC, 첫 시도 추천 |
deepseek-r1:8b |
80억 | 8~10GB | 7b 대비 코드 응답 소폭 개선 |
deepseek-r1:14b |
140억 | 16GB 이상 | 그래픽카드(RTX 4060 이상) 보유자 |
deepseek-r1:32b |
320억 | 32GB 이상 | 워크스테이션급 사무실 서버 |
deepseek-r1:70b |
700억 | 64GB 이상 | 고성능 GPU 다중 구성 환경 |
deepseek-r1:671b |
6,710억(풀사이즈) | 400GB+ 스토리지 | 개인 PC에서는 사실상 비현실적 |
여기서 671b는 태그만 존재할 뿐, 일반 회사 노트북으로는 절대 돌릴 수 없는 크기라고 보면 됩니다. 처음이라면 무조건 7b 또는 8b로 시작해서 응답 속도와 품질을 직접 체감해보는 걸 추천합니다.
또한 2025년 5월 28일 공식 릴리즈된 DeepSeek-R1-0528 업데이트는 수학·코딩 벤치마크 성능과 환각(그럴듯한 거짓말) 현상을 개선했다고 발표됐습니다. Ollama 라이브러리 태그도 이 업데이트 버전으로 갱신돼 있으니, 최초 다운로드 시점에 최신 버전이 받아집니다.
ollama run deepseek-r1
# Error: pull model manifest: file does not exist이 에러는 태그를 지정하지 않고 deepseek-r1만 입력했을 때, 기본 태그 매칭이 꼬이면서 자주 발생합니다. 해결법은 간단합니다. 반드시 크기 태그를 콜론(:) 뒤에 명시해서 실행하면 됩니다.
ollama run deepseek-r1:7b완전 오프라인 보안 세팅 (네트워크 완전 차단 검증법)
모델을 다운로드했다고 끝난 게 아닙니다. Ollama 프로세스가 백그라운드에서 몰래 외부와 통신하지 않는지, 직접 눈으로 확인해야 진짜 안심할 수 있습니다.
Windows에서 아웃바운드 차단하기
Windows Defender 방화벽→고급 설정진입아웃바운드 규칙→새 규칙→프로그램선택ollama.exe경로 지정 후연결 차단선택- 규칙 이름을
Ollama-Offline-Block처럼 알아보기 쉽게 저장
macOS에서 아웃바운드 차단하기
macOS는 기본 방화벽이 세밀한 프로그램별 아웃바운드 차단을 지원하지 않습니다. 이럴 땐 Little Snitch 같은 서드파티 도구로 ollama 프로세스의 외부 연결을 개별 차단하는 방식이 실무에서 표준적으로 쓰입니다.
Wireshark로 실제 통신 0건 검증하기
방화벽 규칙만 믿지 말고, 패킷 분석 도구로 직접 눈으로 확인하는 습관이 필요합니다.
# Wireshark 캡처 필터 예시
# ollama 프로세스가 사용하는 포트(11434)를 제외한 모든 외부 아웃바운드 트래픽이 잡히는지 확인
host not 127.0.0.1 and tcp질문을 몇 개 던져보면서 캡처 화면에 외부 IP로 나가는 패킷이 하나도 없으면, 완전 오프라인 세팅이 제대로 된 것입니다.
ollama run deepseek-r1:32b
# Error: model requires more system memory (32.0 GiB) than is available (16.0 GiB)이 메시지는 내 PC의 RAM/VRAM보다 모델이 요구하는 메모리가 더 클 때 뜬다. 해결법은 두 가지입니다. 첫 번째는 위 사양표를 참고해 한 단계 가벼운 태그(14b → 7b)로 내리는 것입니다. 두 번째는 q4 같은 저비트 양자화 버전을 선택하는 것인데, 양자화란 모델 데이터를 압축 파일처럼 줄여서 용량과 연산량을 낮추는 기법이라고 이해하면 쉽습니다.
실전 활용 시나리오 — 사내 문서 요약을 오프라인으로
터미널 입력이 부담스럽다면, Open WebUI라는 오픈소스 프로젝트를 연동해서 ChatGPT와 똑같은 브라우저 화면으로 쓸 수도 있습니다. Docker가 설치돼 있다면 아래 한 줄로 로컬 웹 인터페이스를 띄울 수 있습니다.
# Open WebUI를 로컬 컨테이너로 실행
# --network=host 옵션으로 로컬 Ollama 서버(11434 포트)와 바로 연결
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main건물에 비유하면, 클라우드 AI는 공용 회의실을 빌려 쓰는 것이고 로컬 LLM은 내 사무실 안에 아예 회의실을 짓는 것입니다. 회의 내용(입력 데이터)이 건물 밖으로 나갈 일 자체가 없으니, 보안팀 앞에서 더 이상 식은땀 흘릴 필요가 없어진다.
코드 리뷰도 마찬가지입니다. 사내 레포지토리의 민감한 로직을 붙여넣고 리팩터링을 물어봐도, 그 대화는 오직 내 컴퓨터 안에만 머뭅니다.
클라우드 DeepSeek는 편리하지만, 입력 데이터가 국경을 넘어 저장된다는 리스크가 명확히 존재합니다. Ollama로 로컬 실행하면 그 리스크를 원천 차단할 수 있고, 방화벽 검증까지 마치면 진짜 완전 오프라인 환경이 완성됩니다.
지금 바로 터미널을 열어 ollama run deepseek-r1:7b부터 실행해보세요. 사양이 애매하다면 1.5b로 시작해도 좋습니다. 손에 익으면 그때 더 큰 모델로 올려도 늦지 않습니다.
댓글
댓글 쓰기