๐ฅ️ Ollama + Open WebUI ์๋์ฐ ์์ ์ค์น ๊ฐ์ด๋ (2026 ์ต์ ํ)
๐ฅ️ Ollama + Open WebUI ์๋์ฐ ์์ ์ค์น ๊ฐ์ด๋ (2026 ์ต์ ํ)
⏱ ์ฝ๊ธฐ ์ฝ 12๋ถ | ๐ 2,379์
ollama ์ค์น ์๋์ฐ ๋ฐฉ๋ฒ์ ์ฒ์ ์์ํ๋ ๋ถ๋ค์ ์ํด Open WebUI ์ฐ๋๊ณผ ํ๊ตญ์ด ๋ชจ๋ธ ์ธํ ๊น์ง 2026๋ ๊ธฐ์ค์ผ๋ก ๋จ๊ณ๋ณ ์ ๋ฆฌํ์ต๋๋ค.

"ChatGPT ์ฐ๋ค๊ฐ ์ ๊ตฌ๋ ๋ฃ 20๋ฌ๋ฌ๊ฐ ๋๋ฌด ์๊น์์ ๋ก์ปฌ AI ์ฐพ์๋ดค๋๋ฐ, Ollama๋ผ๋ ๊ฒ ์๋๋ผ๊ณ ์. ๊ทผ๋ฐ ์ค์นํ๋ค๊ฐ ์๋ฌ ๋จ๊ณ , ๋ชจ๋ธ ๋ฐ๋ค๊ฐ ํฌ๊ธฐํ์ด์."
์ด๋ฐ ๊ฒฝํ, ํ ๋ฒ์ฏค ์์ผ์์ฃ ? ํนํ ์๋์ฐ ํ๊ฒฝ์์ Ollama๋ฅผ ์ฒ์ ์ธํ ํ ๋ PATH ์ค๋ฅ, ํฌํธ ์ถฉ๋, CUDA ๋ฒ์ ๋ถ์ผ์น ๊ฐ์ ๋ฌธ์ ๊ฐ ์ค์ค์ด ํฐ์ง๋ฉด์ ํฌ๊ธฐํ๋ ๋ถ๋ค์ด ์ ๋ง ๋ง๊ฑฐ๋ ์.
2026๋ ํ์ฌ, Ollama๋ ์ ์ธ๊ณ 4,000๋ง ํ ์ด์ ๋ค์ด๋ก๋๋ ๋ช ์ค์๋ถ ๋ก์ปฌ LLM ์คํ ํ์ค ๋๊ตฌ๊ฐ ๋์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ฌ๊ธฐ์ ChatGPT ์คํ์ผ์ ์น UI๋ฅผ ๋ถ์ฌ์ฃผ๋ Open WebUI๋ฅผ ์ฐ๋ํ๋ฉด, ์ง์ง '๋ด PC์์ ๋์๊ฐ๋ ๋๋ง์ AI'๊ฐ ์์ฑ๋์ฃ .
์ด ๊ธ์์๋ ollama ์ค์น ์๋์ฐ ๋ฐฉ๋ฒ์ ์์ ํ ์ฒ์ ์์ํ๋ ๋ถ๋ ๋ฐ๋ผํ ์ ์๋๋ก, ์ค์น๋ถํฐ ํ๊ตญ์ด ๋ชจ๋ธ ์ฐ๋, Open WebUI ์ธํ ๊น์ง ๋จ๊ณ๋ณ๋ก ๋ฑ๋ฑ์ด ์ ๋ฆฌํ์ต๋๋ค. ์๋ฌ๊ฐ ๋๋ ์ง์ ๋ง๋ค ํด๊ฒฐ์ฑ ๋ ํจ๊ป ๋ด์์ผ๋, ์ด ๊ธ ํ๋๋ก ์์ ํ ํด๊ฒฐํ์ค ์ ์์ ๊ฑฐ์์.
์ด ๊ธ์ ํต์ฌ: Ollama + Open WebUI๋ฅผ ์๋์ฐ PC์ ์ค์นํ๊ณ , ํ๊ตญ์ด ๋ชจ๋ธ๊น์ง ์ฐ๋ํ๋ฉด ์ ๊ตฌ๋ ๋ฃ ์์ด ChatGPT ์์ค์ ๊ฐ์ธ AI ํ๊ฒฝ์ ๊ตฌ์ถํ ์ ์์ต๋๋ค.
์ด ๊ธ์์ ๋ค๋ฃจ๋ ๊ฒ:
- Ollama๊ฐ ๋ญ์ง, ์ ์จ์ผ ํ๋์ง
- ์๋์ฐ ํ๊ฒฝ ํ์ ์๊ตฌ์ฌํญ ์ฒดํฌ
- Ollama ์ค์น ๋ฐ ์ฒซ ๋ชจ๋ธ ์คํ
- Open WebUI ์ค์น ๋ฐ ์ฐ๋ (Docker / pip ๋ฐฉ์ ๋ชจ๋)
- ํ๊ตญ์ด ๋ชจ๋ธ ์ถ์ฒ ๋ฐ ์ธํ
- ์ค์ ํ์ฉ ์ฌ๋ก
- ์ด๋ณด์๊ฐ ์์ฃผ ๋น ์ง๋ ํจ์ 5๊ฐ์ง
๐ค Ollama๊ฐ ๋ญ๋ฐ์? ์ ์จ์ผ ํ๋์?
Ollama๋ 2023๋ 7์ ์ถ์๋ ์คํ์์ค ๋ก์ปฌ LLM ๋ฐ์ฒ์ ๋๋ค. ํ๋ง๋๋ก "LLM์ ๋ด PC์์ ์คํํ๊ฒ ํด์ฃผ๋ ์์ง"์ด์์. Docker๊ฐ ์ปจํ ์ด๋ ์คํ์ ์ถ์ํํด์ฃผ๋ฏ, Ollama๋ ๋ณต์กํ AI ๋ชจ๋ธ ์คํ ํ๊ฒฝ์ ๋ฑ ํ ์ค ๋ช ๋ น์ด๋ก ๋จ์ํํด์ค๋๋ค.
Ollama๊ฐ ํน๋ณํ ์ด์
2026๋
4์ ๊ธฐ์ค, Ollama์ ๊ณต์ ๋ชจ๋ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์๋ Llama 3.3, Gemma 3, Qwen2.5, Mistral, Phi-4 ๋ฑ 300๊ฐ ์ด์์ ๋ชจ๋ธ์ด ๋ฑ๋ก๋ผ ์์ด์. ์ด ๋ชจ๋ธ๋ค์ ollama pull ๋ชจ๋ธ๋ช
ํ ์ค๋ก ๋ด๋ ค๋ฐ๊ณ , ollama run ๋ชจ๋ธ๋ช
ํ ์ค๋ก ์คํํ ์ ์์ต๋๋ค.
ํนํ ์ค์ํ ๊ฑด API ์๋ํฌ์ธํธ์
๋๋ค. Ollama๋ ์ค์น๋๋ฉด ์๋์ผ๋ก localhost:11434์ REST API ์๋ฒ๋ฅผ ์ด์ด์ฃผ๋๋ฐ, ์ด API๊ฐ OpenAI API ํ์๊ณผ ํธํ๋ฉ๋๋ค. ์ฆ, ChatGPT API๋ฅผ ์ฐ๋ ์ฑ์ด๋ ๋๊ตฌ๋ฅผ ๊ทธ๋๋ก Ollama์ ์ฐ๊ฒฐํ ์ ์๋ค๋ ๋ป์ด์์.
ChatGPT ๋๋น Ollama์ ์ค์ง์ ์ฐจ์ด
| ํญ๋ชฉ | ChatGPT (GPT-4o) | Ollama + ๋ก์ปฌ ๋ชจ๋ธ |
|---|---|---|
| ๋น์ฉ | ์ $20~$200 | ์ ๊ธฐ์ธ๋ง (๋ฌด๋ฃ) |
| ์ธํฐ๋ท ์ฐ๊ฒฐ | ํ์ | ๋ถํ์ |
| ๋ฐ์ดํฐ ํ๋ผ์ด๋ฒ์ | ์๋ฒ ์ ์ก | 100% ๋ก์ปฌ ์ฒ๋ฆฌ |
| ์๋ต ์๋ | ๋น ๋ฆ (ํด๋ผ์ฐ๋) | PC ์ฌ์์ ๋ฐ๋ผ ๋ค๋ฆ |
| ์ต์ ์ ๋ณด | ์ง์ (์น ๊ฒ์) | ๊ธฐ๋ณธ ๋ฏธ์ง์ (RAG ๊ตฌ์ฑ ๊ฐ๋ฅ) |
| ๋ชจ๋ธ ์ปค์คํฐ๋ง์ด์ฆ | ๋ถ๊ฐ | ํ์ธํ๋, Modelfile ์์ ๊ฐ๋ฅ |
๋ฐ์ดํฐ ๋ณด์์ด ์ค์ํ ์ง์ข (์๋ฃ, ๋ฒ๋ฅ , ๊ธ์ต)์ด๋ผ๋ฉด Ollama ๊ธฐ๋ฐ ๋ก์ปฌ AI๋ ์ ํ์ด ์๋ ํ์๊ฐ ๋๊ณ ์์ต๋๋ค.
๐ก ์ค์ ํ: Ollama๋ ์ค์น ํ ์์คํ ํธ๋ ์ด์ ์์ฃผํ๋ฉฐ, PC ๋ถํ ์ ์๋ ์คํ๋๋๋ก ์ค์ ํ ์ ์์ด์. ์๋์ฐ ์์ ์ ์๋ ์คํ์ ์ํ๋ค๋ฉด ์ค์น ํ ์์คํ ํธ๋ ์ด ์์ด์ฝ ์ฐํด๋ฆญ → "Start on Login" ์ฒดํฌ๋ง ํ๋ฉด ๋ฉ๋๋ค.
๐ฅ️ ์ค์น ์ ํ๊ฒฝ ํ์ธ — ๋ด PC๋ ๊ด์ฐฎ์๊น์?
๋ณธ๊ฒฉ์ ์ธ ollama ์ค์น ์๋์ฐ ๊ณผ์ ์ ๋ค์ด๊ฐ๊ธฐ ์ ์, ๋ด PC ํ๊ฒฝ์ด ์ต์ ์๊ฑด์ ์ถฉ์กฑํ๋์ง ํ์ธํด์ผ ํฉ๋๋ค. ์ด ๋จ๊ณ๋ฅผ ๊ฑด๋๋ฐ๋ฉด ๋์ค์ ๋ชจ๋ธ์ด ์์ ์ ๋๊ฑฐ๋ ์์ฒญ๋๊ฒ ๋๋ฆฐ ์ํฉ์ด ๋ฐ์ํด์.
ํ๋์จ์ด ์๊ตฌ์ฌํญ ์ฒดํฌ๋ฆฌ์คํธ
CPU: ์ต์ Intel Core i5 8์ธ๋ ์ด์ ๋๋ AMD Ryzen 5 3000 ์๋ฆฌ์ฆ ์ด์์ ๊ถ์ฅํฉ๋๋ค. 4์ฝ์ด ์ด์์ด๋ฉด ๊ธฐ๋ณธ 7B ๋ชจ๋ธ ์คํ์ด ๊ฐ๋ฅํด์.
RAM: ์ต์ 8GB, ๊ถ์ฅ 16GB ์ด์์ ๋๋ค. 7B ๋ชจ๋ธ์ ์ฝ 8GB, 14B ๋ชจ๋ธ์ ์ฝ 12GB RAM์ ์๋นํ๊ฑฐ๋ ์. RAM์ด ๋ถ์กฑํ๋ฉด ๋ชจ๋ธ์ด ๋์คํฌ ์ค์์ ์ผ์ผํค๋ฉด์ ์๋ต์ด ๊ทน๋จ์ ์ผ๋ก ๋๋ ค์ง๋๋ค.
์ ์ฅ๊ณต๊ฐ: ๋ชจ๋ธ ํ์ผ์ด ํฌ๊ธฐ ๋๋ฌธ์ ์ฌ์ ๊ณต๊ฐ์ด ํ์์์. SSD๋ฅผ ๊ฐ๋ ฅ ๊ถ์ฅํฉ๋๋ค.
| ๋ชจ๋ธ ํฌ๊ธฐ | ์์ ๋ชจ๋ธ | ํ์ VRAM/RAM | ๋์คํฌ ๊ณต๊ฐ |
|---|---|---|---|
| 1~3B | llama3.2:3b, phi4-mini | 4GB | 2~3GB |
| 7~8B | llama3.1:8b, gemma3:9b | 8GB | 5~8GB |
| 13~14B | qwen2.5:14b, gemma3:12b | 12~16GB | 9~14GB |
| 32~34B | qwen2.5:32b | 24GB+ | 20~25GB |
| 70B | llama3.3:70b | 48GB+ | 40GB+ |
GPU (์ ํ, ๊ฐ๋ ฅ ๊ถ์ฅ): NVIDIA GPU๊ฐ ์๋ค๋ฉด CUDA๋ฅผ ํตํด GPU ๊ฐ์์ด ์๋ ํ์ฑํ๋ฉ๋๋ค. VRAM 8GB(RTX 3070, 4060 ๋ฑ) ์ด์์ด๋ฉด 14B ๋ชจ๋ธ๊น์ง ์พ์ ํ๊ฒ ๋๋ฆด ์ ์์ด์.
์ํํธ์จ์ด ์ฌ์ ์ค๋น
- OS: Windows 10 22H2 ์ด์ ๋๋ Windows 11 (2026๋ 4์ ๊ธฐ์ค ๊ถ์ฅ: Windows 11 24H2)
- NVIDIA GPU ์ฌ์ฉ ์: CUDA 12.4 ์ด์ ๋๋ผ์ด๋ฒ ์ค์น ํ์ (NVIDIA ๋๋ผ์ด๋ฒ ๋ค์ด๋ก๋ ์์ ์ต์ ๋ฒ์ ์ค์น)
- WSL2 (Windows Subsystem for Linux): ํ์๋ ์๋์ง๋ง Docker ๋ฐฉ์์ผ๋ก Open WebUI ์ค์น ์ ํ์
๐ก ์ค์ ํ: GPU๊ฐ ์๋๋ฐ CUDA ๋๋ผ์ด๋ฒ ๋ฒ์ ์ ๋ชจ๋ฅด๊ฒ ๋ค๋ฉด, ๋ช ๋ น ํ๋กฌํํธ(CMD)์์
nvidia-smi๋ช ๋ น์ด๋ฅผ ์คํํด๋ณด์ธ์. ์ค๋ฅธ์ชฝ ์๋จ์CUDA Version: 12.x๋ผ๊ณ ํ์๋๋ค๋ฉด ์ค๋น ์๋ฃ์ ๋๋ค. ๋ช ๋ น์ด ์์ฒด๊ฐ ์ธ์๋์ง ์์ผ๋ฉด ๋๋ผ์ด๋ฒ๋ถํฐ ๋ค์ ์ค์นํด์ผ ํฉ๋๋ค.
⚙️ Ollama ์ค์น ์๋์ฐ — ๋จ๊ณ๋ณ ์์ ์ ๋ณต
๋๋์ด ๋ณธ๊ฒฉ์ ์ธ ์ค์น์ ๋๋ค. 2026๋ ๊ธฐ์ค ollama ์ค์น ์๋์ฐ ๊ณผ์ ์ ์์ ๋ณด๋ค ํจ์ฌ ๋จ์ํด์ก์ด์. ๊ทธ๋๋ ๋์น๊ธฐ ์ฌ์ด ํฌ์ธํธ๋ค์ด ์์ผ๋ ์ฒ์ฒํ ๋ฐ๋ผ์ค์ธ์.
Step 1: Ollama ๋ค์ด๋ก๋ ๋ฐ ์ค์น
- Ollama ๊ณต์ ์ฌ์ดํธ์ ์ ์ํฉ๋๋ค.
- ๋ฉ์ธ ํ์ด์ง์์ "Download for Windows" ๋ฒํผ์ ํด๋ฆญํด ์ค์น ํ์ผ(.exe)์ ๋ฐ์ต๋๋ค.
- ๋ค์ด๋ก๋๋
OllamaSetup.exe๋ฅผ ์คํํฉ๋๋ค. - ์ค์น ๋ง๋ฒ์ฌ๋ฅผ ๋ฐ๋ผ ์งํํ๋ฉด ์๋์ผ๋ก ์ค์น๊ฐ ์๋ฃ๋ฉ๋๋ค. ๋ณ๋์ ์ค์ ์์ด "Install" ๋ฒํผ๋ง ๋๋ฅด๋ฉด ๋ผ์.
- ์ค์น๊ฐ ์๋ฃ๋๋ฉด ์์คํ ํธ๋ ์ด(์ค๋ฅธ์ชฝ ํ๋จ)์ ๋ผ๋ง ์์ด์ฝ์ด ๋ํ๋ฉ๋๋ค.
์ค์น ๊ฒฝ๋ก ๊ธฐ๋ณธ๊ฐ์ C:\Users\์ฌ์ฉ์๋ช
\AppData\Local\Programs\Ollama์ด๊ณ , ๋ชจ๋ธ์ C:\Users\์ฌ์ฉ์๋ช
\.ollama\models์ ์ ์ฅ๋ฉ๋๋ค. C ๋๋ผ์ด๋ธ ์ฌ์ ๊ณต๊ฐ์ด ๋ถ์กฑํ๋ค๋ฉด ์ค์น ์ ์ ํ๊ฒฝ๋ณ์ OLLAMA_MODELS๋ฅผ ๋ค๋ฅธ ๋๋ผ์ด๋ธ๋ก ์ค์ ํด๋์ธ์.
Step 2: ์ฒซ ๋ฒ์งธ ๋ชจ๋ธ ์คํ
์ค์น ํ ๋ช ๋ น ํ๋กฌํํธ(CMD) ๋๋ PowerShell์ ์ด๊ณ ์๋ ๋ช ๋ น์ด๋ฅผ ์คํํด๋ณด์ธ์.
# ๋ชจ๋ธ ๋ชฉ๋ก ํ์ธ
ollama list
# ์ฒซ ๋ฒ์งธ ๋ชจ๋ธ ๋ค์ด๋ก๋ ๋ฐ ์คํ (์ฝ 2.0GB)
ollama run llama3.2:3b
์ฒ์ ์คํํ๋ฉด ๋ชจ๋ธ ํ์ผ์ ์๋์ผ๋ก ๋ค์ด๋ก๋ํฉ๋๋ค. ๋ค์ด๋ก๋ ์๋ฃ ํ >>> ํ๋กฌํํธ๊ฐ ๋จ๋ฉด ๋ฐ๋ก ๋ํ๋ฅผ ์์ํ ์ ์์ด์. /bye๋ฅผ ์
๋ ฅํ๋ฉด ์ข
๋ฃ๋ฉ๋๋ค.
Step 3: Ollama ์๋ฒ ์ํ ํ์ธ
# Ollama ์๋น์ค ์คํ ์ํ ํ์ธ
ollama serve
# ์คํ ์ค์ธ ๋ชจ๋ธ ํ์ธ
ollama ps
# API ์๋ต ํ
์คํธ (๋ธ๋ผ์ฐ์ ๋๋ curl)
curl http://localhost:11434/api/tags
๋ธ๋ผ์ฐ์ ์ฃผ์์ฐฝ์ http://localhost:11434๋ฅผ ์
๋ ฅํ์ ๋ "Ollama is running"์ด๋ผ๋ ํ
์คํธ๊ฐ ๋ณด์ด๋ฉด ์ ์ ์๋ ์ค์
๋๋ค.
๐ก ์ค์ ํ: Ollama ์คํ ์ค CMD๋ฅผ ๋ซ์๋ ๋ฐฑ๊ทธ๋ผ์ด๋ ์๋น์ค๋ ๊ณ์ ๋์๊ฐ๋๋ค. ์์ ํ ์ข ๋ฃํ๋ ค๋ฉด ์์คํ ํธ๋ ์ด ์์ด์ฝ ์ฐํด๋ฆญ → "Quit Ollama"๋ฅผ ์ ํํ์ธ์. ์ฌ์์์ด ํ์ํ ๋๋ ์ด ๋ฐฉ๋ฒ์ผ๋ก ๊ป๋ค ์ผ๋ฉด ๋ฉ๋๋ค.
๐ Open WebUI ์ค์น — ChatGPT ๊ฐ์ ํ๋ฉด์ผ๋ก ๋ํํ๊ธฐ
ํฐ๋ฏธ๋์์ ๋ํํ๋ ๊ฑด ๊ธ๋ฐฉ ๋ถํธํด์ง๋๋ค. ๋ํ ํ์คํ ๋ฆฌ ๊ด๋ฆฌ, ๋งํฌ๋ค์ด ๋ ๋๋ง, ํ์ผ ์ฒจ๋ถ, ๋ฉํฐ ๋ชจ๋ธ ์ ํ ๋ฑ ํธ์๊ธฐ๋ฅ์ด ์๊ฑฐ๋ ์. Open WebUI๋ ์ด ๋ชจ๋ ๊ฑธ ํด๊ฒฐํด์ค๋๋ค.
๋ฐฉ๋ฒ 1: pip์ผ๋ก ์ค์น (Docker ์์ด, ๊ฐ์ฅ ๊ฐ๋จ)
ํ์ด์ฌ 3.11 ์ด์์ด ์ค์น๋ผ ์๋ค๋ฉด ์ด ๋ฐฉ๋ฒ์ด ๊ฐ์ฅ ๋น ๋ฆ ๋๋ค.
# ํ์ด์ฌ ๋ฒ์ ํ์ธ (3.11 ์ด์ ํ์)
python --version
# (๊ถ์ฅ) ๊ฐ์ํ๊ฒฝ ์์ฑ
python -m venv openwebui-env
openwebui-env\Scripts\activate
# Open WebUI ์ค์น
pip install open-webui
# ์คํ
open-webui serve
์คํ ํ ๋ธ๋ผ์ฐ์ ์์ http://localhost:8080์ผ๋ก ์ ์ํ๋ฉด ๋ฉ๋๋ค.
๋ฐฉ๋ฒ 2: Docker๋ก ์ค์น (๊ฐ์ฅ ์์ ์ , ๊ถ์ฅ)
Docker Desktop์ด ์ค์น๋ ํ๊ฒฝ์ด๋ผ๋ฉด ์๋ ๋ช ๋ น์ด ํ๋๋ก ๋๋ฉ๋๋ค.
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
์๋์ฐ PowerShell์์๋ ๋ฐฑ์ฌ๋์(\) ๋์ ๋ฐฑํฑ(`)์ ์ฌ์ฉํด์ผ ํด์.
docker run -d -p 3000:8080 `
--add-host=host.docker.internal:host-gateway `
-v open-webui:/app/backend/data `
--name open-webui `
--restart always `
ghcr.io/open-webui/open-webui:main
์คํ ํ http://localhost:3000์ผ๋ก ์ ์ํฉ๋๋ค. ์ฒ์ ์ ์ ์ ๊ด๋ฆฌ์ ๊ณ์ ์ ์์ฑํ๋ ํ๋ฉด์ด ๋์ค๊ณ , ์ด๋ฉ์ผ๊ณผ ๋น๋ฐ๋ฒํธ๋ฅผ ์ค์ ํ๋ฉด ๋ฐ๋ก ์ฌ์ฉ ๊ฐ๋ฅํฉ๋๋ค.
Open WebUI์์ Ollama ์ฐ๋ ํ์ธ
Open WebUI ์ ์ ํ ์ค๋ฅธ์ชฝ ์๋จ ๋ฉ๋ด → ๊ด๋ฆฌ์ ํจ๋ → ์ค์ → ์ฐ๊ฒฐ๋ก ์ด๋ํฉ๋๋ค. "Ollama Base URL"์ http://localhost:11434๊ฐ ์ค์ ๋ผ ์์ผ๋ฉด ์ ์์
๋๋ค. ์ฐ๊ฒฐ ์ํ๊ฐ ์ด๋ก์ ๋ถ๋ก ํ์๋๋ฉด ์ฑ๊ณต์ด์์.
์ดํ ์ฑํ ํ๋ฉด์์ ๋ชจ๋ธ ๋๋กญ๋ค์ด์ ํด๋ฆญํ๋ฉด Ollama์์ ๋ค์ด๋ก๋ํ ๋ชจ๋ธ๋ค์ด ๋ชฉ๋ก์ ๋ํ๋ฉ๋๋ค.
๐ก ์ค์ ํ: Docker ๋ฐฉ์์์ Ollama ์ฐ๊ฒฐ์ด ์ ๋๋ ๊ฒฝ์ฐ, Docker ์ปจํ ์ด๋ ๋ด๋ถ์์
localhost๋ ํธ์คํธ PC๊ฐ ์๋ ์ปจํ ์ด๋ ์์ฒด๋ฅผ ๊ฐ๋ฆฌํต๋๋ค. ์ด๋๋ URL์http://host.docker.internal:11434๋ก ๋ณ๊ฒฝํ๋ฉด ํด๊ฒฐ๋ฉ๋๋ค.--add-host=host.docker.internal:host-gateway์ต์ ์ด ์ด ์ญํ ์ ํฉ๋๋ค.
๐ฐ๐ท ํ๊ตญ์ด ๋ชจ๋ธ ์ฐ๋ — "์ง์ง ์ธ ์ ์๋" AI ๋ง๋ค๊ธฐ
๋ชจ๋ธ ์ค์น๋ ๋๋๋ฐ ํ๊ตญ์ด๋ก ๋ฌผ์ด๋ณด๋ฉด ์์ด๋ก ๋ตํ๊ฑฐ๋, ์ด์ํ ๋ฒ์ญ์ฒด๋ก ๋ต๋ณ์ด ๋์์จ๋ค๋ฉด ๋ชจ๋ธ ์ ํ๋ถํฐ ๋ค์ ํด์ผ ํฉ๋๋ค.
2026๋ 4์ ๊ธฐ์ค ํ๊ตญ์ด ์ถ์ฒ ๋ชจ๋ธ
# 1์์: EEVE Korean (์
์คํ
์ด์ง, ํ๊ตญ์ด ํนํ)
ollama pull eeve-korean-instruct-10.8b-v1.0
# 2์์: Qwen2.5 14B (๋ค๊ตญ์ด, ํ๊ตญ์ด ์ฐ์)
ollama pull qwen2.5:14b
# 3์์: Gemma 3 12B (๊ตฌ๊ธ, ํ๊ตญ์ด ํฌ๊ฒ ๊ฐ์ )
ollama pull gemma3:12b
# ์ํ ๋ชจ๋ธ (VRAM 4GB): Qwen2.5 7B
ollama pull qwen2.5:7b
EEVE-Korean์ ์ ์คํ ์ด์ง(Upstage)๊ฐ Mistral 7B๋ฅผ ํ๊ตญ์ด ๋ฐ์ดํฐ๋ก ํ์ธํ๋ํ ๋ชจ๋ธ์ด์์. Hugging Face ํ๊ตญ์ด ์คํ LLM ๋ฆฌ๋๋ณด๋์์ ์ค๋ซ๋์ ์์๊ถ์ ์ ์งํ ๊ฒ์ฆ๋ ๋ชจ๋ธ์ ๋๋ค. ๋ค๋ง 10.8B ํ๋ผ๋ฏธํฐ ๊ธฐ์ค ์ฝ 7GB VRAM์ด ํ์ํฉ๋๋ค.
์์คํ ํ๋กฌํํธ๋ก ํ๊ตญ์ด ๊ณ ์ ํ๊ธฐ
Open WebUI์์๋ ๋ชจ๋ธ๋ณ๋ก ์์คํ ํ๋กฌํํธ๋ฅผ ์ค์ ํ ์ ์์ด์. ํ๊ตญ์ด ์๋ต์ ๊ฐ์ ํ๋ ค๋ฉด:
- Open WebUI ์ฑํ ํ๋ฉด → ๋ชจ๋ธ ์ด๋ฆ ์ ⚙️ ์์ด์ฝ ํด๋ฆญ
- ์์คํ ํ๋กฌํํธ ์ ๋ ฅ๋์ ๋ค์์ ๋ถ์ฌ๋ฃ๊ธฐ:
๋น์ ์ ํ๊ตญ์ด๋ก ๋ํํ๋ AI ์ด์์คํดํธ์
๋๋ค.
์ฌ์ฉ์์ ์ง๋ฌธ์ด ์ด๋ค ์ธ์ด๋ก ์์ฑ๋์ด ์๋ ํญ์ ํ๊ตญ์ด๋ก ๋ต๋ณํ์ธ์.
๋ต๋ณ์ ๋ช
ํํ๊ณ ์น์ ํ๋ฉฐ ๊ฐ๊ฒฐํ๊ฒ ์์ฑํด์ฃผ์ธ์.
- ์ ์ฅ ํ ๋ํ ์์
์ด ์ค์ ์ ์ ์ฅํ๋ฉด ํด๋น ๋ชจ๋ธ ์ ํ ์ ํญ์ ์ด ์์คํ ํ๋กฌํํธ๊ฐ ์ ์ฉ๋ฉ๋๋ค.
ํ๊ตญ์ด ๋ชจ๋ธ ์ฑ๋ฅ ๋น๊ต
| ๋ชจ๋ธ | ํ๊ตญ์ด ์์ฐ์ค๋ฌ์ | ํ์ VRAM | ์๋ต ์๋(RTX 4070) | ์ถ์ฒ ์ฉ๋ |
|---|---|---|---|---|
| EEVE-Korean-10.8B | ★★★★★ | 8GB | ์ฝ 30ํ ํฐ/์ด | ํ๊ตญ์ด ์ ์ฉ ์ ๋ฌด |
| Qwen2.5:14b | ★★★★☆ | 10GB | ์ฝ 20ํ ํฐ/์ด | ํ์ ํผ์ฉ ์ ๋ฌด |
| Gemma3:12b | ★★★★☆ | 9GB | ์ฝ 25ํ ํฐ/์ด | ์ฝ๋ + ํ๊ตญ์ด |
| Llama3.2:3b | ★★★☆☆ | 4GB | ์ฝ 60ํ ํฐ/์ด | ๋น ๋ฅธ ๊ฐ๋จ ๋ํ |
| Qwen2.5:7b | ★★★★☆ | 6GB | ์ฝ 45ํ ํฐ/์ด | VRAM ์ ํ ํ๊ฒฝ |
๐ก ์ค์ ํ: ๋ชจ๋ธ์ ๋ฐ๊ฟ ๋๋ง๋ค
ollama ps๋ช ๋ น์ด๋ก ํ์ฌ ๋ฉ๋ชจ๋ฆฌ์ ๋ก๋๋ ๋ชจ๋ธ์ ํ์ธํ์ธ์. ์ฌ๋ฌ ๋ชจ๋ธ์ด ๋์์ VRAM์ ์ ์ ํ๋ฉด ์๋๊ฐ ํฌ๊ฒ ์ ํ๋ฉ๋๋ค.ollama stop ๋ชจ๋ธ๋ช์ผ๋ก ์ฌ์ฉํ์ง ์๋ ๋ชจ๋ธ์ ์ธ๋ก๋ํ ์ ์์ด์.
๐ข ์ค์ ํ์ฉ ์ฌ๋ก — ์ด๋ ๊ฒ ์ฐ๊ณ ์์ต๋๋ค
์ด๋ก ์ ์ถฉ๋ถํ ์ดํด๋ดค์ผ๋, ์ค์ ๋ก ์ด๋ป๊ฒ ํ์ฉ๋๋์ง ์ฌ๋ก๋ฅผ ๋ณด๊ฒ ์ต๋๋ค.
์ฌ๋ก 1: ๋ฒ๋ฌด๋ฒ์ธ ์๊ท๋ชจ ๋กํ์ ๋ฌธ์ ๊ฒํ ์๋ํ
์์ธ ์์ฌ ์ํ ๋ฒ๋ฌด๋ฒ์ธ A์ฌ(์ง์ 15๋ช )๋ 2025๋ ํ๋ฐ๊ธฐ๋ถํฐ Ollama + Open WebUI ๊ธฐ๋ฐ์ ๋ด๋ถ AI ์์คํ ์ ๋์ ํ์ต๋๋ค. ํต์ฌ ์ด์ ๋ ์๋ขฐ์ธ ์ ๋ณด ๋ณด์ ๋๋ฌธ์ด์์ด์. ๊ธฐ์กด์๋ ChatGPT์ ๊ณ์ฝ์ ๋ด์ฉ์ ๋ถ์ฌ๋ฃ์ด ๊ฒํ ํ๋ ๋ฐฉ์์ ์ฌ์ฉํ๋๋ฐ, ๊ฐ์ธ์ ๋ณด๋ณดํธ๋ฒ ๋ฐ ๋ณํธ์ฌ๋ฒ์ ์๋ขฐ์ธ ์ ๋ณด ์ธ๋ถ ์ ์ก ๋ฌธ์ ๊ฐ ์ฐ๋ ค๋๊ฑฐ๋ ์.
Qwen2.5:14b ๋ชจ๋ธ์ RTX 4080 ์ฅ์ฐฉ ์ํฌ์คํ ์ด์ ์ ์ค์นํ๊ณ , Open WebUI๋ฅผ ๋ด๋ถ ๋คํธ์ํฌ์๋ง ๊ณต๊ฐํ์ต๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก ๊ณ์ฝ์ ์ด์ ๊ฒํ ์๊ฐ์ด ๊ธฐ์กด ํ๊ท 45๋ถ์์ 12๋ถ์ผ๋ก ๋จ์ถ๋๊ณ , ์ฐ๊ฐ ์ธ์ฃผ ๋ฒ์ญ ๋น์ฉ๋ ์ฝ 60% ์ ๊ฐํ๋ค๊ณ ๋ฐํ์ต๋๋ค.
์ฌ๋ก 2: 1์ธ ์ ํ๋ฒ์ ์๋ง ๋ฐ ๋๋ณธ ์์
๊ตฌ๋ ์ 8๋ง ๋ช ์ IT ์ ํ๋ฒ ๋ฐ๋ชจ์จ๋ Ollama + EEVE-Korean ๋ชจ๋ธ์ ํ์ฉํด ์์ ๋๋ณธ ์ด์ ์์ฑ ์๊ฐ์ ์ฝ 70% ๋จ์ถํ์ต๋๋ค. ํ๋ฃจ 3~4์๊ฐ ๊ฑธ๋ฆฌ๋ ๋ฆฌ์์น ๋ฐ ๋๋ณธ ์์ ์ด 1์๊ฐ ๋ด์ธ๋ก ์ค์ด๋ค์๋ค๊ณ ์.
ํนํ Open WebUI์ ํ์ผ ์ฒจ๋ถ ๊ธฐ๋ฅ์ ํ์ฉํด PDF ๋ฆฌ์์น ์๋ฃ๋ฅผ ์ฌ๋ฆฌ๊ณ ํต์ฌ ๋ด์ฉ์ ์์ฝ์ํค๋ ๋ฐฉ์์ด ํต์ฌ์ด์์ต๋๋ค. ์ธํฐ๋ท ์ฐ๊ฒฐ ์์ด๋ ๋ก์ปฌ์์ ๋์๊ฐ๊ธฐ ๋๋ฌธ์ ์นดํ๋ ๋์๊ด์์๋ ๋งํ ์์ด ์ฌ์ฉํ ์ ์๋ค๋ ์ ๋ ์ฅ์ ์ผ๋ก ๊ผฝ์์ต๋๋ค.
์ฌ๋ก 3: ์ ์กฐ์ ์ค์๊ธฐ์ ์ ์ค๋น ๋งค๋ด์ผ Q&A ๋ด
๊ฒฝ๊ธฐ๋ ์์ฌ ์ ์กฐ์ ์ฒด B์ฌ๋ ์๋ฐฑ ํ์ด์ง์ ๋ฌํ๋ ์ค๋น ๋งค๋ด์ผ์ Ollama + Open WebUI์ RAG(๋ฌธ์ ๊ฒ์ ์ฆ๊ฐ ์์ฑ) ๊ธฐ๋ฅ๊ณผ ์ฐ๋ํด ํ์ฅ ์ง์์ฉ Q&A ์ฑ๋ด์ ๊ตฌ์ถํ์ต๋๋ค. ์ ์ ์ง์ ๊ต์ก ์๊ฐ์ด ํ๊ท 3์ฃผ์์ 1.5์ฃผ๋ก ๋จ์ถ๋๋ ํจ๊ณผ๊ฐ ๋ํ๋ฌ๋ค๊ณ ํฉ๋๋ค.
⚠️ ์ด๋ณด์๊ฐ ๋น ์ง๋ ํจ์ 5๊ฐ์ง
์ค์นํ๋ค๊ฐ ๋งํ๋ ์ง์ ๋ค์ ๋ฏธ๋ฆฌ ์๊ณ ๊ฐ๋ฉด ์์ญ ๋ถ์ ์๊ฐ์ ์ ์ฝํ ์ ์์ต๋๋ค.
ํจ์ 1: CUDA ๋๋ผ์ด๋ฒ ๋ฒ์ ๋ถ์ผ์น
Ollama๊ฐ GPU๋ฅผ ์ธ์ํ์ง ๋ชปํ๋ ๊ฐ์ฅ ํํ ์์ธ์
๋๋ค. nvidia-smi๋ ๋์ํ๋๋ฐ ollama run์์ CPU๋ง ์ฌ์ฉํ๋ค๋ฉด, NVIDIA ๋๋ผ์ด๋ฒ๊ฐ ๋๋ฌด ์ค๋๋์ ๊ฐ๋ฅ์ฑ์ด ๋์์. NVIDIA ๊ณต์ ์ฌ์ดํธ์์ ์ต์ Game Ready ๋๋ผ์ด๋ฒ ๋๋ Studio ๋๋ผ์ด๋ฒ๋ฅผ ์ค์นํ ํ PC๋ฅผ ์ฌ์์ํ์ธ์. 2026๋
๊ธฐ์ค CUDA 12.4 ์ด์์ ์ง์ํ๋ ๋๋ผ์ด๋ฒ(๋ฒ์ 550 ์ด์)๋ฅผ ๊ถ์ฅํฉ๋๋ค.
ํจ์ 2: ํฌํธ 11434 ์ถฉ๋
๋๋ฌผ์ง๋ง ๋ค๋ฅธ ํ๋ก๊ทธ๋จ์ด 11434 ํฌํธ๋ฅผ ์ด๋ฏธ ์ ์ ํ๊ณ ์์ผ๋ฉด Ollama๊ฐ ์คํ๋์ง ์์ต๋๋ค. PowerShell์์ netstat -ano | findstr :11434๋ก ํด๋น ํฌํธ ์ฌ์ฉ ์ค์ธ ํ๋ก์ธ์ค๋ฅผ ํ์ธํ๊ณ , ํ์ ์ ํ๊ฒฝ๋ณ์ OLLAMA_HOST๋ฅผ 0.0.0.0:11435๋ก ๋ณ๊ฒฝํด ํฌํธ๋ฅผ ๋ฐ๊ฟ ์ ์์ต๋๋ค.
ํจ์ 3: RAM ๋ถ์กฑ์ผ๋ก ์ธํ ์์คํ ๋จนํต
VRAM์ด ๋ถ์กฑํ๋ฉด Ollama๋ ์๋์ผ๋ก CPU + RAM์ ํ์ฉํ๋ ํ์ด๋ธ๋ฆฌ๋ ๋ชจ๋๋ก ์ ํํฉ๋๋ค. ๋ฌธ์ ๋ ์ด๋ RAM๋ ๋ถ์กฑํ๋ฉด Windows๊ฐ ๋์คํฌ ์ค์์ ๊ณผ๋ํ๊ฒ ์ฌ์ฉํ๋ฉด์ ์์คํ ์ ์ฒด๊ฐ ๋ฒ๋ฒ ๊ฑฐ๋ฆฌ๊ฑฐ๋ ๋ฉ์ถ๋ ํ์์ด ๋ฐ์ํฉ๋๋ค. ์์ ์ VRAM๊ณผ RAM์ ์ด๊ณผํ๋ ๋ชจ๋ธ์ ์ ๋๋ก ์คํํ์ง ๋ง์ธ์. ์์ ํ๊ฒ ์์ํ๋ ค๋ฉด ํญ์ 3B~7B ์ํ ๋ชจ๋ธ๋ก ํ ์คํธ ํ ์ ์ฐจ ์ฌ๋ฆฌ๋ ๋ฐฉ์์ ๊ถ์ฅํฉ๋๋ค.
ํจ์ 4: Open WebUI Docker ์ปจํ ์ด๋์์ Ollama ์ฐ๊ฒฐ ์คํจ
์์ ํ์์๋ ์ธ๊ธํ์ง๋ง, Docker ๋ด๋ถ์ localhost๋ ํธ์คํธ PC๊ฐ ์๋๋๋ค. Open WebUI ์ค์ ์์ Ollama URL์ http://localhost:11434๋ก ํ๋๋ฐ ์ฐ๊ฒฐ์ด ์ ๋๋ค๋ฉด, http://host.docker.internal:11434๋ก ๋ฐ๊พธ์ธ์. ์ด ์ค์๊ฐ Docker ๋ฐฉ์ ์ค์น์ 80% ์ด์์ ์ค๋ฅ ์์ธ์
๋๋ค.
ํจ์ 5: ๋ชจ๋ธ๋ช ์คํ ๋ฐ ๋์๋ฌธ์ ๊ตฌ๋ถ
ollama pull Llama3:8b์ฒ๋ผ ๋์๋ฌธ์๋ฅผ ์๋ชป ์
๋ ฅํ๋ฉด "model not found" ์๋ฌ๊ฐ ๋ฉ๋๋ค. Ollama ๋ชจ๋ธ๋ช
์ ์ ๋ถ ์๋ฌธ์๊ฐ ๊ธฐ๋ณธ์
๋๋ค. llama3.1:8b, qwen2.5:14b, gemma3:12b์ฒ๋ผ ๊ณต์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ํ๊ธฐ๋ ์ด๋ฆ ๊ทธ๋๋ก ์
๋ ฅํด์ผ ํด์. ์ ํํ ๋ชจ๋ธ๋ช
์ Ollama ๊ณต์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ํ์ธํ์ธ์.
๐ ์ ์ฒด ์ธํ ํต์ฌ ์์ฝ
| ๋จ๊ณ | ํต์ฌ ๋ด์ฉ | ์์ ์์ ์๊ฐ | ์ฃผ์์ฌํญ |
|---|---|---|---|
| Ollama ์ค์น | ollama.com์์ .exe ๋ค์ด๋ก๋ ํ ์ค์น | 5๋ถ | ์์คํ ํธ๋ ์ด ์์ด์ฝ ํ์ธ |
| ์ฒซ ๋ชจ๋ธ ๋ค์ด๋ก๋ | ollama pull qwen2.5:7b |
5~20๋ถ (์ธํฐ๋ท ์๋์ ๋ฐ๋ผ) | ๋ชจ๋ธ๋ช ์๋ฌธ์ ์ฃผ์ |
| API ์๋ฒ ํ์ธ | localhost:11434 ์ ์ ํ์ธ | 1๋ถ | ํฌํธ ์ถฉ๋ ์ฌ๋ถ ํ์ธ |
| Open WebUI ์ค์น | pip ๋๋ Docker ๋ฐฉ์ ์ ํ | 5~15๋ถ | Docker ์ฌ์ฉ ์ host.docker.internal ์ค์ |
| ํ๊ตญ์ด ๋ชจ๋ธ ์ธํ | EEVE-Korean ๋๋ Qwen2.5 ์ค์น | 15~60๋ถ (๋ชจ๋ธ ํฌ๊ธฐ์ ๋ฐ๋ผ) | VRAM ์ด๊ณผ ์ฌ๋ถ ํ์ธ |
| ์์คํ ํ๋กฌํํธ ์ค์ | Open WebUI์์ ํ๊ตญ์ด ๊ณ ์ ํ๋กฌํํธ ์ ๋ ฅ | 2๋ถ | ๋ชจ๋ธ๋ณ๋ก ๊ฐ๊ฐ ์ค์ ํ์ |
| GPU ๊ฐ์ ํ์ธ | ollama ps์์ VRAM ์ฌ์ฉ๋ ํ์ธ |
1๋ถ | CUDA ๋๋ผ์ด๋ฒ ๋ฒ์ ํ์ธ |
❓ ์์ฃผ ๋ฌป๋ ์ง๋ฌธ
Q1: ollama ์ค์น ์๋์ฐ์์ GPU ์์ด๋ ๋๋์?
๋ค, GPU ์์ด CPU๋ง์ผ๋ก๋ Ollama๋ฅผ ์ค์นํ๊ณ ์คํํ ์ ์์ต๋๋ค. ๋ค๋ง CPU๋ง ์ฌ์ฉํ ๊ฒฝ์ฐ ๋ชจ๋ธ ์๋ต ์๋๊ฐ GPU ๋๋น 5~10๋ฐฐ ์ด์ ๋๋ ค์ง ์ ์์ด์. ์๋ฅผ ๋ค์ด NVIDIA RTX 3060(12GB VRAM)์์ 1~2์ด ๊ฑธ๋ฆฌ๋ ์๋ต์ด ์ธํ
i7 CPU์์๋ 20~40์ด ๊ฑธ๋ฆด ์ ์์ต๋๋ค. ์ผ์์ ์ธ ํ
์คํธ ์ฉ๋๋ผ๋ฉด CPU๋ก๋ ์ถฉ๋ถํ์ง๋ง, ์ค๋ฌด ํ์ฉ์ ์ํ๋ค๋ฉด VRAM 8GB ์ด์์ GPU ํ๊ฒฝ์ ๊ถ์ฅํฉ๋๋ค. AMD GPU๋ ROCm ์ง์์ด ํ์ํ๋ฉฐ, ์๋์ฐ ํ๊ฒฝ์์๋ NVIDIA CUDA ๊ธฐ๋ฐ์ด ๊ฐ์ฅ ์์ ์ ์
๋๋ค.
Q2: Ollama์์ ํ๊ตญ์ด ๋ํ๊ฐ ์ ๋๋ ๋ชจ๋ธ์ ๋ญ๊ฐ์?
2026๋
4์ ๊ธฐ์ค์ผ๋ก ํ๊ตญ์ด ์ฑ๋ฅ์ด ๊ฒ์ฆ๋ ๋ชจ๋ธ์ ํฌ๊ฒ ์ธ ๊ฐ์ง์
๋๋ค. ์ฒซ์งธ, EEVE-Korean-10.8B๋ ์
์คํ
์ด์ง์์ ๊ณต๊ฐํ ๋ชจ๋ธ๋ก ํ๊ตญ์ด ์ดํด๋๊ฐ ๋ฐ์ด๋๊ณ Ollama ๋ชจ๋ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ๋ฐ๋ก pullํ ์ ์์ต๋๋ค. ๋์งธ, Qwen2.5:14b๋ ์๋ฆฌ๋ฐ๋ฐ์ ๋ค๊ตญ์ด ๋ชจ๋ธ๋ก ํ๊ตญ์ด ์ฒ๋ฆฌ๊ฐ ์ฐ์ํ๋ฉฐ 14B ๊ธฐ์ค VRAM 10GB ์ด์ ๊ถ์ฅํฉ๋๋ค. ์
์งธ, gemma3:12b๋ ๊ตฌ๊ธ DeepMind์ ์ต์ ์คํ์์ค ๋ชจ๋ธ๋ก ํ๊ตญ์ด ์๋ต ํ์ง์ด ํฌ๊ฒ ๊ฐ์ ๋์ต๋๋ค. 7B ์ดํ ์ํ ๋ชจ๋ธ ์ค์์๋ qwen2.5:7b๋ ๊ธฐ๋ณธ ํ๊ตญ์ด ๋ํ๊ฐ ๊ฐ๋ฅํฉ๋๋ค.
Q3: Open WebUI ์ค์นํ ๋ Docker๊ฐ ๊ผญ ํ์ํ๊ฐ์?
Docker ์์ด๋ pip(ํ์ด์ฌ ํจํค์ง ๊ด๋ฆฌ์)๋ฅผ ์ด์ฉํด ์ค์นํ ์ ์์ต๋๋ค. ํฐ๋ฏธ๋์์ pip install open-webui ๋ช
๋ น์ด ํ๋๋ก ์ค์น๋๊ณ , open-webui serve๋ก ์คํํ ์ ์์ด์. ๋ค๋ง ํ์ด์ฌ 3.11 ์ด์์ด ํ์ํ๊ณ , ํ๊ฒฝ๋ณ์ ์ถฉ๋์ด ๋ฐ์ํ๋ฉด ๊ฐ์ํ๊ฒฝ(venv) ์ค์ ์ด ์ถ๊ฐ๋ก ํ์ํฉ๋๋ค. Docker๋ฅผ ์ฌ์ฉํ๋ฉด ์ด๋ฐ ์์กด์ฑ ๋ฌธ์ ๋ฅผ ํ ๋ฒ์ ํด๊ฒฐํ ์ ์์ด ์ด๋ณด์์๊ฒ๋ Docker Desktop ์ค์น ํ docker run ๋ช
๋ น์ผ๋ก ์งํํ๋ ๋ฐฉ๋ฒ์ ๊ถ์ฅํฉ๋๋ค. 2026๋
๊ธฐ์ค Open WebUI์ ๊ณต์ ๊ถ์ฅ ์ค์น ๋ฐฉ๋ฒ์ Docker ๋ฐฉ์์
๋๋ค.
Q4: Ollama ๋ชจ๋ธ ํ์ผ์ ์ด๋์ ์ ์ฅ๋๋์? ์ฉ๋ ๊ด๋ฆฌ๋ ์ด๋ป๊ฒ ํ๋์?
์๋์ฐ ํ๊ฒฝ์์ Ollama ๋ชจ๋ธ ํ์ผ์ ๊ธฐ๋ณธ์ ์ผ๋ก C:\Users\์ฌ์ฉ์๋ช
\.ollama\models ๊ฒฝ๋ก์ ์ ์ฅ๋ฉ๋๋ค. ๋ชจ๋ธ ํฌ๊ธฐ๊ฐ ์๋นํด์ 7B ๋ชจ๋ธ ๊ธฐ์ค 4~8GB, 14B ๋ชจ๋ธ์ 8~16GB, 70B ๋ชจ๋ธ์ 40GB ์ด์ ๊ณต๊ฐ์ ์ฐจ์งํด์. ์ ์ฅ ๊ฒฝ๋ก๋ฅผ ๋ณ๊ฒฝํ๊ณ ์ถ๋ค๋ฉด ์๋์ฐ ์์คํ
ํ๊ฒฝ๋ณ์์์ OLLAMA_MODELS๋ฅผ ์ํ๋ ๊ฒฝ๋ก(์: D:\OllamaModels)๋ก ์ค์ ํ๋ฉด ๋ฉ๋๋ค. ์ฌ์ฉํ์ง ์๋ ๋ชจ๋ธ์ ollama rm ๋ชจ๋ธ๋ช
๋ช
๋ น์ด๋ก ์ญ์ ํ ์ ์๊ณ , ollama list๋ก ํ์ฌ ์ค์น๋ ๋ชจ๋ธ ๋ชฉ๋ก์ ํ์ธํ ์ ์์ต๋๋ค.
Q5: Open WebUI์์ ์ธ๋ถ์์๋ ์ ์ํ ์ ์๊ฒ ์ค์ ํ ์ ์๋์?
๊ธฐ๋ณธ์ ์ผ๋ก Open WebUI๋ localhost(127.0.0.1)์์๋ง ์ ์ ๊ฐ๋ฅํ๋๋ก ์ค์ ๋์ด ์์ด์. ๊ฐ์ ๋คํธ์ํฌ ๋ด ๋ค๋ฅธ ๊ธฐ๊ธฐ์์ ์ ์ํ๋ ค๋ฉด ์๋์ฐ ๋ฐฉํ๋ฒฝ์์ ํด๋น ํฌํธ(๊ธฐ๋ณธ 3000๋ฒ ๋๋ 8080๋ฒ)๋ฅผ ์ด์ด์ค์ผ ํฉ๋๋ค. ์ธํฐ๋ท ์ธ๋ถ์์ ์ ์ํ๋ ค๋ฉด ngrok์ด๋ Cloudflare Tunnel ๊ฐ์ ํฐ๋๋ง ์๋น์ค๋ฅผ ํ์ฉํ๋ ๋ฐฉ๋ฒ์ด ๊ฐ์ฅ ๊ฐํธํ๊ณ ์์ ํฉ๋๋ค. ๋จ, ๋ก์ปฌ AI ์๋ฒ๋ฅผ ์ธ๋ถ์ ๊ณต๊ฐํ ๊ฒฝ์ฐ ๋ฐ๋์ Open WebUI์ ๊ณ์ ์ธ์ฆ ์ค์ ์ ํ์ฑํํ๊ณ , ๊ฐ์ธ์ ๋ณด๊ฐ ํฌํจ๋ ๋ํ ๋ด์ฉ์ด ์ธ๋ถ์ ๋
ธ์ถ๋์ง ์๋๋ก ๊ฐ๋ณํ ์ฃผ์ํด์ผ ํฉ๋๋ค.
✅ ๋ง๋ฌด๋ฆฌ — ์ด์ ์ง์ง '๋ด AI'๋ฅผ ์ธ ์ฐจ๋ก์ ๋๋ค
์ฌ๊ธฐ๊น์ง ๋ฐ๋ผ์ค์ จ๋ค๋ฉด, ์ฌ๋ฌ๋ถ์ ์๋์ฐ PC์ ์์ ํ ๊ฐ์ธํ๋ ๋ก์ปฌ AI ํ๊ฒฝ์ด ๊ฐ์ถฐ์ง ๊ฒ๋๋ค.
์ ๊ตฌ๋ ๋ฃ ์์ด, ์ธํฐ๋ท ์ฐ๊ฒฐ ์์ด, ์ธ๋ถ ์๋ฒ์ ๋ฐ์ดํฐ๋ฅผ ๋ณด๋ด์ง ์์๋ ๋ฉ๋๋ค. ๋ด ๋ฐ์ดํฐ๋ ๋ด PC ์์์๋ง ์ฒ๋ฆฌ๋๊ณ , ๋ชจ๋ธ ์ ํ๋ถํฐ ์์คํ ํ๋กฌํํธ๊น์ง ์์ ํ ๋ด ์ ๋ง๋๋ก ์ปค์คํฐ๋ง์ด์ฆํ ์ ์์ด์.
์ ๋ฆฌํ๋ฉด ์ด๋ ์ต๋๋ค:
- Ollama = ๋ก์ปฌ LLM์ ์ฝ๊ฒ ์คํํ๋ ์์ง
- Open WebUI = ๊ทธ ์์ง ์์ ์น๋ ChatGPT ์คํ์ผ ์ธํฐํ์ด์ค
- ํ๊ตญ์ด ๋ชจ๋ธ(EEVE-Korean, Qwen2.5 ๋ฑ) = ์ค์ ๋ก ์ธ ์ ์๋ ํ๊ตญ์ด ๋๋
๋ค์ ๋จ๊ณ๋ก๋ Open WebUI์ RAG ๊ธฐ๋ฅ์ ํ์ฉํ ๋ฌธ์ ๊ธฐ๋ฐ Q&A ์์คํ ๊ตฌ์ถ, Modelfile์ ์ด์ฉํ ์ปค์คํ ํ๋ฅด์๋ ๋ง๋ค๊ธฐ, n8n๊ณผ Ollama ์ฐ๋ํ AI ์๋ํ ์ํฌํ๋ก์ฐ ๋ฑ์ ๋ค๋ฃฐ ์์ ์ ๋๋ค.
์ค์นํ๋ค๊ฐ ๋งํ๋ ๋ถ๋ถ, ์๋ฌ ๋ฉ์์ง๊ฐ ๋์ค๋ ๋ถ๋ถ, ๋ด PC ์ฌ์์์๋ ์ด๋ค ๋ชจ๋ธ์ด ๋ง๋์ง — ๋๊ธ์ ๊ตฌ์ฒด์ ์ธ ์ํฉ์ ๋จ๊ฒจ์ฃผ์๋ฉด ์ง์ ๋ต๋ณํด๋๋ฆด๊ฒ์. "RTX 3060 12GB์ธ๋ฐ ํ๊ตญ์ด ๋ชจ๋ธ ์ถ์ฒํด์ฃผ์ธ์"์ฒ๋ผ ์ฌ์๊น์ง ์ ์ด์ฃผ์๋ฉด ๋ ์ ํํ ์ถ์ฒ์ด ๊ฐ๋ฅํฉ๋๋ค!
๋๊ธ
๋๊ธ ์ฐ๊ธฐ