使用Ollama在本地计算机部署AI模型
本教程所使用的设备环境:
CPU: Intel Xeon E5-2450 V2
GPU: NVIDIA GeForce RTX 2080 TI
RAM: 192GB
OS: Microsoft Windows 11 24H2 (64-Bit)
前往Ollama官网并下载Ollama

安装Ollama:


安装完成后打开终端,执行 ollama –version 以检查是否安装成功

前往Ollama官方模型库寻找需要的模型

如 Gemma 3:


使用以下命令下载 gemma3 12b 模型
ollama pull gemma3:12b

下载模型的速度取决于网络环境和本地硬盘的读写速度,若速度过慢,请自行科学上网

模型下载完成后,使用以下命令列出全部模型以查看是否下载成功
ollama list

使用以下命令运行gemma3:12b
ollama run gemma3:12b


11GB显存貌似略有些不够,看来下次需要扩容至22GB(恼
就此本地模型已经部署完成

可选装第三方客户端,如Chatbox

设置Ollama API(默认端口为11434)
http://127.0.0.1:11434

点击“获取”,并将要使用的模型添加至Chatbox

点击模型旁的齿轮图标,然后为该模型开启视觉(前提是模型支持此功能)

教程到此结束