使用Ollama在本地计算机部署AI模型

本教程所使用的设备环境:
CPU: Intel Xeon E5-2450 V2
GPU: NVIDIA GeForce RTX 2080 TI
RAM: 192GB
OS: Microsoft Windows 11 24H2 (64-Bit)

前往Ollama官网并下载Ollama

安装Ollama:

安装完成后打开终端,执行 ollama –version 以检查是否安装成功

前往Ollama官方模型库寻找需要的模型

如 Gemma 3:

使用以下命令下载 gemma3 12b 模型

ollama pull gemma3:12b

下载模型的速度取决于网络环境和本地硬盘的读写速度,若速度过慢,请自行科学上网

模型下载完成后,使用以下命令列出全部模型以查看是否下载成功

ollama list

使用以下命令运行gemma3:12b

ollama run gemma3:12b

11GB显存貌似略有些不够,看来下次需要扩容至22GB(恼

就此本地模型已经部署完成

可选装第三方客户端,如Chatbox

设置Ollama API(默认端口为11434)

http://127.0.0.1:11434

点击“获取”,并将要使用的模型添加至Chatbox

点击模型旁的齿轮图标,然后为该模型开启视觉(前提是模型支持此功能)

教程到此结束