← AI 教程

Install · 8 分钟

大模型安装

先装 Ollama,再拉取一个大约 1GB 的小模型,确认终端里能对话。图形界面用 LM Studio 走同样三步。

先看这台电脑

先跑小的。通义千问 Qwen2.5 的 1.5B 大约 1GB,普通笔记本可以试。7B 大约 4.7GB,内存 16GB 以上更从容。模型文件要占磁盘,系统盘留出空余再下。

苹果芯片和 NVIDIA 显卡会快一些。只有 CPU 也能跑 1.5B,回复会慢,但能用来确认安装是否成功。

安装 Ollama

打开 Ollama 下载页,按系统拿安装包。macOS 打开 dmg,把 Ollama 拖进应用程序。Windows 运行安装包,完成后托盘出现图标。Linux 在终端执行下面这一行。

装好后打开终端,输入 ollama --version。能看到版本号,就说明运行器已经在了。这一步还没有模型。

Ollama 下载页

示例

curl -fsSL https://ollama.com/install.sh | sh

拉取并运行

在终端执行下面的命令。第一次会从 Ollama 模型库下载大约 1GB,之后出现 >>> 提示符。输入一句中文,能收到完整回复,就说明模型已经装上。

结束对话输入 /bye,或按 Ctrl+D。ollama list 列出这台电脑上已经下载的模型。想换更大的,把名字改成 qwen2.5:7b,体积大约 4.7GB。

Qwen2.5 模型页

示例

ollama run qwen2.5:1.5b

改用图形界面

不想用终端时,安装 LM Studio。打开后在 Discover 里搜索 qwen2.5,选 1.5B 左右的版本下载。下载完成后切到聊天页,载入这个模型,输入一句话。

需要给别的软件调用时,在 LM Studio 里打开 Local Server。本机接口通常是 http://127.0.0.1:1234。Ollama 的接口是 http://127.0.0.1:11434,两边不要混用。

LM Studio