大模型技术实战 - 公有云AI技术文章封面

本地部署Ollama + Llama3完整指南：Mac/Windows/Linux三平台全覆盖，从此告别付费API

作者

阿里云上云采购季 2核2G云服务器99元/年 续费同价

每月为大模型API付费几百块？本文手把手教你在本地跑Llama3，零API费用，数据不出本机，响应速度甚至比云端更快。

为什么要本地部署大模型？

在用大模型API一段时间后，不少人开始考虑本地部署，原因通常是这几个：

痛点 云API 本地部署
费用 按token计费，用多少花多少 一次部署，永久免费
数据隐私 数据上传到服务商服务器 数据不出本机
网络依赖 需要稳定网络，国内访问OpenAI不稳定 完全离线可用
响应速度 受网络延迟影响 本地推理，无网络延迟
定制能力 受限于服务商功能 可以微调、定制

当然，本地部署也有明显局限：需要足够的硬件（尤其是显存/内存），以及模型能力相比GPT-4o有差距。

但对于开发测试、隐私敏感场景、离线应用、个人使用，本地部署绝对值得。

一、Ollama是什么？

Ollama 是目前最流行的本地大模型管理工具，把复杂的模型部署过程简化成了几条命令。

核心优势：
– 一条命令拉取并运行任何支持的模型
– 自动管理模型文件、GPU加速配置
– 提供兼容OpenAI格式的本地API
– 支持Mac（Apple Silicon + Intel）、Windows、Linux

支持的主要模型（截至2026年）：
– Llama3.1、Llama3.3（Meta）
– DeepSeek-R1、DeepSeek-V3（DeepSeek）
– Qwen2.5、QwQ（阿里通义）
– Mistral、Gemma 2（Google）
– Phi-4（微软）
– 以及100+个模型

二、硬件要求评估

在安装之前，先确认你的硬件是否满足要求：

内存/显存需求对照表

模型规模 推荐内存（CPU推理） 推荐显存（GPU推理） 代表模型
3B参数 8GB 4GB Llama3.2-3B, Phi-3.5
7B参数 16GB 8GB Llama3-8B, Qwen2.5-7B
13B参数 32GB 16GB Llama3-13B, Qwen2.5-14B
70B参数 64GB 40GB+ Llama3.3-70B, Qwen2.5-72B

推荐入门组合：
– M系列Mac（16GB统一内存）：跑7B~14B毫无压力，体验最好
– Windows PC（RTX 3060 12GB）：跑7B流畅，量化版14B可以跑
– 普通笔记本（16GB内存，无独显）：只能跑3B~7B，速度慢但可用

三、安装教程：三平台全覆盖

3.1 macOS 安装

# 方法一：直接下载安装包（推荐）
# 访问 https://ollama.com/download，下载 macOS 版本
# 安装后 Ollama 会在状态栏运行

# 方法二：Homebrew
brew install ollama

# 验证安装
ollama --version

Apple Silicon（M1/M2/M3/M4）用户不需要任何额外配置，Ollama会自动使用Metal GPU加速。

3.2 Windows 安装

# 方法一：下载安装包（推荐新手）
# 访问 https://ollama.com/download，下载 Windows 版本
# 直接双击安装，会自动配置环境变量

# 方法二：winget
winget install Ollama.Ollama

# 安装完成后验证（新开一个PowerShell窗口）
ollama --version

Windows注意事项：
– 需要Windows 10 21H1及以上版本
– NVIDIA GPU用户需安装CUDA 11.8+驱动
– AMD GPU用户需安装ROCm驱动（支持有限）

3.3 Linux 安装

# 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh

# 安装完成后，ollama会自动注册为systemd服务
# 验证服务状态
sudo systemctl status ollama

# 如果没有自动启动
sudo systemctl enable ollama
sudo systemctl start ollama

NVIDIA GPU加速配置（Linux）：

# 安装CUDA（如果没有）
# 参考：https://developer.nvidia.com/cuda-downloads

# 验证CUDA是否可用
nvidia-smi

# Ollama会自动检测并使用GPU，无需额外配置

四、运行第一个模型：Llama3

安装好Ollama后，运行Llama3只需要一条命令：

# 下载并运行 Llama3.1 8B（约5GB）
ollama run llama3.1

# 等待下载完成后，进入交互界面
# >>> 发送消息 (/? for help)

其他推荐模型：

# 轻量快速（适合低配机器）
ollama run llama3.2:3b          # 2GB，速度快

# 均衡选择（推荐大多数人）
ollama run llama3.1:8b          # 5GB，效果好
ollama run qwen2.5:7b           # 5GB，中文更好

# 推理增强（适合逻辑推理任务）
ollama run deepseek-r1:7b       # 5GB，推理能力强

# 高质量（需要16GB+内存）
ollama run llama3.3:70b-q4_K_M  # 43GB，接近GPT-4水平

切换模型：

# 查看已安装的模型
ollama list

# 删除不需要的模型（释放磁盘）
ollama rm llama3.1:8b

# 更新模型
ollama pull llama3.1:latest

五、API接入：兼容OpenAI格式

Ollama默认在 http://localhost:11434 提供API，格式与OpenAI完全兼容，这意味着你可以零改动切换已有代码：

5.1 Python调用示例

from openai import OpenAI

# 只需把base_url改成本地地址，api_key随便填
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 随便填，不验证
)

response = client.chat.completions.create(
    model="llama3.1",  # 换成你本地已有的模型名
    messages=[
        {"role": "user", "content": "用Python写一个快速排序算法"}
    ]
)

print(response.choices[0].message.content)

5.2 原生REST API

# 聊天接口
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    {"role": "user", "content": "你好，介绍一下自己"}
  ],
  "stream": false
}'

# 生成接口（更简单）
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "天空为什么是蓝色的？",
  "stream": false
}'

5.3 让其他设备也能访问（局域网部署）

默认Ollama只监听localhost，如果想让局域网其他设备访问：

# Linux/macOS：设置环境变量
export OLLAMA_HOST=0.0.0.0

# 或者修改systemd配置（Linux）
sudo systemctl edit ollama.service
# 添加：
# [Service]
# Environment="OLLAMA_HOST=0.0.0.0"
sudo systemctl restart ollama

# Windows：在系统环境变量中添加
# OLLAMA_HOST = 0.0.0.0

然后其他设备通过 http://你的IP:11434 访问即可。

六、搭配Web界面：Open WebUI

命令行用起来不方便？给Ollama加一个ChatGPT风格的Web界面：

# 前提：安装Docker
docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

浏览器打开 http://localhost:3000，注册账号后就可以用了。

支持功能：
– 多模型切换
– 对话历史管理
– 文件上传（RAG）
– 多用户支持
– 与Ollama无缝集成

七、常见问题排查

Q：下载模型很慢怎么办？

国内访问Ollama官方镜像源确实慢。可以设置镜像：

# 设置国内镜像（如有可用的话）
export OLLAMA_HOST=https://镜像地址

# 或者直接挂代理下载
export https_proxy=http://127.0.0.1:7890
ollama pull llama3.1

Q：GPU没有被使用怎么办？

# 查看Ollama是否识别到GPU
ollama run llama3.1
# 在另一个终端查看
nvidia-smi  # NVIDIA
# 或
rocm-smi    # AMD

# 查看Ollama日志
journalctl -u ollama -f  # Linux

Q：模型回答速度很慢？

  • CPU推理速度慢是正常的，7B模型CPU推理大概5-10 tokens/s
  • GPU推理快得多，通常60-100+ tokens/s
  • 量化模型（q4_K_M格式）体积小、速度快，质量略低于全精度

Q：如何让模型说中文？

系统提示设置：

response = client.chat.completions.create(
    model="llama3.1",
    messages=[
        {"role": "system", "content": "请始终用中文回答，回答简洁专业。"},
        {"role": "user", "content": user_input}
    ]
)

或者直接用中文优化过的模型：qwen2.5:7b、deepseek-r1:7b

总结

本地部署大模型的核心步骤：

  1. 评估硬件 → 确认内存/显存是否够用
  2. 安装Ollama → 一个安装包搞定
  3. 下载模型 → ollama run 模型名 一条命令
  4. 接入代码 → 兼容OpenAI格式，几乎零改动
  5. 可选UI → Open WebUI提供图形界面

配置好之后，你就拥有了一个：完全免费、数据不出门、随时可用的本地大模型。对于开发测试、隐私数据处理、离线场景，这套方案性价比极高。

关于作者

长期关注大模型应用落地与云服务器实战，专注技术在企业场景中的落地实践。

个人博客：y1cloud.cn —— 持续更新云计算、AI大模型实战教程，欢迎访问交流。

发表评论