一句话解释

本地运行大模型，就是把开源权重的语言模型下载到自己的电脑或服务器上，用推理软件加载它，从而在不依赖云端服务的情况下完成对话、写作、编程等任务。

为什么要在本地运行

数据不出本机。 处理合同、病历、内部代码等敏感内容时，数据留在自己的设备上更让人放心。

可以离线使用。 没有网络也能工作，不受服务商限流或宕机影响。

没有按量费用。 硬件到位后，调用次数不再直接产生费用，适合大量、重复的批处理任务。

可控、可定制。 可以自由选择模型版本、调整参数、加载微调过的权重，也便于做研究和实验。

代价也很明显：本地能跑的模型规模受硬件限制，能力通常不及最强的云端模型；安装、更新和排错需要自己动手。

先看硬件：显存或内存是关键

决定“能不能跑、跑得多快”的首要因素是模型权重能否装进内存。一个粗略的估算方法是：

权重占用 ≈ 参数量 × 每个参数占用的字节数

例如一个 70 亿（7B）参数的模型，如果每个参数用 16 位（2 字节）存储，权重本身就需要约 14GB；如果量化到 4 位（0.5 字节），则约 3.5GB。实际运行时还要额外留出空间给上下文缓存（KV Cache）和推理软件本身，上下文越长，额外占用越多。

几类常见硬件：

  • 独立显卡（GPU）：速度最快，关键指标是显存大小。模型能完全放进显存时体验最好。
  • 统一内存的电脑：例如 Apple Silicon 芯片的 Mac，CPU 和 GPU 共享内存，可以加载比同价位独立显卡更大的模型。
  • 纯 CPU：也能运行，尤其是量化后的小模型，但生成速度明显较慢。

如果显存不够，部分推理软件支持把一部分层放在 GPU、其余放在 CPU 内存里，能跑起来但会变慢。

量化：让大模型“瘦身”

量化（Quantization）是本地部署最常用的技术。它把模型权重从高精度数值（如 16 位浮点）转换成低精度表示（如 8 位、4 位整数），从而大幅降低内存占用、提升推理速度。

量化会带来一定的精度损失，位数越低损失越明显。4 位左右通常被视为体积与质量之间比较均衡的选择，但具体效果因模型和任务而异，最好自己实测。

在本地生态中，常见的量化格式包括 llama.cpp 使用的 GGUF 格式，以及面向 GPU 推理的 GPTQ、AWQ 等方法。下载模型时，文件名里通常会标明量化方式。

常用工具

Ollama：命令行工具，一条命令即可下载并运行模型，同时在本地提供 API 接口，方便其他程序调用。适合想快速上手的用户。

LM Studio：图形界面应用，可以浏览、下载模型并直接聊天，也能开启本地服务器。适合不想碰命令行的用户。

llama.cpp：用 C/C++ 编写的推理引擎，支持 CPU 和多种 GPU 后端，许多上层工具都基于它构建。适合需要精细控制参数的用户。

vLLM 等服务端框架：面向在 GPU 服务器上为多人提供服务的场景，注重吞吐量和并发。

许多本地工具都提供与主流云端 API 格式兼容的接口，原本调用云端模型的程序，往往只需修改接口地址就能切换到本地模型。

上手步骤

以 Ollama 为例，大致流程如下：

  1. 从官网下载并安装 Ollama。
  2. 在模型库中挑选一个参数量适合自己硬件的模型。
  3. 在终端运行 ollama run 模型名，首次运行会自动下载权重。
  4. 下载完成后即可在终端直接对话。
  5. 如果想在其他应用中使用，可以调用 Ollama 在本机提供的 HTTP 接口。

选模型时，建议先从小参数量的版本开始，确认能流畅运行后再尝试更大的模型。

常见误区

误区一：本地模型和顶级云端模型一样强。 受硬件限制，本地通常运行的是中小规模模型，在复杂推理、长文本等方面可能存在差距。适合的任务交给它，困难任务仍可考虑云端模型。

误区二：只要显卡好就行。 显存容量往往比显卡算力更关键。算力再强，模型装不进显存也会严重变慢。

误区三：量化位数越低越划算。 过度量化会明显影响输出质量，比如回答变得前后矛盾或语言错乱。要在体积和质量之间找平衡。

误区四：本地运行就绝对安全。 模型文件和工具仍然来自网络，应从官方或可信渠道下载。如果开启了本地 API 服务，注意不要在未设访问控制的情况下暴露到公网。

误区五：开源权重等于可以随意商用。 不同模型的许可证差别很大，有的对商业用途有限制，使用前要阅读模型附带的许可协议。

延伸阅读