算力

本地模型能不能跑：显存加内存一起算，别只看显存

把 GPU 显存与系统内存相加当作总可用容量，热点权重放显卡、其余放内存、再放不下的由 NVMe SSD 兜底；共享内存只算一次并留约 4GB 给系统。

All guides · Full article is primarily Simplified Chinese; use the English summary below for quick takeaways (GEO-friendly).

先算总账，再谈能不能装

很多「跑不动」其实不是显卡不行，是只盯着显存看。正确的第一步是：

> 可用容量 ≈ GPU 显存（VRAM）+ 系统内存（RAM）

运行时把最常用的权重层留在显卡，其余放内存，实在放不下的部分从 NVMe SSD 读。这个分层决定了「能不能启动」和「启动后快不快」是两件事。

1. 同容量下，显存比内存快。 24GB 显存 + 64GB 内存，和 88GB 全在内存里，速度不是一个量级。

2. 共享内存只算一次。 统一内存架构（如 Strix Halo、Gorgon Halo 或 Apple Silicon）里，显存和内存是同一块物理内存，不能加两遍，并且要留约 4GB 给系统。

3. SSD 是兜底不是常态。 溢出到 SSD 能让你「跑起来」，但每轮都要读盘，速度会明显下降。

更小的机器也不是完全不能跑：一块受支持的显卡、32GB 内存、一块快 NVMe SSD，配合激进量化，可以从入门档起步。代价是溢出频繁、速度慢。