开发机装本地模型：按硬件反推可用档位
给工程团队的一张自检表：先量显存、内存、硬盘与系统保留，再反推能常驻的量化档，避免按榜单名次买错硬件。
四步自检
1. 量硬件：nvidia-smi 看显存；系统监控看可用内存；确认系统盘是 NVMe SSD。
2. 留余量：统一内存架构只算一次，并留约 4GB 给系统；独立显卡机器显存与内存可相加。
3. 反推档位：把可用容量代入 量化体积表，从高 bpw 往下试。
4. 定用途：本地补全要低延迟，尽量让权重全驻留显存；批量离线任务可以接受 SSD 溢出。
团队采购前的三个问题
- 是「每人一台」还是「一台推理机多人共用」？后者更划算，但要算并发 KV cache。
- 显卡是 NVIDIA / AMD / 统一内存？不同后端的量化支持面不同，先确认运行时再买卡。
- 硬盘是不是快 NVMe？溢出频繁时，SATA SSD 会明显拖慢。
别按榜单买硬件
模型榜单比的是能力，不是「你的机器能不能装」。先把容量账算清，再从能跑的档位里挑能力最好的。
相关
本站垂直内容 · CursorHome 比价台