# LM Studio 混合显存卸载层检查表:可落地的做法
Contents
# 为什么「LM Studio 混合显存卸载层检查表」需要一份书面计划
先量空闲显存与上下文,再定卸载层,不抄论坛传说。本地 AI 的硬件决定常常在群聊里拍板,一个月后就没人记得。等出了问题,没人知道当初为什么选这个电源、这个机箱。一页纸的计划就能避免这种情况。
# 花钱前先收集的信息
- 目标模型和量化等级,最好已经在别人的机器或租用算力上试过。
- 团队真实使用的最长上下文,用真实文档测量,不要拍脑袋。
- 最忙时段的同时在线人数。
- 环境限制:能接受的噪音、室温、电路,以及机器放在哪里。
- 谁来维护:驱动更新、拉取模型、备份都要有人负责。
# 把需求换算成硬件
内存是第一约束。按选定的量化估算权重大小,加上真实上下文下的 KV 缓存,再留出余量,避免下午最忙时推理程序被迫把层卸载到内存。可以用硬件测评做交叉核对。对小团队来说,算力速度没有大家想得那么关键,容量和稳定性更重要。
接下来是供电和散热。用便宜的插座功率计分别测空闲和持续负载时的墙插功耗,财务喜欢真实数字,你也能更早发现电源吃力。把防尘网清理写进维护日历,进风口堵塞是悄悄降频的常见原因。
# 常见错误
- 买了最大的卡,却配了来路不明的电源。
- 忘了第二张卡需要插槽间距、通道和更大的供电预算。
- 以为笔记本显卡在长时间负载下和同名台式卡表现一样。
- 跳过烤机,结果在演示现场出问题。
# 装机之后
# 一个不编数字的例子
设想一个五人办公室,想做一个用于起草和文档检索的私有助手。他们先写下测试过的模型系列、在中英文问题上仍然表现良好的量化等级,以及平时粘贴的最长文档。据此估算出带充足余量的内存需求,并决定一张显存足够的卡比两张小卡更稳妥,因为后者会让配置复杂化。他们选了留有余量的优质电源、前进风通畅的机箱,以及足够同时运行嵌入模型的系统内存。装好后先烤机,检查温度和日志,再跑评测提示词。之后对外分享的每个数字都来自自己的实测,并在旁边写明方法。
另见5000 元档配置。
# 速记要点
- 每次变更都写上日期和负责人。
- 合侧板前给走线拍照。
- 给系统和嵌入模型留出内存余量。
- 所有运行时共用一个模型目录。
作者:本地AI 1号网,深圳团队,专注本地大模型软硬件、装机与私有化部署。
End