lucid.page 不编造跑分地读显存速查表:一次完整走查
Text size
Read time1 min

# 不编造跑分地读显存速查表:一次完整走查

Contents

# 为什么「不编造跑分地读显存速查表」需要一份书面计划

按参数量与量化匹配空闲显存,并预留 KV,不贴未核实 tok/s。本地 AI 的硬件决定常常在群聊里拍板,一个月后就没人记得。等出了问题,没人知道当初为什么选这个电源、这个机箱。一页纸的计划就能避免这种情况。

# 花钱前先收集的信息

# 把需求换算成硬件

内存是第一约束。按选定的量化估算权重大小,加上真实上下文下的 KV 缓存,再留出余量,避免下午最忙时推理程序被迫把层卸载到内存。可以用整机定制方案做交叉核对。对小团队来说,算力速度没有大家想得那么关键,容量和稳定性更重要。

接下来是供电和散热。用便宜的插座功率计分别测空闲和持续负载时的墙插功耗,财务喜欢真实数字,你也能更早发现电源吃力。把防尘网清理写进维护日历,进风口堵塞是悄悄降频的常见原因。

# 常见错误

# 采购前要问的问题

只要有一个问题答不清,就先租用或借用类似的硬件试一周。一周的真实使用比一个月看参数表更有用,也能让采购建立在自己的工作负载之上。

另见3000 元档配置。

# 速记要点

作者:本地AI 1号网,深圳团队,专注本地大模型软硬件、装机与私有化部署。

End