# 双卡只绑一卡跑 LLM:可落地的做法
Contents
# 为什么「双卡只绑一卡跑 LLM」值得分享
进程钉核;另一卡给向量或空闲。本地模型社区靠交换实践经验成长:哪些设置经得起考验,哪些购买后悔了,哪些教程有错。加一点点结构,这些经验就能被复用。
# 简单模板
- 目标:你希望这套配置做什么。
- 硬件和软件版本。
- 操作步骤,包括走过的弯路。
- 结果,以及测量方法。
- 如果重来会怎么做。
# 学习路径
对刚入门的人,合理的顺序是:装一个运行时,跑一个小模型,弄懂上下文长度和量化如何影响内存,然后尝试本地文档助手。等搞清楚自己真正卡在哪个上限,再考虑升级硬件。
# 教学与工作坊
学校和小办公室可以用普通硬件办离线工作坊。提前把模型放进 U 盘并核对校验值,准备一份纸质备用方案以防出错。学生数据留在本机,并讲清楚模型能做什么、不能做什么。
# 社区礼仪
注明你参考了谁的教程,不传播泄露或无授权的权重,商用前先读模型许可证。解决问题后,把方法回帖到原来的讨论里。
# 一个小例子
一个爱好者小组每月聚会,交流各自的本地 AI 配置。每人带一页总结:硬件、软件版本、模型文件、成功和失败的地方。总结放在共享文件夹里,按主题打标签,比如量化、手机端、文档检索。一年下来,这个文件夹比任何一篇教程都有用,因为它记录了真实配置和真实失败。新成员先读最近的几页,选一套配置复现,然后再自己探索。
# 速记要点
- 每次请求都记录模型名称和版本。
- 所有运行时共用一个模型目录。
- 每次大版本模型升级后重新检查配置。
- 每次变更都写上日期和负责人。
作者:本地AI 1号网,深圳团队,专注本地大模型软硬件、装机与私有化部署。
End