# 容器镜像里别塞权重：实操清单

# 「容器镜像里别塞权重」到底在解决什么

挂载模型卷；镜像保持小可重建。Ollama、LM Studio、llama.cpp 这类本地运行时装起来很容易，配错也很容易。很多看起来像“模型不行”的问题，其实是环境问题：文件格式不对、量化不适合中文、上下文设得太小，或者代理悄悄把下载弄坏了。

# 先把基础做对

• 固定版本。记录通过测试的运行时版本和模型文件（名称、量化、校验值）。
• 文件格式要和运行时对应：llama.cpp 系工具用 GGUF，苹果芯片上的 MLX 用 MLX 格式，需要 safetensors 的框架就用 safetensors。
• 模型集中放在一个目录或仓库，各工具指向它，不要同一份权重下载三遍。
• 有意识地设置上下文长度，上下文越大，每个并发会话占的内存越多。

# 排错顺序

拉取失败或模型加载不了时，按固定顺序逐层排查：网络与证书、代理设置、镜像或仓库是否可用、磁盘空间、最后核对文件校验值。模型能加载但回答很差时，检查提示词模板、温度，以及量化是否对你的语言太激进。一次只改一处，并记下结果。

# 给团队提供服务

一台工作站可以服务一个小组，前提是坦诚说明上限。在前面放一个 OpenAI 兼容接口，要求密钥，限制并发，并在队列繁忙时提示用户。每次请求都记录模型名称和版本，以后回答质量变化时才说得清原因。保留回滚路径：上一版模型文件和运行时要能一条命令切回去。

# 安全升级

新版本更新很频繁。切换前，用小评测集把新旧版本并排跑一遍。质量或稳定性下降就回滚，等等再说。不要只信一张公开图表，方法、硬件和提示词差别太大。

# 新机器检查清单

• 先装显卡驱动，确认系统能识别显卡。
• 只装一个运行时，并确认它能调用显卡。
• 拉一个小模型，跑一个短提示词，记下内存占用。
• 把模型目录放到剩余空间充足的硬盘上并更新路径。
• 第一个模型稳定之后再加第二个。
• 趁记忆还新，把操作步骤写进共享文档。

按这个顺序，问题很容易定位。一次装好几个工具和模型，就很难判断是哪项改动导致了故障。

相关资料可参考本地 AI 教程中心，另见Windows 上 Dify + Ollama。

# 速记要点

• 离线演示准备纸质备用方案。
• 演练恢复，而不只是做备份。
• 所有运行时共用一个模型目录。
• 给系统和嵌入模型留出内存余量。

作者：本地AI 1号网，深圳团队，专注本地大模型软硬件、装机与私有化部署。