# 本地模型接 MCP 工具栈:先检查什么
Contents
# 「本地模型接 MCP 工具栈」的业务视角
先只读;写工具后置。对于不能把文档发到公有 API 的公司,大模型私有化部署很有吸引力。技术门槛已经不高,难的是治理:谁能用、能处理什么数据、出错时谁负责。
# 先做数据分级
列出系统会接触的数据类型:公开资料、内部文档、客户记录、财务数据。决定哪些可以进入、存在哪里、日志保留多久。写在一页纸上,并让合规负责人签字。本地推理并不能免去制度,它只是让制度可以真正落地。
# 账号与密钥
- 每个人或服务单独一把密钥,不要在群里贴一把共享的团队密钥。
- 按日历轮换密钥,员工离职当天吊销。
- 推理主机的 SSH 只允许密钥登录,并写好应急登录流程。
- 每次请求记录调用方、模型版本和时间。
# 护栏与测试
在主模型前加简单的输入输出过滤,规则要有版本并经过测试。每次上线前做一次轻量红队:通过文档进行提示注入、尝试获取其他用户的数据、以及助手应当拒绝的请求。能写入或发送内容的工具先默认关闭,只读阶段跑稳后再逐步开放。
# 成本与交付
用实测数字向财务解释成本:硬件、功率计测出的电费、管理工时和评测投入,再与现实的云端方案对比。私有化部署的交付包应包括硬件清单、运维手册、评测结果和权限矩阵。
# 管理层会问的问题
- 系统能看到哪些数据,存在哪里?
- 谁能用?员工离职时如何收回权限?
- 回答错了怎么办,谁负责?
- 每月成本多少,包括电费和人力?
- 出问题时如何快速关停?
第一次开会前准备好简短、基于事实的回答。一页纸写清负责人、数据政策和止损开关,通常能把讨论从“安不安全”推进到“从哪里开始”。
相关资料可参考整机定制方案,另见MicroAI One 软件。
# 速记要点
- 每次请求都记录模型名称和版本。
- 新模型通过评测前保留旧文件。
- 公布助手会拒绝做的事。
- 离线演示准备纸质备用方案。
作者:本地AI 1号网,深圳团队,专注本地大模型软硬件、装机与私有化部署。
End