# 私有化交付物清单:分步说明
Contents
# 让「私有化交付物清单」在公司里真正落地
手册、评测、BOM、权限矩阵。基于本地模型的内部助手,只要像其他生产服务一样对待——有负责人、有监控、有文档——就容易成功;如果一直停留在演示阶段,却慢慢变成大家离不开的依赖,就容易失败。
# 负责人
为服务指定一名负责人和一名备份。负责人审批模型变更、维护运维手册,并回答安全和财务的问题。没有具体的人,问题就会在 IT 和发起试点的团队之间来回踢。
# 边界
写清楚助手做什么、不做什么。摘要、起草、在批准的文档中搜索是常见用途;记账、审批付款、解释合同、提供医疗和法律建议应当留给人。当请求越界时,助手要直接说明,并给出人工处理的途径。
# 安全基础
- 系统指令、用户输入和检索到的文本要分开处理。
- 工具返回结果和上传文件一律视为不可信。
- 审计日志放在用户无法修改的地方。
- 内部测试发现的问题要有责任人和截止日期。
# 监控
盯住会导致停机的指标:显卡温度、磁盘空间、进程崩溃和队列长度。针对这些告警,而不是每条报错都告警。做一个简单的状态页,让同事知道服务何时降级。
# 复盘
# 一个实际例子
一家专业服务公司搭建了用于起草方案的本地助手。上线前,他们把数据分为三级,只允许前两级进入。每位顾问拥有个人密钥,日志记录调用者和模型版本,输出过滤器阻止某个客户的名称出现在给其他客户的草稿里。一次简短的内部测试发现,粘贴的文档里可能夹带模型会照做的指令,于是他们把检索文本和指令分开处理,并增加了审核步骤。上线比演示慢,但安全团队签了字,服务也有了能回答问题的负责人。
想了解更多,可以看看整机定制方案和MicroAI One 软件。
# 速记要点
- 公布助手会拒绝做的事。
- 给系统和嵌入模型留出内存余量。
- 先限并发,再考虑降量化。
- 商用前先读模型许可证。
作者:本地AI 1号网,深圳团队,专注本地大模型软硬件、装机与私有化部署。
End