让大模型控制智能家居，看起来只是把“打开客厅灯”转换成一个接口调用。真正的系统却要回答更多问题：是谁发出的指令，家里当前是什么状态，动作是否可逆，设备失联时会怎样，以及模型读到的不可信内容会不会改变它的计划。
Anthropic 是这类风险的一个观察案例，而不是唯一对象。其 Claude 平台支持工具调用和外部连接，应用可以把模型生成的结构化请求交给自己的代码执行。也正因为执行发生在应用侧，最终权限和安全边界必须由智能家居系统负责。
## 先按物理后果给动作分级
读取室温、查看灯是否开启，属于只读动作。调暗灯光、播放音乐通常可逆。解锁门、关闭报警器、启动烤箱或改变婴儿房温度，则可能产生更高后果。
不要给模型一个万能的“控制家庭”工具。把能力拆成窄接口，每个接口只接受必要参数，并设置允许范围。例如温度只能在安全区间调整，门锁只能在特定身份与位置条件下操作。
高后果动作采用二次确认。确认界面要显示具体设备、动作与有效时间，而不是只问“是否继续”。本地控制器仍保留温控、烟雾报警和电机限位等硬件保护，模型无权覆盖。
## 模型的计划与设备执行要分层
模型适合把自然语言拆成意图，例如“睡觉了”可能意味着关灯、调低空调和检查门锁。但计划不能直接写入设备总线。
中间的策略层检查用户身份、家庭模式、设备状态、动作冲突和权限。执行层只接受通过验证的结构化命令。每次执行后重新读取设备状态，不能把“已发送命令”当成“动作成功”。
对连续任务设置最大步数、时间和设备数量。若模型反复重试或状态不一致，系统应停止并请求人工处理，而不是不断扩大操作范围。
## 提示注入会从屏幕进入现实
智能家居代理可能读取快递通知、访客留言、摄像头画面、日历或网页说明。这些内容都可能夹带指令，诱导模型忽略用户意图并调用工具。
Anthropic 在 2025 年公开讨论浏览器代理的提示注入防御时明确指出，没有浏览器代理能对注入免疫。家庭系统同样不能把模型“更聪明”当成完整防线。
外部内容必须标记为不可信数据，不能获得系统指令等级。工具层还要再次检查参数和权限。即使模型被诱导，攻击也应停在一个无法开门、无法读取摄像头历史、无法对外发送数据的沙箱里。
## 身份不是一句“我是主人”
语音可能被录音重放，家庭成员也有不同权限。身份判断应结合已登录设备、局域网位置、硬件凭证或生物识别，并根据动作风险选择验证强度。
客人可以控制客厅灯，不应查看门锁历史；儿童可以播放音乐，不应改变安全模式；维修人员的临时权限应自动到期。共享家庭需要明确谁能查看摄像头、存在传感器和使用记录。
模型只接收完成任务所需的最少信息。若回答“家里是否有人”，不必把每个房间的完整传感器历史都放入上下文。
## 网络中断时，房子仍要正常工作
云模型、家庭网关和单个设备都可能离线。关键功能应有本地退化模式：实体开关继续工作，烟雾报警独立运行，门锁保留本地开关方式，恒温器维持安全设定。
NIST 的 IoT 技术能力目录强调设备识别、受控配置、数据保护、接口访问、软件更新和安全状态感知。对家庭代理而言，还要记录每台设备的版本、可用性和最后成功状态。
自动化规则需要冲突处理。节能规则、老人照护规则和用户临时指令可能同时改变温度。系统应有确定优先级，而不是让模型临场猜测。
## 隐私风险来自聚合，而不只是一台摄像头
灯光、门锁、温度和用电数据组合后，可以推断作息、房间占用与外出时间。日志不应默认永久保存，也不应把原始家庭数据全部发送给模型供应商。
优先在本地完成唤醒词、设备发现和简单规则。发送到云端前做字段最小化，使用短期标识替代真实姓名。高敏感图像可先在本地转换成“有人靠近门口”之类的有限事件。
访问日志要让家庭管理员看得懂：谁在何时提出什么请求，模型计划了什么，策略层允许了什么，设备实际返回什么。日志本身也要加密并限制访问。
## 用场景回放测试，而不是只聊几句话
建立家庭数字沙盒，模拟正常指令、含糊表达、多人冲突、设备延迟、断电、网络中断和恶意留言。每个测试记录是否做了错误动作、是否漏掉必要动作、人工接管次数和恢复时间。
特别测试组合故障：门锁状态过期时收到访客消息；温度传感器异常时用户说“再暖一点”；模型正在执行睡眠场景时烟雾报警触发。现实风险往往来自多个小问题叠加。
模型或提示升级后重跑同一组测试。通过一次评测，不代表后续版本、不同语言或新设备仍然安全。
## 风险评估的结论应落到系统边界
问题不应只是“Claude 是否安全”，而应是：模型能看到什么、能调用什么、谁验证参数、哪些动作需要确认、设备如何报告状态、故障时怎样退回本地控制。
把大模型放在建议与计划层，用最小权限工具、策略检查、物理联锁和可回放日志包住它，智能家居才不会把一次语言误解放大成家庭环境中的真实后果。
## 参考资料