一辆测试车在南方暴雨中收集到路面反光与低能见度数据，另一辆车长期运行在北方冬季道路，还有车辆面对隧道、施工区域和不同相机型号。把所有原始视频与点云长期集中上传，带宽、存储和数据管理压力都很大。
联邦学习提供另一种协作方式：中心向一批车辆发送同一模型，车辆在本地样本上训练，只回传模型更新；中心聚合更新后形成新版本，再进入下一轮。
它听起来很适合自动驾驶，因为数据量巨大、分布分散、场景又各不相同。但车辆不是稳定在线的机房服务器，感知模型也不是普通推荐系统。通信中断、传感器差异、更新异常和最差场景回退，都必须在方法论中提前处理。
## 先选择适合联邦学习的任务
不要从端到端驾驶控制开始。一个更稳妥的试点是车端可独立训练、标签相对明确、输出能够离线验证的感知子任务，例如道路语义分割、可行驶区域识别、特定物体分类或驾驶员状态检测。
地图变化与道路事件分类也有潜力。不同车辆可在本地学习施工锥桶、临时车道线或路面障碍的视觉特征，再通过聚合扩大场景覆盖。
规划和控制模型虽然也能研究联邦训练，却与车辆行为直接相连，错误后果更严重。除非已经建立高保真模拟、封闭场地和严格发布流程，否则不应作为第一阶段目标。
任务还要满足“数据留在本地确实有价值”。若样本量很小、数据本可低成本集中，普通集中训练可能更简单。联邦学习是一种分布式训练架构，不是所有车端模型的默认答案。
## 一轮车队训练怎样发生
首先，模型服务选择符合条件的车辆。车辆应处于停车、充电或维护窗口，软件版本一致，电量、温度、存储和网络状态满足要求。
随后，车辆从本地经过筛选的样本中训练若干步。原始相机、雷达或点云数据不直接上传，但本地代码需要记录数据时间范围、传感器版本、样本量和训练结果摘要。
车辆把模型更新发送给聚合服务。经典FedAvg按本地样本量对更新加权，形成新的全局模型。新模型先进入离线评测，不会因为一次聚合就直接推送到道路车辆。
整个过程要区分训练版本与运行版本。车辆用于采集和本地训练的模型可以是候选版本，真正控制感知输出的仍是已经完整验证的稳定版本。
*车辆上传的是受控模型更新，而不是在道路上即时接受未经验证的新驾驶策略。*
## 最大难点是每辆车看到的世界不同
联邦学习常面对非独立同分布数据。某个城市车辆大多见到自行车，另一个地区重型卡车更多；白天运营车与夜班车的数据比例也完全不同。
传感器差异会进一步放大分布偏移。相机曝光、镜头污渍、安装角度、雷达固件和标定变化，都可能让两个节点中的“同一对象”呈现不同特征。
如果简单按样本量平均，大车队或高频节点会主导全局模型，小地区和罕见天气的能力可能下降。FedProx等方法通过限制本地模型偏离全局模型，尝试改善异质数据下的优化稳定性。
另一条路线是共享底座加本地适配。公共层学习跨地区特征，本地归一化或小型适配层保留天气、传感器和地区特点。目标不一定是一个对所有车都完全相同的模型。
评测必须按城市、天气、昼夜、道路类型与传感器版本分组。平均准确率上升而暴雨场景下降，在自动驾驶中不是可接受的交换。
## 数据选择比本地训练次数更重要
车辆每天产生大量重复画面。若所有正常直道帧都参与训练，模型更新会被常见场景淹没，罕见事件仍然缺少代表。
车端应先做轻量筛选，例如根据模型不确定性、检测分歧、环境变化或人工标记选出候选片段。筛选规则本身也要评测，避免只收集模型已经会识别的样本。
标签来源可以是人工、规则、传感器融合或后处理，但每种标签置信度不同。高噪声伪标签如果在大量车辆上重复，会把错误稳定地聚合进全局模型。
本地数据清单应记录来源、时间、传感器、标签方法与质量分层。即使原始数据不离车，聚合端也需要足够的统计信息判断更新代表了什么。
## 通信窗口决定系统能否运行
感知模型可能很大，完整上传参数更新会占用大量带宽。车辆在线时间短、网络质量变化，又不能让训练影响关键车载任务。
常见方法包括只选择部分车辆、压缩或稀疏化更新、降低参与层数、减少联邦轮次，以及在充电站或维护中心使用稳定网络。
聚合服务不能无限等待慢节点。每轮应设置最小参与数、超时和版本检查，过期模型的更新不能混入新轮次。
通信失败也要可恢复。车辆可以保存加密检查点并在下个合适窗口续传，但必须防止同一更新重复计入聚合。
## “原始数据不上云”并不等于隐私完成
模型更新由本地样本计算而来，可能暴露某些统计特征。安全聚合可以让服务器只看到多辆车更新的总和，而看不到单辆车的明文更新。
差分隐私通过裁剪更新并加入噪声，限制单个车辆对最终模型的影响。噪声会影响模型质量，参与规模、隐私预算和感知指标需要一起选择。
更新还可能被恶意或故障节点污染。传感器损坏、软件错误或刻意构造的数据都可能产生异常梯度。聚合前应检查更新范数、方向、版本签名和节点健康状态，并在隔离环境复现可疑变化。
安全聚合会隐藏单个更新，与异常检测之间存在张力。系统设计要提前决定哪些统计可在不暴露原始数据的情况下用于质量控制，而不是上线后才补监控。
## 自动驾驶需要独立于训练的验证链
联邦聚合得到的模型首先要通过固定离线数据集。测试集应包含从未参与任何本地训练的城市、天气和传感器组合，并锁定标注版本。
第二阶段在模拟器中回放长尾场景，检查感知错误如何影响规划与控制。模型分数略有提升，不代表车辆行为一定更稳。
第三阶段进入封闭试验场，覆盖低光、逆光、降雨、遮挡和通信中断。候选模型可以与稳定模型并行运行，但不直接控制车辆。
第四阶段是道路影子模式。车辆实时运行候选模型并记录输出，与稳定版本和后续人工标注比较。只有跨多个周期表现稳定，才进入少量受控车辆发布。
最后才逐步扩大范围，并保留快速回退。任何模型发布都必须有版本、适用传感器、校准要求和已知限制，不能只用“最新全局模型”识别。
*自动驾驶中的联邦训练结束后，仍需经历离线、模拟、封闭场地和影子模式验证。*
## 恶劣天气与跨域适配
不同天气是联邦车队最有价值也最困难的差异之一。雨、雪、雾和夜间眩光会改变图像分布，少数地区数据又可能不足。
相关研究探索了车辆与无人机在不集中原始数据的条件下，共同进行恶劣天气语义分割适配。这类工作说明联邦学习可以结合域适配，但仍主要依赖特定数据集和实验设置。
落地时应分别保留每种天气的真实验证集，并观察最差区域。不要因为全局平均提高，就让极端天气成为被平均掉的少数样本。
本地适配参数也应受控。车辆不能在未验证数据上无限自我更新，否则同一车型可能逐渐形成无法追踪的行为差异。
## 一个可执行的小型试点
第一步选择一个感知任务和两到三个数据差异明确的站点，例如白天城市、夜间园区和雨天试验场。
第二步建立集中模拟基线。即使数据最终不集中，也可以用经过授权的样本模拟各节点，先验证聚合算法、版本和评测流程。
第三步部署只在停车状态运行的本地训练容器，限制CPU、GPU、存储和网络占用，并与车辆控制域隔离。
第四步完成十到二十轮小规模联邦训练，记录参与车辆、更新大小、掉线率、每轮耗时和分场景指标。
第五步注入慢节点、过期版本、异常更新和网络中断，验证系统能否拒绝、超时、恢复和回滚。
第六步只在固定离线集和影子模式中比较候选模型，不立即改变驾驶行为。确认收益稳定后再扩大车辆与地区。
## 衡量落地的指标
模型指标包括检测或分割质量、置信度校准、最差场景表现和相对于本地基线的提升。不能只报告全局平均。
系统指标包括每轮参与率、上传大小、训练时长、超时、聚合失败、能耗和车端资源占用。
验证指标包括模拟场景通过率、影子模式分歧、人工复核严重错误和版本回退次数。
如果联邦模型只获得很小提升，却带来复杂车端运维与通信成本，集中训练公共非敏感数据、迁移学习或区域模型可能更合适。
## 三个常见误区
第一个误区是把联邦学习等同于车辆之间直接交换原始传感器数据。它主要交换模型更新，实时协同感知是另一类系统。
第二个误区是认为原始数据留在车上就没有泄露与污染风险。更新、日志、节点身份和聚合过程仍需保护。
第三个误区是让聚合模型自动下发控制车辆。训练、验证和正式发布必须是分离的阶段。
## 结语
联邦学习能让不同地区和条件下的车辆在不集中上传全部原始传感数据时共享模型经验，尤其适合样本分散、场景差异明显的感知任务。
它的落地难点也恰恰来自车辆世界：数据不一致、节点随时离线、通信昂贵、更新可能异常，而模型错误又不能只用平均分掩盖。选择窄任务、限制本地训练、分组评测、保护更新，并建立独立发布验证链，联邦学习才可能从论文架构变成可维护的车队训练系统。
## 参考资料