神经架构搜索，简称 NAS，常被描述成“让 AI 自动设计 AI”。这个说法容易高估自动化程度。研究者仍要决定哪些模块可以组合、优化什么指标、允许花多少算力，以及候选模型如何训练和验证。
Meta 及其前身 Facebook AI 公开过 FBNet、AttentiveNAS、AlphaNet 和 few-shot NAS 等研究。它们不是一条从人工设计直接通往最优网络的捷径，而是在准确率、真实设备延迟和搜索成本之间不断改进估计方法。
## NAS 其实有三个相互耦合的问题
第一是搜索空间：候选网络允许使用哪些卷积、通道数、深度、连接与分辨率。空间太小找不到新结构，太大则难以充分探索。
第二是搜索策略：随机、进化、强化学习、梯度方法或基于 supernet 的采样。第三是评估方法：怎样用较低成本预测一个候选完全训练后的表现。
很多论文的差异，不是“谁的 AI 更聪明”，而是对这三个问题做了不同取舍。比较方法时必须对齐数据、训练配方、硬件与搜索预算。
## FBNet 把真实延迟放进目标
早期轻量模型常用参数量或 FLOPs 代表速度，但相同 FLOPs 在不同芯片、内存和算子实现上可能有完全不同的延迟。
FBNet 的公开论文使用可微分神经架构搜索，并把目标设备的延迟纳入优化。它展示了为不同手机硬件搜索不同结构的思路：最适合一台设备的网络，未必适合另一台。
工程上应先在目标硬件测算子延迟，而不是只看理论乘加。运行时版本、线程、批量和输入尺寸都要固定。
## 可微分搜索把离散选择变成连续优化
网络结构原本是离散的：这一层选 3×3 卷积还是 5×5 卷积。可微分 NAS 为候选操作分配连续权重，用梯度同时优化网络参数与架构参数，最后再选择具体结构。
这种方法比逐个训练候选便宜，但连续松弛与最终离散网络之间存在差距。某个操作在共享训练中权重高，不保证独立复训仍最好。
因此搜索结果只是候选。至少选取前几名从头训练，并与人工基线在相同训练预算下比较。
## supernet 用一次训练覆盖许多子网
supernet 把大量候选结构包含在一个大网络中，子网共享权重。搜索时直接继承共享权重估计准确率，避免每个候选从零训练。
代价是子网会互相干扰。热门路径得到更多更新，冷门路径估计不足；共享权重下的排名与独立训练后的真实排名可能不一致。
Meta 的 AttentiveNAS 与 AlphaNet 分别从采样和监督角度改善 supernet 训练。few-shot NAS 则把一个 supernet 分割成多个子 supernet，试图在低成本与排名准确之间取得平衡。
## few-shot 不是普通的小样本学习
这里的 few-shot 指少量子 supernet，而不是只用几张训练图片。方法根据 supernet 结构递归划分搜索空间，让每个子 supernet 覆盖更相近的一组候选。
划分减少候选之间的权重干扰，却增加训练多个子网络的成本。分得太少，排名仍不准；分得太多，又接近逐个训练。
最佳数量取决于搜索空间、预算和目标任务，不能照搬论文中的固定值。
## 多目标搜索要看帕累托前沿
移动端模型通常同时追求准确率、延迟、峰值内存、能耗和包体。把它们粗暴加成一个分数，需要人为设定权重，可能隐藏有用候选。
更直观的方法是保留帕累托前沿：若一个模型在所有指标上都不差，并至少有一项更好，它支配另一个模型。最终根据产品约束从前沿选择。
延迟还要看分位数。平均 20 毫秒但偶尔 100 毫秒的模型，交互体验可能不如稳定的 25 毫秒。热启动、冷启动与不同温度下的设备也应分别测。
## 搜索成本必须完整记账
记录 supernet 训练、架构优化、候选评估和最终复训的总 GPU 小时。若使用硬件延迟查表，还要计入基准测试与运行时调优。
一次搜索得到模型后可在多个产品复用，成本能够摊薄；若数据和硬件经常变化，重复搜索会迅速变贵。小团队先尝试成熟手工架构、剪枝、量化和蒸馏，往往更划算。
NAS 适合约束明确、部署规模大、模型结构确实是瓶颈的场景，不是每个项目的默认步骤。
## 避免把测试集用于搜索
搜索策略会反复观察验证分数，等同于对验证集进行优化。最终只在同一验证集报告结果，会高估泛化性能。
保留独立测试集，在架构确定且从头复训后只运行一次。若多轮 NAS 都看过测试结果，就需要新的测试数据。
还要检查训练配方公平性。搜索得到的模型若使用更长训练、更强增强或额外蒸馏，比较时应拆分架构收益与训练收益。
## 一个最小实验流程
先选择一个成熟人工模型作为基线，在目标硬件测准确率、延迟、内存和能耗。再定义有限搜索空间，只允许改变最可能影响瓶颈的层。
用低预算 supernet 或可微分方法筛出 10 个候选，实测硬件延迟，选择帕累托前沿中的 3 个。将它们从头训练三次，报告均值、波动与完整搜索成本。
只有候选在真实设备和独立测试上稳定胜过基线，搜索才算成功。网络结构图看起来新颖，并不是工程价值。
神经架构搜索的核心不是消灭架构专家，而是把专家的假设变成可系统探索的空间。Meta 的公开研究说明，降低成本与提高排名可靠性同样重要；最终答案仍必须由真实训练与真实硬件来验证。
## 参考资料