大部分机器学习算法提出于20世纪八九十年代，甚至更早，但是为人工智能带来革命性技术突破的，是大数据和大模型，即在前所未有的大数据(尤其是带标签的训练数据)的支撑下，通过庞大的计算机集群(尤其以GPU集群为主)，训练大规模的机器学习模型(尤其是深层神经网络)。大数据、大模型为人工智能的蓬勃发展奠定了坚实的基础，也提出了更现实的技术挑战。分布式机器学习(AutoML)的目的正是高效地利用大数据训练更准确的大模型，比如如何分配训练任务、调配计算资源、协调各个功能模块，以达到训练速度与精度的平衡。在深度学习领域，虽然已经提出的网络模型越来越灵活、越来越强大，但是随着网络性能的不断上升，网络结构越来越复杂，众多的超参数和网络结构参数会产生爆炸性的组合，网络模型性能的提升变得越来越困难。如何让机器自动搜索网络架构并进行模型优化，实现真正的端到端学习，是自动化深度学习(AutoDL)的研究目标，如图9-1所示。
图9-1 传统的深度学习和AutoDL比较[16]
神经架构搜索(neural architecture search，NAS)是一种基于策略梯度的自动化深度学习方法，可以针对特定数据集生成指定的子网络，通过训练评估性能，并反馈给搜索策略，以便计算策略梯度更新搜索算法，一般包括搜索空间、搜索策略和评估三个部分，如图9-2所示。其中，搜索空间定义了一个可供搜索的网络结构集合(包括网络的结构和配置)；搜索策略定义了使用怎样的算法准确地找到最优的网络结构参数配置，一般分为强化学习和进化算法。搜索策略从一个预定义的搜索空间中选择一种架构A，该架构被传递给一个性能评价策略，后者将评价结果返回给搜索策略。由于神经网络模型高度依赖于数据集的规模，往往需要通过加速方案(如通过对NAS搜索空间的优化)节约搜索时间。(www.xing528.com)
图9-2 神经网络搜索基本思想
2016年，Google提出使用强化学习进行神经网络结构搜索(NAS)的方法，并在图像分类和语言建模任务上超越了此前手工设计的网络。目前，神经网络架构搜索已经发展为深度学习领域的热点研究方向。如何应用包括神经网络架构搜索在内的自动深度学习方法，解决海量遥感图像检索中模型构建和训练依赖专家知识和耗时的调参优化问题，值得进一步研究。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
