English  |   学校主页  |   收藏本站

我院“业界讲坛”第七十九讲

---Optimal Designs for Hyperparameter Optimization

 

20201020日下午,华为诺亚方舟实验室AI基础理论研究员黄译旻博士应邀来我院为大家讲授以《Optimal Designs for Hyperparameter Optimization》为主题的业界论坛。黄译旻博士是北京大学数学科学学院概率统计系本博,研究方向为试验设计。2019年加入诺亚实验室,将统计理论应用于机器学习,从事超参优化方向研究,支撑AutoML大颗粒技术。

首先,黄译旻博士从基本的概念介绍讲起,介绍了什么是超参数、超参数优化的作用以及超参数优化的商业价值和挑战,并以谷歌、亚马逊、微软等公司为例介绍了超参数优化应用场景。然后,黄译旻博士介绍了超参数优化的发展,对超参数优化近年来提出的优秀方法作了一个简要的概述并阐述了他们背后所代表的统计问题,比如说贝叶斯优化过程等。

之后,黄译旻博士介绍了一下AI基础实验室在这一领域的最新工作,包括基于model-free方法的黑箱子函数的优化问题以及多保真度(multi-fidelity)方法,用更廉价的黑箱子变种去渐近的衡量一个超参数组合的表现,给出了相应的实验结果并对两种方法进行了总结。

最后,黄译旻博士介绍了几个开放问题以及未来的研究方向。超参数优化方法越来越多,需要一个公平合理的测试平台,能够对各种各样的方法进行科学评估;过拟合问题的研究等。


在提问答疑环节,针对同学提出的model-free方法和multi-fidelity方法两种模型上的效率问题,黄译旻博士利用图示给出了详细的解答,超参数优化可以大大提高项目效率;针对同学提出的搜索空间的确定和超参数优化算法的重要性问题上,黄译旻博士利用自身的项目经验向同学仔细解释了这两个步骤在项目中同等重要,不存在倾向问题。


此次业界论坛讲座帮助同学们认识了超参数优化的优秀方法,激发了同学们研究超参数优化及背后代表的统计问题的兴趣,对同学们今后的学习有着很强的指导意义。

 

供稿人:曹文栋 刘金 文昂

供图人:叶旭枫