机器之心报道
编辑：陈萍、杜伟

华为诺亚开源了一个贝叶斯优化的库 ， 该库包含三个部分：河伯、T-LBO、CompBO 。

贝叶斯优化可以说是一种黑盒优化算法 ， 该算法用于求解表达式未知函数的极值问题 。 因其具有极强的样本有效性 ， 近年来被广泛使用 ， 研究者只需较少地迭代次数 ， 即可得到一个较好的结果 ， 因此可用于机器学习模型算法调参 。
近日 ， 华为诺亚开源了一个新的关于贝叶斯优化的库 ， 该库可用于低维和高维领域的贝叶斯优化 ， 主要包含：

• 河伯（Heteroscedastic Evolutionary Bayesian Optimization ， HEBO）：异方差演化贝叶斯优化 ， 可用于超参数调优 ， 华为诺亚凭借该算法赢得 NeurIPS BBO 竞赛冠军；
• T-LBO：一种将深度度量学习与潜在空间贝叶斯优化相结合以实现高维优化的算法 ， 该算法可以减少 97% 的数据需求；
• CompBO：使用组合优化器进行贝叶斯优化 。

文章图片

项目地址：https://github.com/huawei-noah/HEBO
河伯

文章图片

河伯算法是华为诺亚方舟决策与推理（DMnR）实验室开发的贝叶斯优化库 。 该算法击败了 NVIDIA、IBM、Jetbrain 等 ， 以 93.519 得分赢得了 AI 国际顶会 NeurIPS 2020 的黑盒优化竞赛冠军 。
HEBO 是与前 5 名竞争对手之间差异最大的算法 ， 以非常大的优势获胜 。 下面是比赛结果的截图：
【超参数调优河伯、组合优化器CompBO，华为诺亚开源贝叶斯优化库】
文章图片

完整榜单：https://bbochallenge.com/leaderboard/
T-LBO 算法
该算法出自论文《High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning》 ， 全篇 42 页 ， 研究者来自华为诺亚方舟实验室 。

文章图片

论文地址：https://arxiv.org/pdf/2106.03609.pdf
研究者提出了一种基于深度度量学习的方法 ， 以使用变分自编码器（VAE）在高维结构化空间中执行贝叶斯优化 。 通过扩展监督深度度量学习的想法 ， 他们解决了高维 VAE 贝叶斯优化中长期存在的一个问题 ， 即如何将判别式隐空间作为归纳偏置来执行 。 重要的是 ， 研究者仅使用以往工作的 1% 的标记数据就实现了这种归纳偏置 ， 显示出了所提方法面向样本的高效性 。
在实验中 ， 研究者展示了在真实世界高维黑盒优化问题（包括属性引导的分子生成）上的 SOTA 结果 。 他们希望 ， 本文展示的结果可以作为实现高效高维贝叶斯优化的指导原则 。

文章图片

利用组合优化器做贝叶斯优化（CompBO）
这是一篇发表在机器学习研究杂志 JMLR 2021 上的论文 ， 标题为《Are We Forgetting about Compositional Optimisers in Bayesian Optimisation?》 ， 全篇共 78 页 。 研究者来自华为英国研发中心 。

文章图片

• 论文地址：https://www.jmlr.org/papers/volume22/20-1422/20-1422.pdf
• 项目地址 https://github.com/huawei-noah/noah-research/tree/CompBO/BO/HEBO/CompBO

贝叶斯优化为全局优化提供了一种面向样本高效的方法 。 在这个框架内 ， 采集函数（acquisition function）的最大化是决定性能的关键因素 。 但是 ， 由于采集函数往往是非凸的 ， 因此不容易优化 ， 导致其最大化变得复杂 。