什么是NiaH问题

Fig 1. 材料科学中两种常见的优化情形。a. 在工艺优化中，每个条件之间通常存在一条真实且连续的路径。b. 然而，在材料优化中，通常只有离散的属性组合才能定义真实的材料，所以对应的“材料优化流形”并不如工艺优化那样平滑，呈现出更“粗糙”的拓扑形状，并且会出现极端离群值。

当前的优化算法在处理平滑、低维且具有宽吸引域(wide basins of attraction)的问题时能够取得良好效果。利用高斯过程作为代理模型的贝叶斯优化技术非常适合对这些简单流形进行建模。然而，当流形的复杂性增加时，基于高斯过程的贝叶斯优化方法的表现会明显不足。

那些具有重要技术意义的材料性质优化问题，其搜索空间流形往往更类似于“草堆里的针”(Needle-in-a-Haystack, NiaH) (如图1b所示)，而不是光滑或凸的空间。这种“草堆里的针”（NiaH）问题产生于在整个数据集中只有极少数最优条件存在，从而导致数据极度不平衡。当使用诸如高斯过程之类的估计函数对不平衡数据的参数空间进行插值时，往往会在最优点附近进行过度平滑或过度预测，从而掩盖真实的最优点。

NiaH类型的材料优化问题实例包括：寻找具有负泊松比的负泊松比材料，用于能量吸收型的医疗器械或防护装甲；以及寻找同时具有高电导率和低热导率的材料以改进传感器技术并实现普及性固态制冷。这些稀有材料特性的优化表明，在整体材料数据集中只有极少数材料展现出这些稀有特性，从而带来极端的数据不平衡。实际上，这种NiaH优化挑战在许多领域都普遍存在，如生态资源管理²⁴,²⁵、欺诈检测²⁶,²⁷以及罕见疾病研究²⁷,²⁸等也面临类似问题。

NiaH问题的挑战

针对这类复杂的NiaH问题，当前计算工具存在多重障碍，阻碍了有效的优化：

• 目标“针”占搜索空间总量的比例极低

这导致测得的输入参数与目标特性间的相关性很弱，使得很难发现包含“针”的区域¹¹^,²⁹^,³⁰。因此，需要一种能够快速定位流形上更可能存在“针”的区域的算法。

• 现有算法在NiaH流形上的采样倾向于陷入局部极小值

例如贝叶斯优化中常用的EI（期望改进，Expected Improvement）³³或LCB（下置信界，Lower Confidence Bound）⁷,¹²这类标准采集函数，它们在最优区域狭窄的情况下往往会“锁定”在局部极小值³¹,³²。因为它们仅基于代理模型输出进行静态采样，从而“平滑”掉“针”⁵,⁶,¹¹。为应对这一问题，可使用基于主动学习（active learning）的采集函数超参数调节，以改进采样质量并避免陷入局部极小值。

• 计算量挑战

当算法不适合处理NiaH流形时，通常需要数千次实验才能找到最优点¹⁰。而对于使用GP代理模型的BO，其计算复杂度为 O(n³)（其中n为已采样的实验数），随着采样数量增加，这种传统BO方法的计算成本会急剧上升⁵^,⁶^,³⁴^-³⁸。因此，需要一种在尽可能少的实验中高效探索空间并降低随着迭代增加而累积的计算成本的算法。

NiaH问题的解决方案

现有文献中的方法主要分为两类，但都未能同时解决所有NiaH问题。

方案1：信任区域方法

这些方法通过界定一个较小的搜索空间来提高采样包含最优解的概率。

• Eriksson 等人提出了 TuRBO⁹，它通过多个独立模型运行，各自使用独立的 GP 代理模型来计算一个缩小后的搜索区域，从而逐步锁定目标最优解。
• Regis 开发了 TRIKE⁴⁰，它利用 EI 采集函数的最大化来限定一个包含全局最优解的信任区域。
• Diouane 等人开发了 TREGO⁴¹，该方法在全局和局部搜索区域之间交替采样，其中局部搜索区域由历史上表现最好的单个实验点定义。
  尽管这些方法针对某些挑战提供了部分解决方案，但在优化 NiaH 问题时各有不足：

TuRBO 需要进行多次 GP 模型计算，增加了计算量，并且由于插值效应，未必能精准捕捉“针”；TRIKE 只能使用 EI 采集函数，限制了算法的灵活性，容易陷入局部极小值；TREGO 仅依赖最优的单个历史样本来定义搜索区域，当“针”仅占流形极小部分时，这种方法可能难以准确命中最优区域。

方案2：降低计算复杂度的策略

常见的方法是使用稀疏 GP，将 GP 的时间复杂度从 O(n³) 降低到 O(nm²)（m 为伪数据点数）⁴³，但选择合适的伪数据通常需要通过最小化稀疏 GP 与真实 GP 后验之间的 Kullback-Leibler 散度来实现，这个过程常常需要变分推断，从而增加了计算量⁴⁴。

方案3：其他方法

除此之外，还有其他一些方法：

• Van Stein 等人提出了 MiP-EGO⁴⁵，该方法通过并行执行函数评估（基于高效全局优化 EGO），在更少的实验中更快地找到最优解，同时利用无梯度计算⁴⁶。
• Joy 等人利用方向导数加速超参数调优，使得调优速度比 FABOLAS 基线快 100 倍，并取得了更高精度⁴⁷,⁴⁸。
• Zhang 等人开发的 FLASH⁴⁹，通过使用线性参数模型引导在高维空间中的搜索，实现了 50% 的优化速度提升。
• Snoek 等人设计了一种基于神经网络的参数模型，将 BO 的总体时间复杂度降低到 O(n)，相对于标准 GP 代理 BO 的 O(n³) 有显著优势⁵,⁶,¹³。

这些方法大都依赖引入外部模型（如神经网络、变分推断或参数模型）来加速优化，但它们往往在捕捉 NiaH 问题中输入参数与目标性质之间微弱相关性方面存在不足。后文中我们将通过比较材料科学中两个 NiaH 问题上 MiP-EGO 和更适合捕捉窄吸引域的 TuRBO 的优化结果来说明这一点。

综上所述，虽然现有方法各自针对部分问题提出了解决方案，但没有一种方法能够专门用于快速高效地在一堆次优点中发现针状最优解，因此都未能提供完整的解决方案。

NiaH问题解决方案-ZoMBI算法：

 

Fig 2. 标准贝叶斯优化与ZoMBI方法的收敛情况对比。

ZoMBI算法解决NiaH问题中的三个主要挑战，其主要思想包括：

• 逐步缩小搜索边界

根据选取的 m 个最佳记忆点，对每个维度独立地逐步缩小流形的搜索范围，从而迅速聚焦到包含全局最优“针”的可能区域。

• 降低计算资源利用

通过剔除那些表现较差或冗余的记忆点，减小计算负担。

• 动态调节采集函数

利用主动学习方式调节采集函数的超参数，以平衡开发与探索，避免采样过于局限于局部极小值。

ZoMBI算法的全称是[Zo]oming [M]emory-[B]ased [I]nitialization。总体来说，这种先大范围扫描再根据记忆点聚焦到感兴趣区域的策略，是受到人类解决类似问题方式的启发，与标准 BO 那种依赖静态采集函数的方法形成鲜明对比。

ZoMBI算法的应用

现有文献中的方法主要分为两类，但都未能同时解决所有NiaH问题。

应用1：负泊松比材料发现

材料数据集来自Materials Project，覆盖约14.6万种材料；目标是在 100 次评估内最小化泊松比以找到最优解，而数据集中负泊松比材料占极少数，直方分布与最优值为 。ZoMBI讲作为贝叶斯优化的初始化与记忆剪枝模块，配合自适应采集函数LCB和LCB Adaptive，对历史最优样本逐维缩边界以快速逼近极窄最优盆地。效果上，ZoMBI在约 70 次实验即收敛到全局最小 的材料。

应用2：热电优值的最大化

数据集基于 Materials Project，对具有完备热/电学属性的材料计算热电优值得到约1k条样本，全局两个最优值为与。应用上，ZoMBI 在复杂、强非凸的目标拓扑下，以自适应 LCB 引导探索-利用平衡并通过记忆剪枝降低 GP 训练消耗。效果上，虽各法均未触达 的全局最优，但 ZoMBI与LCB Adaptive在 <100 次评估内唯一命中次优解，整体性能优于其他类似方法。

应用3：野火高风险气象条件检测

数据集来自CIMIS，收集2018–2020年的11维气象条件，总计12.8万条样本；野火风险以检测指数表征，目标为最小化 。应用上，ZoMBI在高维、卷积式气象特征空间中执行缩放记忆初始化并配合 LCB Adaptive和EI，以少量评估快速锁定强负区域。效果上，ZoMBI与HEBO能达，优于其他类型算法找到的 ，且ZoMBI收敛更快、方差更小，在 100 次预算下表现出更高的稳定性；但包括 ZoMBI 在内的所有方法在该预算下均未触达全局 。