多视角几何图Transformer实现晶体材料性质精准预测

准确表征晶体结构，是机器学习能否真正应用于大规模材料模拟的关键前提。核心挑战在于：如何高效捕捉晶体内部复杂的几何与拓扑特征？这正是当前晶体性质预测领域最具技术难点的方向之一。近期，研究团队提出了一种多视角图Transformer模型（Multi-view Graph Transformer, MGT），该模型同时处理SE(3)不变标量表示与SO(3)等变方向表示，将平移旋转不变性与方向信息表达能力统一纳入框架。更关键的是，模型引入了一个受混合专家机制启发的路由器模块，使两类几何表示能够根据具体任务自适应融合；配合多任务自监督预训练策略，模型对整体结构的理解能力得到显著提升。

测试结果表现突出：在多个晶体性质预测基准上，MGT相比现有最先进模型，平均绝对误差最高降低14%。消融实验与可解释性分析进一步证实，自监督预训练与专家路由机制均为实质性增益。在迁移学习任务中——例如催化剂吸附能预测与杂化钙钛矿带隙预测——MGT相比已有方法性能提升最高达58%。这些数据表明，MGT具备强大的泛化能力与可扩展性，有望成为加速新型功能材料发现的关键工具。

晶体材料的应用场景极为广泛：能源存储、催化、药物研发、半导体设计——几乎所有硬科技领域均依赖其发展。而精准预测晶体材料性质，是新材料发现的核心环节。传统方法依赖密度泛函理论（DFT）计算与分子动力学模拟，但计算成本高昂，难以支撑大规模筛选。近年来图神经网络发展迅速，研究人员陆续提出CGCNN、Matformer、PotNet等方法，利用晶体图结构构建预测模型。

但这些模型仍存在明显短板：过度依赖局部图结构，往往无法完整刻画晶体的几何特征。不同晶体可能对应相同的图表示，限制了预测能力。为此，研究者开始引入SE(3)不变与SO(3)等变表示，通过显式考虑空间对称性来增强模型表达能力。ComFormer等工作已证明，两类表示均能有效提升预测性能。

问题在于，现有方法要么单独使用SE(3)不变表示，要么单独使用SO(3)等变表示，鲜少挖掘两者之间的互补优势。缺乏一个统一框架实现多视角几何信息融合，已成为制约晶体性质预测发展的关键瓶颈。正是在此背景下，MGT框架应运而生——通过联合建模两种几何表示，实现对晶体结构更全面的理解。

方法

MGT由两个图Transformer编码器与一个轻量级混合专家路由模块组成。一个编码器提取SE(3)不变几何特征——原子间距离与角度信息；另一个编码器学习SO(3)等变几何特征，通过球谐函数与张量积运算保留方向相关信息。两者提取的特征送入基于自注意力机制设计的MoE-inspired路由器，由路由器根据具体任务动态调整两种表示的权重，实现任务自适应融合。

为增强泛化能力，研究人员设计了一套多任务自监督预训练策略，包含去噪学习与对比学习两部分。去噪学习：对几何特征添加随机扰动再恢复噪声，使模型对晶体几何结构更敏感。对比学习：最大化SE(3)与SO(3)表示之间的互信息，促进两种视角特征协同学习。预训练完成后，通过监督学习完成下游的晶体性质预测任务。

结果

MGT在多个晶体性质预测基准上达到最优性能

研究人员在Materials Project与JARVIS两个主流晶体数据库上全面评估MGT表现，涉及九项性质预测任务——形成能、带隙、体模量、剪切模量、总能量以及稳定性等指标。与CGCNN、ALIGNN、Matformer、PotNet、ComFormer、ReGNet等先进模型相比，MGT在八项任务中拔得头筹，平均绝对误差降低幅度从2.1%到13.6%不等。唯一一次落后是在JARVIS数据集的总能量预测任务上，略逊于ReGNet。

从预测结果来看，所有任务的R²均超过0.95，预测值与真实值高度吻合，说明模型拟合能力与稳定性出色。多次随机种子重复实验进一步验证了结果的稳健性。

图1：多视角几何图Transformer（MGT）整体框架。

图2: MGT模型结构组成，包括SE(3)编码器、SO(3)编码器与MoE路由模块。

图3: MGT在Materials Project与JARVIS数据集上的预测性能比较。

自监督预训练显著提升模型性能

研究人员对比了有预训练与无预训练条件下MGT的性能。在Materials Project形成能预测任务中，采用预训练的MGT平均绝对误差为0.0165，从头训练则达到0.0174。差异不大，但趋势明确：预训练能帮助模型学到更通用、更有效的晶体结构表示。

进一步分析不同预训练策略发现，仅使用去噪学习即可带来显著提升；单独使用对比学习也有效果，但略逊于去噪学习。两者联合使用，性能最佳。研究者认为，去噪学习强化了模型对局部几何结构扰动的鲁棒性，对比学习则促进了不同几何视角之间的信息对齐，两者互补，共同提升泛化能力。

MoE路由模块实现SE(3)与SO(3)特征的有效融合

为验证路由模块的价值，研究人员将其替换为简单的全连接网络。结果显示，引入MoE-inspired路由器后，无论是在Materials Project还是JARVIS上，预测误差均进一步降低。例如在JARVIS形成能预测中，误差从0.0263降至0.0261；带隙预测中，从0.115降至0.114。提升幅度不大，但足以说明动态权重分配机制能更有效地融合两种几何表示，使模型根据任务自动选择最有价值的信息来源。

更重要的是，即使移除预训练与路由模块，MGT仍优于绝大多数现有模型——这证明多视角几何架构本身已具备较强优势。

可解释性分析揭示两种几何表示的互补作用

研究人员利用t-SNE对模型学习的潜在表示进行可视化。结果清晰：无论是SE(3)编码器还是SO(3)编码器，都能根据形成能将不同晶体材料聚类到不同区域。而经MoE路由器融合后，聚类边界更清晰，不同材料之间的区分度进一步提高。

进一步分析两类表示的贡献权重发现，不同预测任务对SE(3)与SO(3)特征的偏好差异明显。例如：

• 在形成能预测中，Materials Project更依赖SO(3)方向信息，而JARVIS则更依赖SE(3)标量信息；
• 体模量、带隙等任务中，两种表示往往表现出互补关系；
• 对于Ehull稳定性预测，因本质上属于旋转与平移不变的能量性质，SE(3)表示贡献更大。

这些结果说明，不存在一种固定的最佳融合方式——不同任务需要不同程度地利用两种几何信息，这也正是动态路由设计合理性的最佳佐证。

图4: 不同预训练策略与路由机制的消融实验结果。

图5: MGT潜在空间可视化及SE(3)/SO(3)贡献分析。

迁移学习验证模型具有优异泛化能力

为检验MGT的实际应用价值，研究人员将其应用于两个迁移学习场景。

第一个是催化剂全局最低吸附能（GMAE）预测。GMAE是评价催化剂表面反应活性的重要指标。MGT在Alloy-GMAE、FG-GMAE与OCD-GMAE三个数据集上全面领先，相比当前最先进模型AdsMT，性能提升分别达到46.4%、57.8%与15.4%。

第二个是杂化有机-无机钙钛矿（HOIP）带隙预测。带隙是决定太阳能电池与发光器件性能的关键参数。MGT在HOIP数据集上的预测误差比已有模型降低25.7%。

这些结果说明，MGT不仅擅长标准晶体性质预测，在催化、能源材料等实际应用领域同样具备强大的迁移能力。

图6： MGT在催化剂吸附能与杂化钙钛矿带隙预测中的迁移学习表现。

讨论

研究人员提出的MGT，本质上将SE(3)不变几何信息与SO(3)等变方向信息融合在一个多视角图Transformer框架中。双编码器结构、自监督预训练策略、动态专家路由机制这三驾马车，使模型能够同时学习晶体结构中的标量与方向特征，获得更完整的几何表示。

大量实验结论一致：MGT在多个晶体性质预测基准上优于现有先进模型，并在催化剂吸附能与钙钛矿带隙预测等迁移学习任务中展现出优异泛化能力。尤其值得关注的是，自监督预训练不仅提升了单项任务性能，还显著增强了跨任务迁移能力；MoE路由机制实现了SE(3)与SO(3)信息的动态融合，使模型能针对不同性质自动选择最有效的几何特征。

当然，当前MGT主要关注静态晶体结构中的SE(3)与SO(3)对称性，尚未纳入空间群对称性、磁性对称性、时间反演对称性，以及温度与缺陷带来的无序效应。下一步研究方向包括探索空间群等变消息传递、多保真主动学习框架，以及与扩散生成模型的结合，最终实现具有目标性质晶体材料的逆向设计——这将推动下一代功能材料的自主发现。

参考资料
Zhang, L., Wang, Z., Wang, X. et al. Improving crystal material property prediction with multi-view geometric graph transformer. Nat Commun (2026).
https://doi.org/10.1038/s41467-026-73627-7