54 OMol25 + FAIR Chemistry 榜单
机器学习势能:在上亿次量化计算上复现能量与受力的常设榜单。标签是计算结果而非实验值:榜单第一意味着最会复现那一套量化计算。
bench-54 · 模型在做什么:预测给定对象的结果 · 谁判对错:已有参考答案 · 小分子 · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | OMol25 + FAIR Chemistry 榜单;全称:Open Molecules 2025 数据集及其公开提交榜单;别名:OMol25、Open Molecules 2025、FAIR Chemistry leaderboard;有歧义、不自动链接:OMol、S2EF、fairchem |
| 家族 | 否(一套数据集加一个榜单,不同切分属版本而非家族成员。) |
| 模型在做什么 | 预测给定对象的结果 |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 小分子(次领域:结构/共折叠) |
| 发布方 | Meta FAIR Chemistry、University of California, Berkeley(大厂实验室) |
| 首次发布 | (依据:数据集与基线模型论文预印本 v1) |
| 其他里程碑 | 预印本 v1 (arXiv 2505.08762 v1);官方公告 (公开提交榜单上线(最早一批提交同日)) |
| 最近更新 | ,榜单条目:榜单仍在接收外部提交,最新一条来自独立评测方;主榜首位自 2025 年 8 月以来未被超过。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(榜单常开,组织方未公告截止日或新一轮。) |
| 规模 | 一亿次以上量化计算、约 8300 万个体系、83 种元素,单体系最多 350 个原子。 明细:量化计算条数(OMol25) 100,000,000+;唯一分子体系数(OMol25) ~83,000,000;验证集结构数(标签已公开)(Validation) 2,762,021;测试集结构数(官方鼓励在此提交)(Test) 2,805,046;除能量与受力外的化学任务数(Evaluations) 7 |
| 状态 | ● 活跃:榜单持续接收提交,2026 年仍有新模型上榜 |
| wet lab 更新 | 静态:无湿实验;标签可按同一理论水平重新计算。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 54a OMol25 与 FAIR Chemistry 榜单 | 已有参考答案 | — | UMA(榜)、MACE-OMOL(榜)、DPA4(榜)、Orb-OMol(榜) | 标签是计算结果而非实验值;能量与受力已接近化学精度,但电离能、自旋间隙等下游化学任务误差仍大,两者明显脱节。 | 机器学习势在大规模分子体系上复现同一套计算的能量与受力到什么精度,若干化学任务误差多大。 | 这些模型相对实验或更高阶方法的准确度——标签本身是计算值;也不能由能量误差推断下游任务。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:给定分子体系的原子坐标、电荷与自旋,预测总能量与每个原子的受力。
- 真值:统一泛函与基组下的量化计算结果,不是实验测量值。
- 主指标:能量与受力的平均绝对误差
- 次指标:七项化学任务的能量差误差;配体应变与构象排序的结构误差
- 版本陷阱:验证集标签已公开而测试集未公开,不少论文报的是验证集;部分模型只覆盖部分验证集,且有模型的能量基准线与其他模型不同,能量列不可直接横比。
当前排名
状态:▣ 榜单
- 指标:测试集全集的能量 MAE(并列给出受力 MAE)
- 评测集 / 口径:OMol25 S2EF, Test split, All subsplit
- 快照日期:
- 榜单页面
当前第一:GemNet-OC-r12,Energy MAE 34.540621169848905 meV; Forces MAE 5.845353666486767 meV/A(测试集全集的能量 MAE 与受力 MAE;OMol25 S2EF, Test, All;榜单;)
说明:榜单按自行上报的预测文件排名,不复跑推理;能量列因基准线与覆盖率不同不完全可比。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| GemNet-OC-r12(非本站模型) | 1 | Energy MAE 34.540621169848905 meV; Forces MAE 5.845353666486767 meV/A | 测试集全集的能量 MAE 与受力 MAE | OMol25 S2EF, Test, All | 榜单 | 出处 | 非本站模型;榜单第一,训练集为一亿条规模的那一档 | |
| AllScAIP-md-d.(非本站模型) | 2 | Energy MAE 35.878016511730124 meV; Forces MAE 4.661010170145387 meV/A | 测试集全集的能量 MAE 与受力 MAE | OMol25 S2EF, Test, All | 榜单 | 出处 | 非本站模型;受力 MAE 优于榜首 | |
| UMA-S-1p2(非本站模型) | 3 | Energy MAE 46.543380202946246 meV; Forces MAE 6.613787962517054 meV/A | 测试集全集的能量 MAE 与受力 MAE | OMol25 S2EF, Test, All | 榜单 | 出处 | 非本站模型;组织方自家通用势的最新上榜版本 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
局限与注意
- 标签是计算结果而非实验值:榜单第一意味着最会复现那一套量化计算。
- 能量与受力误差与下游化学任务脱节,同一模型在电离能与自旋间隙上误差大一个量级。
- 有模型的能量基准线与其他模型不同,且只覆盖部分验证集,精度点不是同一口径。
- 榜单只核对上传的预测文件,不复跑推理,也不限制训练数据来源。
- 原文未设经典力场或描述符回归这类非神经网络基线。
新模型怎么用
下载数据集,在训练集上训练势能模型,按官方格式导出测试集的能量与受力预测文件并提交;化学任务另有对应脚本。报告须写明用的是测试集还是标签已公开的验证集、覆盖了多少体系、能量基准线怎么定义,以及是否跑了七项化学任务——只报能量与受力会高估下游可用性。可搭配 MoleculeNet。
搭配:MoleculeNet (+OGB) · CASF-2016 · FEP 相对结合自由能基准
来源
- 数据集与基线模型论文(预印本)
- 官方提交榜单(榜单)
- 榜单提交说明(切分与任务定义)(官方网站)
- 官方代码库(评测脚本与模型条目)(仓库)
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。