45 DART-Eval
把 DNA 语言模型放到调控 DNA 的五项任务上,与从头训练的小模型对比。任务 1 的负例是二核苷酸打乱序列,属构造标签,分数接近满分不代表真实难度。
bench-45 · 模型在做什么:理解状态(表征与排序) · 谁判对错:已有参考答案 · 基因组/RNA · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | DART-Eval;全称:DNA 调控任务评测套件(DNA language model evaluation on Regulatory DNA);别名:dnalm_bench;有歧义、不自动链接:DART |
| 家族 | 否(只有一套任务,版本更新属修订,不构成家族。) |
| 模型在做什么 | 理解状态(表征与排序) |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 基因组/RNA |
| 发布方 | Stanford University, Kundaje Lab(学术实验室) |
| 首次发布 | (依据:论文预印本 arXiv 2412.05430 v1) |
| 其他里程碑 | 预印本 v1 (arXiv 2412.05430 v1);期刊上线 †(未核实)(NeurIPS 2024 数据集与基准赛道收录) |
| 最近更新 | ,论文修订:提交 v3:并入 2025-07-31 的更正(任务 5 等位方向与峰区定义),代码仓最后提交为 2026-03-22。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告新版本或新一轮评测。) |
| 规模 | 5 个任务:230 万 cCRE、1,443 个基序、5 个细胞系、两套 QTL 变异集。 明细:候选顺式调控元件(任务 1 正例)(ENCODE v3) 2,300,000;转录因子基序(含亚型)(HOCOMOCO v12) 1,443;细胞系(任务 3、4) 5;非洲人群 caQTL:显著变异 / 对照 6,821 / 77,999;约鲁巴人群 dsQTL:显著变异 / 对照 560 / 26,813 |
| 状态 | ◐ 低频:题库固定,近两年只有更正与版本修订 |
| wet lab 更新 | 静态:不做新实验;复用 ENCODE 可及性数据与已发表 QTL 研究。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 1 个计入(自报 1) |
| 当前排名 | ≠ 不可比(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 45a DART-Eval 调控 DNA 任务套件 | 已有参考答案 | — | GENA-LM(三)、Nucleotide Transformer v1/v2 (NT-H/MS/1000G, NT-v2)(三)、Evo 2(自) | 从头训练的小型专用模型在定量可及性与调控变异上与微调语言模型相当或更好,零样本似然接近随机。 | 能回答:DNA 语言模型在调控序列识别、活性定量与变异效应上,相比从头训练的小模型有无优势。 | 不能回答:编码区、剪接等非调控任务的能力;也不代表更大的序列到功能模型的水平。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:在调控 DNA 上做五件事:识别调控元件、辨认转录因子基序、区分细胞类型特异元件、定量可及性、预测变异效应。
- 真值:ENCODE cCRE 与 ATAC/DNase 峰、HOCOMOCO 基序、淋巴母细胞系中统计显著的 caQTL 与 dsQTL。
- 主指标:按任务:准确率、AUROC、相关系数
- 次指标:AUPRC 与调整互信息;与从头训练基线的差值
- 版本陷阱:引用数字须写明任务号、是零样本还是探针或微调,以及是否为 2025-07 更正后的任务 5 数值。
当前排名
状态:≠ 不可比
- 指标:按任务与设定分列(零样本准确率、AUROC、Spearman/Pearson),无统一总分
- 评测集 / 口径:DART-Eval 5 个任务 × 零样本/探针/微调三种设定(arXiv v3,含 2025-07 任务 5 更正)
- 快照日期:
排名行不显示分数:4 个口径,无统一排名
说明:无官方榜单;分数来自论文表格,任务与设定不同不可互比;任务 5 数值在 2025-07 被更正过。
不可比:下表按条目列出,不排名次。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Evo 2 | — | 不显示:五个任务、三种设定,指标口径不同,排名行不显示分数。 | 按任务与设定分列(零样本准确率、AUROC、Spearman/Pearson),无统一总分 | DART-Eval 5 个任务 × 零样本/探针/微调三种设定(arXiv v3,含 2025-07 任务 5 更正) | 自报 | 出处 | 作者自报:40B 零样本 caQTL AUROC 0.58、dsQTL 0.66,同文列的从头训练基线为 0.77/0.89。 | |
| Nucleotide Transformer v2-500m-multi(非本站模型) | — | 不显示:五个任务、三种设定,指标口径不同,排名行不显示分数。 | 按任务与设定分列(零样本准确率、AUROC、Spearman/Pearson),无统一总分 | DART-Eval 5 个任务 × 零样本/探针/微调三种设定(arXiv v3,含 2025-07 任务 5 更正) | 第三方 | 出处 | 由基准作者评测;只评了这一个权重,不等于本站 NTv3 档的模型。 | |
| GENA-LM bert-large-t2t(非本站模型) | — | 不显示:五个任务、三种设定,指标口径不同,排名行不显示分数。 | 按任务与设定分列(零样本准确率、AUROC、Spearman/Pearson),无统一总分 | DART-Eval 5 个任务 × 零样本/探针/微调三种设定(arXiv v3,含 2025-07 任务 5 更正) | 第三方 | 出处 | 由基准作者评测;任务 1 零样本准确率 0.947,任务 3 微调总体准确率 0.636。 | |
| ChromBPNet(从头训练基线)(非本站模型) | — | 不显示:五个任务、三种设定,指标口径不同,排名行不显示分数。 | 按任务与设定分列(零样本准确率、AUROC、Spearman/Pearson),无统一总分 | DART-Eval 5 个任务 × 零样本/探针/微调三种设定(arXiv v3,含 2025-07 任务 5 更正) | 第三方 | 出处 | 约 660 万参数的专用模型;任务 5 非洲 caQTL AUROC 0.772、约鲁巴 dsQTL 0.892,优于全部语言模型。 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(自报 1)。
开发方按官方口径自报(1)
提及但不构成配对
- NTv3:本基准评的是 NT v2-500m-multi 权重;NTv3 未在本基准报分,不构成配对。(出处)
- AlphaGenome:本基准只评语言模型与从头训练基线,未包含序列到功能模型。(出处)
局限与注意
- 任务 1 的负例是二核苷酸打乱序列,属构造标签,分数接近满分不代表真实难度。
- 语言模型的预训练覆盖包含测试染色体的参考基因组,切分不能完全隔离泄漏。
- caQTL 与 dsQTL 标签来自统计关联,不是逐个变异的实验因果验证。
- 主要结论是语言模型未稳定胜过从头训练的小模型,且算力高出很多。
- 只覆盖人类调控区,不涉及编码区、剪接或跨物种任务。
新模型怎么用
从官方仓库取代码、从 Synapse 取各任务数据,按同一染色体切分分别跑零样本、探针与微调三种设定,并与从头训练的小模型同表比较。报告须写明任务号、设定、模型权重版本与算力,变异任务另报更正后的数值;只做任务 1 不足以说明调控能力。可与 BEND、TraitGym 配套。
搭配:BEND · TraitGym · GUE + Nucleotide Transformer 基准 · NTv3 Benchmark · Basenji/Enformer test set
来源
- 原论文预印本(v1 至 v3)(预印本)
- 论文第三版全文(含任务与结果表)(预印本)
- 官方代码仓库(仓库)
- 官方数据存放处(官方网站)
- 在本基准上自报零样本结果的模型论文(期刊)
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。