65 SciReasoner / Biology-Instructions
把 DNA、RNA、蛋白与分子序列任务改写成文本问答,测大模型的序列理解。出题、训练与自评同属上海人工智能实验室:被测的 SciReasoner 与 Intern 系列用了同分布训练集,高分主要反映是否见过同分布数据。
bench-65 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | SciReasoner / Biology-Instructions;全称:SciReasoner 科学推理评测套件与 Biology-Instructions 多组学序列基准;别名:Biology-Instructions、Biology-Instruction、SciReasoner benchmark;有歧义、不自动链接:SciReasoner |
| 家族 | 家族条目:Biology-Instructions ;SciReasoner evaluation suite 。边界:两者同出上海人工智能实验室:Biology-Instructions 是 21 项多组学序列任务,SciReasoner 套件随同名模型发布并纳入其测试集;首发取较早成员。 |
| 模型在做什么 | 多步分析与问答(agent) |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 文本与 agent(次领域:基因组/RNA、蛋白、小分子) |
| 发布方 | Shanghai Artificial Intelligence Laboratory(非营利研究机构) |
| 首次发布 | (依据:家族中较早成员:Biology-Instructions 预印本 arXiv v1;SciReasoner 套件 2025-09-25 随同名模型报告发布。) |
| 其他里程碑 | 预印本 v1 (Biology-Instructions 预印本 arXiv 2412.19191 v1) |
| 最近更新 | ,结果公布:同机构 Intern-S2-Preview 报告给出两套评测的新自报分;SciReasoner 评测仓库最后更新于 2025-12-26。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(组织方未公告新一版或新一轮评测。) |
| 规模 | Biology-Instructions 21 项任务、训练样本逾 300 万;SciReasoner 套件约 103 项任务,另有报告称 149 项。 明细:任务数(Biology-Instructions) 21;DNA / RNA / 蛋白 / 多分子任务(Biology-Instructions) 6 / 6 / 5 / 4;训练样本(Biology-Instructions) > 3 million;任务数(技术报告)(SciReasoner suite, arXiv 2509.21320) up to 103;任务数(Intern 报告的描述)(SciReasoner suite, arXiv 2603.25040 / 2608.13505) 149;闭源模型每任务抽样上限(SciReasoner suite, arXiv 2509.21320) 1,000 |
| 状态 | ◐ 低频:低频;套件 2025-12 后未更新,仅见同机构报告引用 |
| wet lab 更新 | 静态:无实验;标签取自既有公开实验数据集,问答文本由模板生成。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 2 个计入(自报 1 · 第三方 1) |
| 当前排名 | ≠ 不可比(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 65a SciReasoner / Biology-Instructions | 已有参考答案 | — | Intern-S(S1-Pro)(自)、Intern-S(S2-Preview)(自)、SciReasoner(自)、前沿 LLM(三) | 评测集与训练集同分布,分差主要反映是否见过同类训练数据;多数任务仍低于专用序列小模型。 | 能回答:同分布训练后,模型能否以文本问答完成序列分类与回归任务,以及同一机构各代模型的进步。 | 不能回答:与未见过同分布数据的通用模型比谁更懂生物,也不能说明语言模型已超过专用序列模型。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:给模型序列与文本指令,输出分类标签、数值或描述,覆盖 DNA、RNA、蛋白及多分子相互作用任务。
- 真值:既有公开实验数据集的标签与测量值,问答文本由模板生成。
- 主指标:各任务原生指标的平均分
- 次指标:逐任务分数(MCC、PCC、Spearman 等);与专用序列模型的逐任务对照
- 版本陷阱:两份同机构报告给通用前沿模型的分数相差数倍,口径未说明;须写明评测脚本版本、抽样规模与是否做过同分布训练。
当前排名
状态:≠ 不可比
- 指标:总分(各任务原生指标的平均)
- 评测集 / 口径:SciReasoner suite / Biology-Instructions (21 tasks), as run in each report
- 快照日期:
排名行不显示分数:5 个口径,无统一排名
说明:只有同机构自报与代测;被测同机构模型在同分布训练集上训练,前沿模型分数在两份报告间相差约 4 倍,不给头条数字。
不可比:下表按条目列出,不排名次。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Intern-S2-Preview-397B | — | SciReasoner 63.97; Biology-Instructions 56.92 (60.32 with Intern-MemDec-4B) | 总分(各任务原生指标的平均) | SciReasoner suite; Biology-Instructions (21 tasks) | 自报 | 出处 | 出题方同机构自报,训练数据与测试集同分布 | |
| Intern-S1-Pro | — | SciReasoner 55.5; Biology-Instruction 52.5 | 总分(各任务原生指标的平均) | SciReasoner suite; Biology-Instruction | 自报 | 出处 | 报告称与 Biology-Instruction 模型在同一底层数据上训练 | |
| GPT-5.5 | — | SciReasoner 61.15; Biology-Instructions 10.52 | 总分(各任务原生指标的平均) | SciReasoner suite; Biology-Instructions (21 tasks) | 第三方 | 出处 | 由出题方同机构团队代测 | |
| GPT-5.2 | — | SciReasoner 13.6 | 总分(各任务原生指标的平均) | SciReasoner suite | 第三方 | 出处 | 同为该机构代测;与上一行的同类模型相差约 4 倍,原因未说明 | |
| SciReasoner-8B (2025 model)(非本站模型) | — | Per-task only, no overall score (e.g. BBBP ACC 82.74%) | 逐任务原生指标 | SciReasoner suite (per task) | 自报 | 出处 | 2025 年同名模型,与套件同一报告发布,SFT 用了同源训练集;不是本站同名条目 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。2 个计入(自报 1 · 第三方 1)。
开发方按官方口径自报(1)
第三方评测(1)
提及但不构成配对
- SciReasoner:本站该条目指 2026 年的同名结构推理模型,其论文未在本套件或 Biology-Instructions 上报分;与套件一同发布的是 2025 年同名模型。(出处)
局限与注意
- 出题、训练与自评同属上海人工智能实验室:被测的 SciReasoner 与 Intern 系列用了同分布训练集,高分主要反映是否见过同分布数据。
- 未在这些训练集上训练的通用模型在 Biology-Instructions 上只有约 4–14 分,差距不能读成生物理解力的差距。
- 两份同机构报告给前沿模型的 SciReasoner 分数相差约 4 倍(13.6 对 61.15),原因未说明。
- 总分把 MCC、PCC、Spearman 等不同指标平均,掩盖逐任务差异;原文对照中专用小模型在多数任务上更高。
- 没有官方榜单与独立复现;名称 SciReasoner 同时指模型、评测套件和一个无关的物理推理项目。
新模型怎么用
用官方评测仓库与托管测试集逐任务计分,报告逐任务指标而非只给平均分;须写明是否在 Biology-Instructions 或 Mol-Instructions 训练集上训练过、大测试集的抽样规模与答案解析规则,并与专用序列模型对照。可搭配 GUE + NT 与 BEND。
搭配:GUE + Nucleotide Transformer 基准 · BEND · FLIP / FLIP2
来源
- Biology-Instructions 论文(EMNLP 2025 Findings)(预印本)
- Biology-Instructions 仓库(仓库)
- SciReasoner 技术报告(预印本)
- SciReasoner 评测仓库(仓库)
- SciReasoner 测试集托管页(仓库)
- Intern-S1-Pro 技术报告(同机构自报)(预印本)
- Intern-S2-Preview 技术报告(同机构自报)(预印本)
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。