模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

65 SciReasoner / Biology-Instructions

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

把 DNA、RNA、蛋白与分子序列任务改写成文本问答,测大模型的序列理解。出题、训练与自评同属上海人工智能实验室:被测的 SciReasoner 与 Intern 系列用了同分布训练集,高分主要反映是否见过同分布数据。

bench-65 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18

概况

字段 内容
名称 / 别名 SciReasoner / Biology-Instructions;全称:SciReasoner 科学推理评测套件与 Biology-Instructions 多组学序列基准;别名:Biology-Instructions、Biology-Instruction、SciReasoner benchmark;有歧义、不自动链接:SciReasoner
家族 家族条目:Biology-Instructions ;SciReasoner evaluation suite 。边界:两者同出上海人工智能实验室:Biology-Instructions 是 21 项多组学序列任务,SciReasoner 套件随同名模型发布并纳入其测试集;首发取较早成员。
模型在做什么 多步分析与问答(agent)
谁判对错 已有参考答案(1 条协议,逐条见下)
领域 文本与 agent(次领域:基因组/RNA、蛋白、小分子)
发布方 Shanghai Artificial Intelligence Laboratory(非营利研究机构)
首次发布 (依据:家族中较早成员:Biology-Instructions 预印本 arXiv v1;SciReasoner 套件 2025-09-25 随同名模型报告发布。)
其他里程碑 预印本 v1 (Biology-Instructions 预印本 arXiv 2412.19191 v1)
最近更新 ,结果公布:同机构 Intern-S2-Preview 报告给出两套评测的新自报分;SciReasoner 评测仓库最后更新于 2025-12-26。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(组织方未公告新一版或新一轮评测。)
规模 Biology-Instructions 21 项任务、训练样本逾 300 万;SciReasoner 套件约 103 项任务,另有报告称 149 项。 明细:任务数(Biology-Instructions) 21;DNA / RNA / 蛋白 / 多分子任务(Biology-Instructions) 6 / 6 / 5 / 4;训练样本(Biology-Instructions) > 3 million;任务数(技术报告)(SciReasoner suite, arXiv 2509.21320) up to 103;任务数(Intern 报告的描述)(SciReasoner suite, arXiv 2603.25040 / 2608.13505) 149;闭源模型每任务抽样上限(SciReasoner suite, arXiv 2509.21320) 1,000
状态 ◐ 低频:低频;套件 2025-12 后未更新,仅见同机构报告引用
wet lab 更新 静态:无实验;标签取自既有公开实验数据集,问答文本由模板生成。
需自补 wet lab 不需要
报告模型数 2 个计入(自报 1 · 第三方 1)
当前排名 ≠ 不可比(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-18

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
65a SciReasoner / Biology-Instructions 已有参考答案 — Intern-S(S1-Pro)(自)、Intern-S(S2-Preview)(自)、SciReasoner(自)、前沿 LLM(三) 评测集与训练集同分布,分差主要反映是否见过同类训练数据;多数任务仍低于专用序列小模型。 能回答:同分布训练后,模型能否以文本问答完成序列分类与回归任务,以及同一机构各代模型的进步。 不能回答:与未见过同分布数据的通用模型比谁更懂生物,也不能说明语言模型已超过专用序列模型。

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:给模型序列与文本指令,输出分类标签、数值或描述,覆盖 DNA、RNA、蛋白及多分子相互作用任务。
  • 真值:既有公开实验数据集的标签与测量值,问答文本由模板生成。
  • 主指标:各任务原生指标的平均分
  • 次指标:逐任务分数(MCC、PCC、Spearman 等);与专用序列模型的逐任务对照
  • 版本陷阱:两份同机构报告给通用前沿模型的分数相差数倍,口径未说明;须写明评测脚本版本、抽样规模与是否做过同分布训练。

当前排名

状态:≠ 不可比

  • 指标:总分(各任务原生指标的平均)
  • 评测集 / 口径:SciReasoner suite / Biology-Instructions (21 tasks), as run in each report
  • 快照日期:

排名行不显示分数:5 个口径,无统一排名

说明:只有同机构自报与代测;被测同机构模型在同分布训练集上训练,前沿模型分数在两份报告间相差约 4 倍,不给头条数字。

不可比:下表按条目列出,不排名次。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
Intern-S2-Preview-397B — SciReasoner 63.97; Biology-Instructions 56.92 (60.32 with Intern-MemDec-4B) 总分(各任务原生指标的平均) SciReasoner suite; Biology-Instructions (21 tasks) 自报 出处 出题方同机构自报,训练数据与测试集同分布
Intern-S1-Pro — SciReasoner 55.5; Biology-Instruction 52.5 总分(各任务原生指标的平均) SciReasoner suite; Biology-Instruction 自报 出处 报告称与 Biology-Instruction 模型在同一底层数据上训练
GPT-5.5 — SciReasoner 61.15; Biology-Instructions 10.52 总分(各任务原生指标的平均) SciReasoner suite; Biology-Instructions (21 tasks) 第三方 出处 由出题方同机构团队代测
GPT-5.2 — SciReasoner 13.6 总分(各任务原生指标的平均) SciReasoner suite 第三方 出处 同为该机构代测;与上一行的同类模型相差约 4 倍,原因未说明
SciReasoner-8B (2025 model)(非本站模型) — Per-task only, no overall score (e.g. BBBP ACC 82.74%) 逐任务原生指标 SciReasoner suite (per task) 自报 出处 2025 年同名模型,与套件同一报告发布,SFT 用了同源训练集;不是本站同名条目

排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。2 个计入(自报 1 · 第三方 1)。

开发方按官方口径自报(1)

  • Intern-S:出题方同机构自报;报告称其与 Biology-Instruction 模型在同一底层数据上训练(自报,置信度中;出处)

第三方评测(1)

提及但不构成配对

  • SciReasoner:本站该条目指 2026 年的同名结构推理模型,其论文未在本套件或 Biology-Instructions 上报分;与套件一同发布的是 2025 年同名模型。(出处)

局限与注意

  1. 出题、训练与自评同属上海人工智能实验室:被测的 SciReasoner 与 Intern 系列用了同分布训练集,高分主要反映是否见过同分布数据。
  2. 未在这些训练集上训练的通用模型在 Biology-Instructions 上只有约 4–14 分,差距不能读成生物理解力的差距。
  3. 两份同机构报告给前沿模型的 SciReasoner 分数相差约 4 倍(13.6 对 61.15),原因未说明。
  4. 总分把 MCC、PCC、Spearman 等不同指标平均,掩盖逐任务差异;原文对照中专用小模型在多数任务上更高。
  5. 没有官方榜单与独立复现;名称 SciReasoner 同时指模型、评测套件和一个无关的物理推理项目。

新模型怎么用

用官方评测仓库与托管测试集逐任务计分,报告逐任务指标而非只给平均分;须写明是否在 Biology-Instructions 或 Mol-Instructions 训练集上训练过、大测试集的抽样规模与答案解析规则,并与专用序列模型对照。可搭配 GUE + NT 与 BEND。

搭配:GUE + Nucleotide Transformer 基准 · BEND · FLIP / FLIP2

来源

  1. Biology-Instructions 论文(EMNLP 2025 Findings)(预印本)
  2. Biology-Instructions 仓库(仓库)
  3. SciReasoner 技术报告(预印本)
  4. SciReasoner 评测仓库(仓库)
  5. SciReasoner 测试集托管页(仓库)
  6. Intern-S1-Pro 技术报告(同机构自报)(预印本)
  7. Intern-S2-Preview 技术报告(同机构自报)(预印本)

更正记录

无。

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。