Croissant 元数据

工具与格式全球数据集与格式

MLCommons 的 JSON-LD 数据集元数据格式,机器人领域尚无采用证据

成立
2024-03
总部
MLCommons
数据类型
数据集元数据
链接
arxiv.org

内容

Croissant 是 MLCommons 的数据集元数据格式,基于 JSON-LD 与 Schema.org,1.0 版于 2024-03-06 发布;扩展 Croissant-RAI(arXiv 2407.16883,2024-06)覆盖数据生命周期、标注与公平性等负责任 AI 属性,配有 Python 库与可视化编辑器 [1][2]。目的是让数据集可被 ML 工具直接加载并带有可机读的来源与许可描述。

在机器人领域的现状

检索中未查到 RLDS 格式 或 LeRobotDataset v3 格式 到 Croissant 的机器人专用映射,应写成"通用标准,机器人领域尚无采用证据"。机器人数据集的 license、采集设备、本体等信息仍分散在 HF 卡片与论文里,口径常不一致(如 OXE 小时数、DROID 任务数 86/84)。

相关质量工具

同层面的工具有 Calibra(30 个公共 LeRobot 数据集的健康分基准)与 Trajlens(审计 100 个随机 Hub 数据集:19 通过、13 失败、47 加载错误、21 超时),均来自 HF 论坛社区帖。见 开源数据集与数据格式。

AI for Science视角

定义

Croissant 是 MLCommons 推出的机器学习数据集元数据格式,基于 JSON-LD 与 Schema.org,Apache 2.0,分四层(元数据、资源、结构、语义),含 Croissant-RAI(负责任 AI)扩展;参考库为 mlcroissant [1]。1.1 版本未确认 ⚠️。机器人数据专栏亦有介绍。

代表实现与采用方

被数据集平台用于统一描述与加载,使同一份描述可被不同框架读取;MLCommons 为会员制组织。具体 AI4S 数据集的采用清单未核到,不列。

局限

只描述数据集"是什么、怎么读",不约束实验元数据(ISA、MIAME 类),也不覆盖仪器层(SiLA 2、Allotrope ADF / ASM);三层之间没有被验证的统一映射(推断)。落地程度取决于数据提供方是否愿意补写元数据。

大模型视角

Croissant 建在 schema.org Dataset 之上,分元数据(含负责任 AI 属性)、资源、结构、ML 语义四层,让数据集可被工具直接加载并带机读的来源与许可描述 [1]。在 LLM 数据链里,它位于"托管与发布"一环:Hugging Face 在数据集页嵌入 Croissant JSON-LD 并提供下载接口,Kaggle、OpenML 同样提供,另集成 TFDS、CKAN、Dataverse [1]。它解决的是元数据可读性,不解决许可聚合风险:混合授权的后训练集仍需逐子集核对。

来源

  1. https://arxiv.org/abs/2407.16883 (2026-10-14)
  2. https://research.google/blog/croissant-a-metadata-format-for-ml-ready-datasets/ (2026-10-14)
  3. https://arxiv.org/pdf/2403.19546 (2026-10-15)
  4. https://github.com/mlcommons/croissant (2026-10-15)
  5. https://huggingface.co/docs/hub/storage-limits (2026-10-15)

卡片整理 2026-10-14。公司自报数据标“公司口径”;⚠️ 为未经独立核实。