Croissant 元数据
MLCommons 的 JSON-LD 数据集元数据格式,机器人领域尚无采用证据
- 成立
- 2024-03
- 总部
- MLCommons
- 数据类型
- 数据集元数据
- 链接
- arxiv.org
内容
Croissant 是 MLCommons 的数据集元数据格式,基于 JSON-LD 与 Schema.org,1.0 版于 2024-03-06 发布;扩展 Croissant-RAI(arXiv 2407.16883,2024-06)覆盖数据生命周期、标注与公平性等负责任 AI 属性,配有 Python 库与可视化编辑器 [1][2]。目的是让数据集可被 ML 工具直接加载并带有可机读的来源与许可描述。
在机器人领域的现状
检索中未查到 RLDS 格式 或 LeRobotDataset v3 格式 到 Croissant 的机器人专用映射,应写成"通用标准,机器人领域尚无采用证据"。机器人数据集的 license、采集设备、本体等信息仍分散在 HF 卡片与论文里,口径常不一致(如 OXE 小时数、DROID 任务数 86/84)。
相关质量工具
同层面的工具有 Calibra(30 个公共 LeRobot 数据集的健康分基准)与 Trajlens(审计 100 个随机 Hub 数据集:19 通过、13 失败、47 加载错误、21 超时),均来自 HF 论坛社区帖。见 开源数据集与数据格式。
AI for Science视角
定义
Croissant 是 MLCommons 推出的机器学习数据集元数据格式,基于 JSON-LD 与 Schema.org,Apache 2.0,分四层(元数据、资源、结构、语义),含 Croissant-RAI(负责任 AI)扩展;参考库为 mlcroissant [1]。1.1 版本未确认 ⚠️。机器人数据专栏亦有介绍。
代表实现与采用方
被数据集平台用于统一描述与加载,使同一份描述可被不同框架读取;MLCommons 为会员制组织。具体 AI4S 数据集的采用清单未核到,不列。
局限
只描述数据集"是什么、怎么读",不约束实验元数据(ISA、MIAME 类),也不覆盖仪器层(SiLA 2、Allotrope ADF / ASM);三层之间没有被验证的统一映射(推断)。落地程度取决于数据提供方是否愿意补写元数据。
大模型视角
Croissant 建在 schema.org Dataset 之上,分元数据(含负责任 AI 属性)、资源、结构、ML 语义四层,让数据集可被工具直接加载并带机读的来源与许可描述 [1]。在 LLM 数据链里,它位于"托管与发布"一环:Hugging Face 在数据集页嵌入 Croissant JSON-LD 并提供下载接口,Kaggle、OpenML 同样提供,另集成 TFDS、CKAN、Dataverse [1]。它解决的是元数据可读性,不解决许可聚合风险:混合授权的后训练集仍需逐子集核对。
来源
相关卡片
卡片整理 2026-10-14。公司自报数据标“公司口径”;⚠️ 为未经独立核实。