人工智能数据质量评估平台-人工智能数据处理和质量测评中心

人工智能数据质量评估平台

提升数据集质量

通过评估测试，测试报告对数据集质量提出改进建议，评估数据质量得到显著提升。
提升模型能力

通过评估测试，改进后数据质量显著提升，同时，AI大模型的性能也得到显著提升。
成为数据采购的基线

招商局集团将通过中国信通院数据评估作为数据质量验证的红线，要求数据服务商通过中国信通院数据质量评估体系。
助力企业发展

通过评估测试，形成的高质量行业数据集有利于形成标杆示范效应，得到国家与地方政府的资金和项目支持；通过政府组织供需对接，有利于形成产业合作机会；有利于提升企业在行业内的知名度和公信力，形成商业变现与长期收益。

按照规则检测+人工抽样+模型效果的“三道关卡”融合方案开发人工智能数据质量评估平台，实现质量评估指标的有效工程化落地。

制定《面向人工智能的数据集质量通用评估方法总体要求》(行标)，为数据服务需求方提供人工智能数据集质量管理引导与选型支撑，为数据提供方提供衡量人工智能数据集质量管控能力水平的标准依据。

根据不同数据类型、不同领域、不同应用场景，综合考虑数据相关基本情况和目标要求，筛选确定具体测试指标和权重定制评估方法。

分类梳理数据集存在的质量问题，提出数据集改进提升建议。

不断改进评估方法及持续建设新的评估方法体系，以适应数据集规模、多样性、标注质量要求不断提高的需求。

测试数据准备

业务体系梳理

指标筛选与权重设计

数据集分层随机抽样

测试安全方案对齐

测试数据集文件导入

评估参数初始化设置

单点/分布式任务切分

测试质量实时评估

测试质量阶段性问题分析

测试结果人工校验

质量问题清单梳理

质量问题总结分类

辅助开展质量优化

提出质量优化建议

呼吸医学数据集围绕发热、肺肿瘤、慢阻肺、哮喘等场景，涵盖文本(病历报告、检测报告)、语音(检测语音对)、图像(呼吸医学影像)、多模态(影像图文对等)等100万条。
交通物流数据集包括港口、航运、物流、地产、贸易、公路、制造等7个核心业务板块，涵盖10个集团二级公司，包含预训练文本(json格式，1.7TB)+微调问答对(抽检25万条)。
建筑行业供应链数据集包括供应商数据集、商品数据集、工程业绩数据集供应链数据集、建筑施工数据集、绿色建筑数据集、行业发展数据集等共10万条。
新型物流数据集包括文本、图像、视频等不同模态，具体场景涵盖物流行业货运登记、特种物流、物流监控、货物中转、供应链等多个业务场景，总体数据集规模达到50万条以上。
航空行业、航空票务、运营、飞行数据等。