在线留言

在线留言

当前账号:河北低空经验数据咨询有限公司
确定 关闭

返回顶部

服务申请

当前账号:李大强
确定 关闭
个人中心
退出登录
当前位置:首页 >行业发布 >成果发布 >行业产品及模型

中国信通院2025年第一批“安全大模型能力评测”工作正式启动

来源: 发布日期:2025-03-25

近年来,随着大模型技术在网络安全范畴的应用呈现出不断深化的态势,其已逐渐成为重塑网络安全行业格局的关键驱动力。在此背景下,国内安全企业相继推出一系列聚焦网络安全的大模型产品。这些安全大模型产品自推向市场后,已在政府、通信、金融、医疗等多个关键领域实现规模化部署应用,切实为筑牢各行业网络安全屏障提供了坚实支撑。

评测依据

虽然国内安全大模型产品市场呈现出蓬勃发展的态势,但由于缺乏统一的安全基线要求和明确的应用场景及能力评价指标,这些产品的功能、性能和安全性参差不齐,给网络安全防护带来了不确定性和挑战。为了应对这一现状,进一步规范网络安全大模型的设计、开发与应用,中国信通院人工智能研究所依托中国人工智能产业发展联盟(AIIA),携手行业内多家权威单位,共同研制并发布了《安全大模型能力要求与评估办法 第1部分 总体框架》和《安全大模型能力要求与评估方法 第2部分 基础网络安全》两项技术规范。这两项规范为网络安全大模型的功能、性能及安全性提供了科学的评估标准和方法。一方面,该规范为安全大模型的开发者提供了明确的产品优化方向,助力他们提升产品的技术水平和市场竞争力。通过遵循这些要求,开发者可以更加精准地定位产品的优势与不足,从而有针对性地进行改进和优化,以满足市场的多样化需求。另一方面,该规范也为安全大模型的使用者提供了权威的选型参考。面对众多的网络安全大模型产品,使用者可以依据这些评估标准和方法,更加客观、全面地评估产品的性能和安全性,从而选择出最适合自己需求的优质产品。这不仅有助于提升使用者的安全防护能力,也有助于推动整个安全大模型产业向更加成熟、健康的方向发展。

已开展的工作

自2024年8月起,中国信通院依据《安全大模型能力要求与评估办法 》系列规范,开展了两轮“安全大模型基础网络安全能力”评测工作。经过严格而细致的评测流程,华为、启明星辰、奇安信、绿盟科技、360集团、中国联通、上海斗象、新华三、天融信以及神州泰岳等10家业内领先企业的网络安全大模型产品顺利通过评估。

2025年第一批测评工作计划

2025年度第一批“安全大模型基础网络安全能力”评测工作已正式启动。从即日起开启评测报名,拟于2025年7月中旬完成本轮评测工作,欢迎有意向企业报名参加。 

评估流程

评估流程主要包括商务确认、评估对接、评估排期、评估执行、专家评审、结果发布宣传。

联系人

静   静

15810821574(同微信)jingjing@caict.ac.cn

陈文弢

18500022046 (同微信)chenwentao@caict.ac.cn

附录一:评估项目介绍

评估依据技术规范《安全大模型能力要求与评估办法 第1部分 总体框架》和《安全大模型能力要求与评估方法 第2部分 基础网络安全》,针对安全大模型产品的功能、性能及安全性进行评估。适用于安全大模型基础网络安全能力部分的研究开发、建设部署的相关组织,也适用于网络安全大模型使用方或第三方评测机构开展能力测试与产品选型。

《安全大模型能力要求与评估方法 第1部分:总体框架》

技术规范规定了安全大模型所覆盖能力的总体框架和评估方法。安全大模型的架构分为基础设施层、通用安全能力和安全原子能力三层。安全大模型的研发旨在解决各类复杂的安全应用场景需求,通用安全能力和安全原子能力以不同的组合方式可以满足不同安全应用场景的需求。技术规范适用于网络安全大模型的研究开发、建设部署的相关组织,也适用于安全大模型使用方或第三方评测机构开展能力测试与产品选型。

1.安全大模型包含如下三层:

(1)基础设施层:基础设施层包含了支撑大模型运行的算力、模型和数据。

(2)通用安全能力:包括安全问答、安全语言翻译、安全数据处理、安全任务编排、安全工具调用、安全告警研判、安全报告生成、大模型内生安全等通用能力。

(3)安全原子能力:包括了安全大模型可具备的基础网络安全能力、数据安全能力、内容安全能力和业务安全能力。

2.安全应用场景包括:

安全运营、态势分析、安全管理、事件研判、安全技术防护、风险评估、攻防等场景。

《安全大模型能力要求与评估方法 第2部分:基础网络安全》

技术规范规定了安全大模型基础网络安全领域应具备的能力以及相应的评估流程与方法,适用于安全大模型基础网络安全能力部分的研究开发、建设部署的相关组织,也适用于网络安全大模型使用方或第三方评测机构开展能力测试与产品选型。

技术规范主要对安全大模型基础网络安全应具备的原子能力提出了具体要求,包括安全大模型可具备的恶意流量检测、入侵检测、访问控制、漏洞检测、恶意代码检测、渗透测试、攻击面检测溯源、WEB攻击检测、恶意邮件检测、代码审计、威胁情报分析、威胁狩猎等能力,同时对安全大模型应具备的通用安全能力进行了详细描述。

附录二:已通过“安全大模型基础网络安全能力评测”的企业产品