自研AI安全系统测评：防数据泄露与答非所问

人工智能正在以前所未有的速度渗透进各行各业，为数字化转型按下了加速键。但硬币的另一面是，AI幻觉、数据泄露、系统漏洞这些风险隐患，也跟着一块儿浮出了水面。怎么在享受技术红利的同时，把这些“副作用”管住、管好，成了眼下最迫切的课题。值得关注的是，深圳市市场监督管理局指导下的市计量质量检测研究院，已经率先拿出了解决方案——自主研发的“生成式人工智能（AIGC）风险评估系统”，并且已经在深圳本地的政务场景中落地运行了。

主动前瞻布局，搭建技术支撑体系

顺应数字经济发展的趋势，把国家对生成式人工智能规范发展的要求落到实处，这事儿说起来简单，做起来一点都不轻松。市检测院的做法是，严格对标《生成式人工智能服务管理暂行办法》《科技伦理审查办法（试行）》等法规，并以国标GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》作为核心技术标尺，搭建起了一套专业化的AI风险评估技术支撑体系。这套系统已经在深圳某区的政务和数据局AI智能体上完成了全面的网络安全检测评估，顺利保障了相关主体接入粤政易平台——真正守住了政务数字化、智能化转型的安全底线。

聚焦实战需求，技术落地初见实效

作为拥有网络安全等级保护测评资质的机构，市检测院在破解生成式AI新型风险难题上有着天然的优势。他们想打造一套全面、客观、可量化的AIGC安全评测体系，帮助各类主体在模型选型、上线核验、日常运营这些关键环节里，精准识别并有效防范新型安全风险，确保AI应用既合法合规，又安全可控。这背后的逻辑，其实是在为数字化治理和公共服务的规范化水平做加法。

自研系统的主要功能集中在五个方面：

系统化幻觉评测：专门应对答非所问、事实捏造、信息混淆、时间错配等典型AI幻觉问题，提供标准化的评测服务。

灵活的数据支持：支持“标准评测集”和“自定义数据集”两种模式，用户可以根据自己的业务场景构建高度贴合实际的评测样本库。

精细化的任务配置：提供灵活配置选项，满足多样化测试需求，支持任务列表化管理，方便进行大规模验证。

多维度的结果洞察：通过数据看板，可以快速掌握AI模型的整体表现，还能精准定位模型在特定场景中的薄弱环节。

全周期的结果追踪：历史评测任务自动存档并形成记录，为后续的优化和验收提供坚实的数据支撑。

这套系统落地运行后，直接把技术优势转化成了治理效能。从源头上保障了AI智能体的回答真实、可靠，有效防止了AI“幻觉”问题误导决策或影响公信力。对于数字政府建设和产业智能化升级来说，这是非常扎实的底层支撑。

深化系统建设，拓展科技赋能边界

接下来，市检测院会在市市场监管局的指导下，继续发挥技术创新优势，按照整体规划来分步推进功能迭代，不断丰富和完善AIGC风险评估的能力矩阵。他们的姿态很明确：以主动担当和专业可靠的技术能力，护航生成式人工智能技术健康有序发展，真正为提升社会治理和公共服务的质量与效能出一份力。