开云电竞(山东)科技有限公司·官方网站-电竞网络防护技术专家

开云动态

News Center

当前位置: 首页 > 开云动态

从跟风“养虾”到理性选择如何守牢安全底线

更新时间:2026-05-01点击次数:

  

从跟风“养虾”到理性选择如何守牢安全底线(图1)

  数据安全风险,是业内专家公认的政采AI智能体部署首要隐患。“政务数据与公众个人信息的隐私合规是首要挑战,AI智能体处理业务流程与上下文环境存在不可控性,海量存储在政府系统内的核心数据,极易出现越权篡改、误删或泄露问题。”清华大学公共管理学院政府法制研究中心主任陈天昊告诉记者。博思数采科技有限公司智能采购研发中心副总经理林镇勋直言,政府采购文件、预算、供应商信息、评审数据等均属于高度敏感信息,在AI智能体应用过程中,很容易发生数据外泄、越权调用、违规二次训练等安全问题。

  AI智能体的自主执行特性,也带来了权限管控的难题。陈天昊从政务法治与系统安全角度提出,政府部门引入并部署具备自主行动能力的AI智能体,必须防范个案层面的失控被规模化放大为系统性危机。他认为,为实现工作流闭环,智能体往往需要被授予跨系统底层高级权限,这个拥有高权限的超级入口,一旦遭遇恶意指令注入或网络攻击,就会突破现有安全隔离防线,直接影响政府内网稳定与对外公共服务的正常供给。“工业和信息化部近期发布的防范建议中也着重强调了‘最小权限原则’,这对智能体权限管理、操作审计提出了极高要求,必须搭建起完善的数据安全、隐私保护、合规治理体系,才能有效防范权限滥用风险。”科大讯飞企业数字化业务群副总裁汤熙表示。

  除数据与权限风险外,通用大模型自身的技术短板,也让政采AI智能体面临合规失真、算法黑箱等问题。林镇勋指出,通用大模型容易出现“猜答案”的情况,造成政策理解偏差、条款误判、给出错误建议等问题,而算法黑箱导致结论不可解释、不可复核、不可留痕,也让智能体难以切入政府采购关键业务环节。汤熙进一步补充,通用大模型的“幻觉”问题难以避免,如果AI智能体没有针对政府采购法规、行业细则做专项微调,就会出现法规政策错误解读、合规条款遗漏、采购需求设置偏差等问题。政府采购的评审、预警、打分等核心决策环节,必须做到可审计、可追溯、可负责,全程保证人工能够有效监督、及时纠偏。

  在人机协同应用中,责任边界划分同样是不可忽视的核心问题。汤熙表示,AI智能体只能承担辅助决策角色,绝不能替代法定决策环节,要始终坚守“以人为本、辅助决策、责任可界定”的原则,清晰划清人机协同的责任边界,实现全流程操作留痕、责任可界定。“AI辅助决策无法取代采购人、代理机构、评审专家和监管部门的法定责任。政采AI智能体应用必须坚守底线:可以提建议,但不能在无监督的情况下下结论;可以提效率,但不能突破合规红线。”林镇勋强调。

  奇安信人工智能公司CEO龚玉山则聚焦部署环节,点明了“终端裸奔”带来的系统性风险与数据主权旁落问题。他认为,当前政采AI智能体部署存在多重隐患:一是部署模式不合理,直接在公务员个人终端安装智能体,相当于授予其最高系统权限,极易引发核心政务数据泄露、内网被渗透、终端被劫持等问题;二是供应链投毒风险,智能体的功能插件若未经过严格审计,可能暗藏恶意代码,通过提示词注入窃取敏感信息、篡改业务逻辑;三是合规与隐私风险,公有云部署可能导致数据出境、被第三方掌控,违反数据安全法及政务数据管理相关规定;四是行为失控风险,缺少实时熔断机制的智能体,短时间内就可能完成大规模数据窃取。

  “AI参与政府采购治理的核心问题,从来不是简单判定其‘能不能用’,而是要将其全面纳入‘可监管、可审计、可问责’的制度框架。谁能率先把合规体系与业务闭环搭建扎实,谁就能成为政府采购智能化领域的长期可靠支撑。”林镇勋在采访中说道。结合政府采购监管实际,林镇勋与汤熙共同提出可落地的治理思路,主张构建“制度+技术+标准+监管”四位一体治理体系,打造制度规范、技术有支撑、管理有保障的闭环治理模式。

  筑牢合规防线,首要任务是建立分类分级准入机制。林镇勋提出,要按照风险等级,对问答咨询、文件生成、合规审核、辅助评审等政采应用场景实行分级管理,对高风险场景实施严格准入。汤熙建议,要从源头完善准入规则,把好安全首道关口,将自主可控、算法备案、安全测评、可解释性、数据合规等纳入AI智能体采购门槛,优先选用在政务场景经过规模化验证的可信方案,搭建完善可信的政采AI智能体采购规则体系。

  在法治保障与顶层设计层面,陈天昊提出坚持制度规范与敏捷治理“双轮驱动”的思路。他认为,首先,要夯实法治根基,在网络安全法、数据安全法、个人信息保护法框架下,探索制定政务智能体运行安全管理专项规章,以刚性制度明确政务智能体调用权限、数据处理的安全与隐私底线。其次,要发挥政府采购对创新市场的引导作用,由主管部门尽快出台具体应用指南,引导市场主体贴合政府采购逻辑,研发适配政务复杂场景、具备自主可控能力的智能体服务与硬件产品。最后,针对智能体技术演进带来的未知风险,要践行“以技治技”理念,探索政企协同的多中心治理模式,联合相关企业搭建政务智能体安全与效能专属评测基准,建立常态化技术测试与沙盒验证机制,用技术手段提升智能体合规性与稳定性,实现智能赋能与安全可控的平衡发展。

  从监管实操角度,龚玉山强调,完善政采AI智能体采购规则,必须确立“安全前置”核心原则,将安全能力作为采购硬性准入条件。他建议,一是明确部署红线,在采购文件中强制要求AI智能体采用私有化、容器化部署模式,严禁在个人终端或非受控环境运行,牢牢守住数据主权。二是建立全生命周期安全标准,要求供应商提供覆盖智能体技能插件供应链审计、会话实时监控、异常行为熔断的全流程安全防护方案,通过端、网、云联动管控,实现全程可管可控。三是推行“三同步”机制,推动智能体系统与安全防护设施同步规划、同步建设、同步运营,将安全运营考核指标纳入项目验收标准,明确安全事件快速响应责任。四是建立国家级智能体安全准入清单,对核心组件、功能插件实行统一认证,鼓励采用专业安全防护方案,引入第三方安全厂商提供托管服务,通过量化考核、常态化攻防演练,构建“云端集中管控、安全策略严控”的智能体安全运营体系,筑牢数字政府采购领域安全防线。