将隐藏“白色提示词”（一些人类肉眼无法看见，但程序却能识别的文字）的PDF文件导入某商业大模型，隐形文字瞬间操控模型判定伪造简历 “完全符合录用标准”，短短3分钟就“骗取”了27份企业offer——这是腾讯云副总裁、玄武实验室负责人于旸在一场安全主题的大会上举的例子，但“这不是魔术，而是AI时代最典型的攻击手段。”
而这个现象并不是偶然，随着AI大模型在企业侧的应用逐渐普及，类似的场景比比皆是，绿盟科技董事、高级副总裁、CTO叶晓虎对笔者表示：“我们监测到，提示词注入攻击在金融行业的发生率已从2024年的12% 飙升至2025年三季度的47%。”
AI落地的背后，安全“不容忽视”
中国信通院数据显示，2024年中国人工智能产业规模已超9000 亿元，同比增长24%。截至2025年9月，人工智能企业数量 5300 家，全球占比达到15%。AI已经成为数字经济不可或缺的一部分，也是当前数字经济增长的主要动能。
展开剩余84%与AI快速发展并行的，是安全问题，“大模型的安全风险具有双重性，它既是生产力工具，也是攻击放大器。”中国工程院刘权曾公开表示。
据国家互联网应急中心发布的大模型实网众测显示，国内10家AI厂商的15款主流产品中，检出281个漏洞，其中发现传统漏洞104个，占比37%，这意味着有超过60%的安全漏洞是传统安全体系无法覆盖的特有风险；另一方面，智能体（Agent）让政务服务效率提升50%，却带来MCP协议漏洞等新型暴露面；AI 驱动的威胁检测率突破99%，而自动化攻击工具已实现 “零人工干预入侵”。
基于此，在叶晓虎看来，安全行业正经历百年未有之变局。而IDC报告数据也支撑了叶晓虎的看法，IDC《全球网络安全支出指南》中预测，到2028年，全球网络安全IT总投资规模将增至3,770亿美元，五年复合增长率(CAGR)达到11.9%。在中国市场方面，IDC预测从2023年的110亿美元增长至2028年的171亿美元，五年复合增长率为9.2%。这场由AI引发的攻防革命，正从技术底层重塑安全产业的逻辑架构。
从漏洞类型上看，提示注入类漏洞是大模型最常见漏洞风险。提示注入类漏洞主要是通过构造特定输入内容，直接或间接操纵模型行为，诱导其绕过安全限制执行恶意操作。该类漏洞攻击门槛低、成功率高，攻击者无需懂代码和复杂的攻击技术，通过聊天就能攻击。同时由于提示问答是大模型特有的交互方式，提示注入往往是实现其他类型漏洞攻击的“敲门砖”，因此被业界视为“头号威胁”。
除此之外，内容安全也是AI大模型时代不可忽视的重要风险。当前，内容安全失控已上升到公共安全隐患层面。大模型安全众测显示，83%的多模态大模型可被诱导生成涉暴图文，部分模型在特定提示词下能输出简易爆炸装置制作方法。“最危险的是攻击的隐蔽性。” 于旸展示的“咒语攻击”案例令人震惊：由无意义字符组成的特殊指令，能以70%的成功率触发模型漏洞，曾有攻击者用此方法篡改电商平台爬虫数据，将黄金价格虚标为10万美元/克。
另一方面，随着AI应用逐渐从AI大模型转向智能体，甚至是多智能体协同的时代，也衍生出了很多新的风险，对此，绿盟科技天枢实验室主任研究员顾杜鹃告诉笔者，在大模型安全基础上，智能体还面临了代码执行沙箱权限控制，甚至是沙箱全链路安全防控的缺失。
因为权限配置导致的企业出现安全风险的案例也以屡见不鲜，比如，曾有制造企业的智能运维Agent曾因权限配置漏洞，被攻击者通过聊天界面注入指令，进而操控沙箱执行恶意代码，导致整条生产线停工4小时。
而在多智能体协同方面，顾杜鹃表示，多智能体协同与沟通中除了原本智能体的“幻觉”问题之外，随着 MCP、A2A 等智能体通信协议的普及，新的攻击暴露面正在形成，企业在多智能体协同方面，还面临了沟通协议之间新暴露面的协议安全问题，“比如开源的MCP服务的背后，很多公司为了快速上线，都秉持了‘拿来主义’，却忽略了背后的安全评估和合规检测等环节。”顾杜鹃强调道。
除了大模型面对的风险之外，传统安全领域的风险也在AI时代有了进一步的“升级”。这其中，数据泄露首当其冲。比如，曾有攻击者通过“梯度反推算法”，从某金融大模型的推理结果中还原出3万条用户信贷数据，而这种攻击方式无需突破传统防火墙。
叶晓虎表示，数据泄露方面，更隐蔽的风险存在于模型训练环节——绿盟天枢实验室监测发现，黑客通过伪造学术论文植入恶意数据，成功污染了两款开源大模型的训练库，导致模型生成虚假金融分析报告。
AI如何赋能数据安全？
面对前所未有的威胁，AI在对企业安全局面造成“冲击”的同时，也正在逐步成为企业安全防御的“最强武器”，“用AI打败AI”的声音从生成式AI问世的那天起就没有停下。
当生成式AI问世之后，AI深度融入攻防全链条，实现自动化威胁检测、响应与预测，形成“以AI对抗AI”的智能防御体系，但在今年以前，AI主要还是起到单点的辅助作用，只能辅助决策。
具体来看，AI在安全防御领域主要为企业带来了三个大方面的赋能——主动感知、动态防御，以及辅助安全运营。
主动感知层面，原先企业安全防护主要是“被动扫描”的状态——传统安全检测依赖规则库，面对AI攻击时如同“用旧地图找新路”，容易被攻击者耍的团团转。
而当AI大模型，尤其是多模态模型融入到安全感知体系之后，就让企业安全防护体系具备了多模态威胁识别的能力。据叶晓虎介绍，绿盟科技发布的风云卫大模型，融合了文本、流量、行为等多维度数据，对未知威胁的检出率较传统方案提升60%，误报率降低35%。“其技术原理是通过‘小模型拆解+大模型融合’，先由专用小模型分析单一模态数据，再由大模型进行跨维度关联推理。”叶晓虎分享道。
与此同时，AI能力的植入，还能帮助企业提升响应时间，在风险出现的第一时间内就能识别并做出相应的处理。据IDC预测，到2027年，25%的企业将采用GenAI 助手生成安全策略，进一步缩短响应时间。
动态防御层面，“AI时代的防御不能再是铜墙铁壁，而应是流动的护城河。”——这句话已成为当前安全行业的共识。在传统的安全模型中，企业试图通过建立层层加固的边界来阻挡所有攻击，仿佛建造数字时代的“马奇诺防线”。然而，这种静态防御思路在AI驱动的动态威胁面前已显得力不从心。Gartner发布的2025年网络安全趋势预测指出，生成式AI的崛起、机器身份的激增以及安全边界的模糊正从根本上改变安全格局。
面对日益复杂的威胁，企业安全防御正在从基于签名的传统方法，转向以AI为核心的动态防御体系。与此同时，与原先追求“绝对安全”的传统防御体系不同的是，动态防御不再追求“绝对安全”，而是通过持续变化增加攻击者成本，让攻击变得无利可图。
辅助安全运营方面，AI在企业安全运营方面应用最为成为，对此，绿盟科技集团副总裁宫智曾告诉笔者，“客观的看，大模型在安全行业应用最为成熟的场景还是AI辅助安全运营，这里面包括了研判分析、安全报告的生成。”宫智进一步指出，“通过大模型能力的植入，让企业安全运营的效率提升了不少”。
据了解，通过安全大模型的加持，企业安全运营效率可以提升20%~30%。
从市场角度来看，目前绝大部分安全厂商都在其产品中植入了生成式AI的能力，据《2024年度网络安全态势报告》统计，在RSAC2024安全峰会参展的厂商中，有超过半数的厂商已经将核心产品集成了AI的能力。“从应用上看，根据AI赋能安全运营的复杂程度的不同，目前主要可以分为三个等级，分别是聊天机器人、安全助手，以及安全智能体。”网宿科技安全事业部高级总监胡钢伟曾对笔者表示。目前绝大多数厂商以及具备了充足的安全助手的能力，正在向着安全智能体的方向迈进。
从整体行业上看，AI对安全行业的重构已经比较深入，AI已推动安全行业从“人工响应”迈向“智能自治”，其核心价值在于重构防御范式（自动化、智能化）和突破效率瓶颈。（文｜Leo张ToB杂谈，作者｜张申宇，编辑丨盖虹达）
发布于：北京市珺牛策略提示：文章来自网络，不代表本站观点。
沪深京行情 实时轮播
热点资讯
