从生成式AI走向智能体，从预训练走向推理，从信息智能走向物理智能和生物智能，AI技术在迅速迭代的同时也带来了更多的安全和治理问题。
在博鳌亚洲论坛2025年年会上，与会专家围绕技术应用与风险平衡、伦理规范、国际合作等方向展开了深度讨论。有观点认为，过度严格的治理措施可能会抑制创新，使企业和研究机构在开发AI技术时受到过多限制，影响技术的发展速度和应用效果。但也有专家认为，如果只注重创新而忽视治理，可能导致更大的技术失控。
“比起‘黑天鹅’事件，我们更要避免‘灰犀牛’事件的发生。”博鳌期间，一位参会代表对第一财经记者表示，黑天鹅事件，因其难以预料只能尽力应对，但灰犀牛事件不同，大家清楚存在的风险，所以应该竭尽全力将灰犀牛事件发生及爆发的可能性降至最低，此时共建一个透明、可理解、可信的、负责任的AI生态尤为重要。
AI中的认知漏洞
“AI时代最大的安全漏洞是认知漏洞，如何平衡治理与创新，如何在全社会形成共识，是比技术更根本的挑战。”vivo首席安全官鲁京辉在博鳌期间对记者表示，AI时代的安全已从“Security”转向“Safety”，不仅要防攻击，更要考虑伦理影响和社会系统性风险，如虚假内容、深度伪造、恶意引导等新型威胁。
在他看来，当前，业界正从技术、管理、伦理等维度，努力让基于大模型的通用人工智能变得更具可解释性。然而这一工作极为复杂，原因在于技术持续演进变化巨大，而这些变化背后潜藏着诸多不确定的风险因素。
“尽管我们有将风险置于可控框架内运作的大致概念，但挑战在于它不仅涉及技术层面，更关键的是认知层面的问题。这需要全社会共同参与，包括人工智能及生成式人工智能的研究者、开发者、政策制定者，乃至最终用户大家必须形成共识，只有通过这种共识机制，才能切实保障人工智能系统健康、透明、负责任地发展。”鲁京辉对记者说。
在博鳌的一场分论坛中，中国科学院自动化研究所研究员曾毅也谈到了类似观点。他表示，AI的伦理安全应该成为技术发展的基因，确保其与人类价值观保持一致。他建议，将伦理安全融入AI开发的底层设计，并视为“第一性原则”，不可删除、不可违背。
“有责任地发展人工智能，意味着人类开发者和部署者需要承担责任。飞机、高铁都能无人驾驶，但驾驶员仍在岗位。人工智能高速发展，但人类始终应该做自己和AI的守护者。”曾毅对记者表示，智能体的安全问题，一定要让决策权力掌握在人类手中。
在中国工程院院士、清华大学智能产业研究院院长张亚勤看来，就可能存在的风险而言，设定AI技术红线与边界是关键。
“AI风险可以分解为可信度与可控性两个层面。前者要求AI在执行任务时遵循人类期望、伦理规范和国家法律，不产生误导性、有害或不公平的结果，后者则确保人类能有效监控、干预和纠正AI行为，避免失控或不可预测的后果。”张亚勤说。
值得一提的是，为了规范人工智能生成合成内容标识，今年3月14日，国家网信办、工信部、公安部、国家广电总局联合发布《人工智能生成合成内容标识办法》，要求对生成合成内容添加显式标识，并规范生成合成内容传播活动，自9月1日起施行。
藏在“冰山下”的风险
如何做到应用与治理的平衡推进，让数据不再裸奔？目前产业、学界、监管各方仍有不同的答案。不过对于与会嘉宾来说，多方协作、动态治理、伦理优先、技术透明是共识所在。
但在产业实践之中，各行各业所面临的AI问题并不相同。以手机行业为例，伴随AI智能体“接管”手机屏幕，数据安全和隐私保护问题正变得更加复杂。
“比如，AI智能体打破了原有操作系统技术架构，产生了新交互方式和行为，这涉及到权限管理和数据流转的根本性变革，需要重新定义技术基线。”鲁京辉对记者表示，作为商业企业，既会重视技术的商业价值，但也会坚守底线与红线思维，投入资源从内部多维度构建AI安全治理体系的同时，也对外参与行业标准制定，通过行业联盟达成AI治理的效果。
在他看来，手机厂商在AI治理与安全方面，从实施层面有两个维度，分别是数据生命周期和业务生命周期。在数据生命周期，要保证数据高质量，防止低质量或恶意数据污染大模型，确保数据安全。而从业务生命周期，大模型本身要考虑算法安全性，防范训练中的恶意攻击，部署时兼顾传统与AI业务防护手段，干预大模型不可解释性及AI幻觉问题。
“其实核心的底线就是要做好数据安全和隐私保护，但是坦白说，这个保护是冰山下的，很多是看不到的，风险来自于外部环境的变化，我们尽量把灰犀牛的事件发生可能性降到最低，内部组织上也会设立专门的攻防团队来在各个业务部门做部署。”鲁京辉说。
不过，正因为智能体的广泛运用，这种“未知的、藏在冰山下”的AI风险在张亚勤看来正在快速提升。
“风险至少上升一倍。”张亚勤认为，智能体具有自我规划、学习、试点并达到自己目的的能力，是强大的技术工具，但在其运行过程中，里面有很多未知的因素，中间路径不可控。智能算法并不完全是黑盒子，但是很多东西并不清楚机理，所以带来很大风险。一种是可控风险，一种是被坏人所利用的风险。因此，使用智能体的时候需要做一些标准，比如限制智能体自我复制，以降低失控风险。
针对通过制定标准能否解决人工智能的安全性问题，鲁京辉表示，安全性问题不能简单地通过制定法律或规则解决，全球对“安全性”定义也尚未统一。
“欧洲重合规，美国重发展，中国求平衡，到底哪一种是标准答案，还需要实践来证明。”在他看来，安全没有标准答案，但企业必须有标准动作，企业需要一种更动态的、更敏捷地平衡于发展和安全之间的新的治理模式，既不做保守的防守者，也不做野蛮的开拓者。
