Facebook数据泄露事件的主角剑桥分析公司通过关联分析的方式获得了海量的美国公民用户信息，包括肤色、性取向、智力水平、性格特征、宗教信仰、政治观点以及酒精、烟草和毒品的使用情况，借此实施各种政治宣传。
ForresterResearch预测统计，人工智能技术将在2025年之前取代美国7%的工作岗位，其中16%的美国工人将被人工智能系统取代。《未来简史》作者尤瓦尔·赫拉利预言，二三十年内超过50%工作会被人工智能取代。
……
人工智能在服务和赋能人类生产生活同时，也带来了难以忽视的安全风险。
9月18日，2018世界人工智能大会安全高端对话在上海举行，会上发布了《人工智能安全白皮书》（以下简称《白皮书》）。
《白皮书》由中国信息通信研究院安全研究所编制，该研究所始建于1957年，是工业和信息化部直属科研事业单位。
《白皮书》称，技术的进步往往是一把“双刃剑”，人工智能作为一种通用目的技术，为保障国家网络空间安全、提升人类经济社会风险防控能力等方面提供了新手段和途径。但同时，人工智能在技术转化和应用场景落地过程中，由于技术的不确定性和应用的广泛性，带来冲击网络安全、社会就业、法律伦理等问题并对国家政治、经济和社会安全带来诸多风险和挑战。
《白皮书》项目组认为，人工智能安全风险包括网络安全风险、数据安全风险、算法安全风险、信息安全风险、社会安全风险和国家安全风险六方面。
从网络安全风险看，人工智能学习框架和组件存在安全漏洞风险，可引发系统安全问题。《白皮书》指出，目前，国内人工智能产品和应用的研发主要是基于谷歌、微软、亚马逊、脸书、百度等科技巨头发布的人工智能学习框架和组件。但是，由于这些开源框架和组件缺乏严格的测试管理和安全认证，可能存在漏洞和后门等安全风险，一旦被攻击者恶意利用，可危及人工智能产品和应用的完整性和可用性，甚至有可能导致重大财产损失和恶劣社会影响。
同时，人工智能技术可提升网络攻击能力，对现有网络安全防护体系构成威胁与挑战。
从数据安全风险看，一方面逆向攻击可导致算法模型内部的数据泄露，另一方面，人工智能技术可加强数据挖掘分析能力，加大隐私泄露风险。Facebook数据泄露事件即是典型案例。
从算法安全风险看，算法设计或实施有误可产生与预期不符甚至伤害性结果；算法潜藏偏见和歧视，导致决策结果可能存在不公；算法黑箱导致人工智能决策不可解释，引发监督审查困境；含有噪声或偏差的训练数据可影响算法模型准确性；此外，对抗样本攻击可诱使算法识别出现误判漏判，产生错误结果。
例如，使用Northpointe公司开发的犯罪风险评估算法COMPAS时，黑人被错误地评估为具有高犯罪风险的概率两倍于白人。
从信息安全风险看，智能推荐算法可加速不良信息的传播，人工智能技术可制作虚假信息内容，用以实施诈骗等不法活动。
2017年，我国浙江、湖北等地发生多起犯罪分子利用语音合成技术假扮受害人亲属实施诈骗的案件，造成恶劣社会影响。
从社会安全风险看，人工智能产业化推进将使部分现有就业岗位减少甚至消失，导致结构性失业；人工智能特别是高度自治系统的安全风险可危及人身安全；人工智能产品和应用会对现有社会伦理道德体系造成冲击。
项目组对此举例道，企业具有天生的资本逐利性，在利用用户数据追求自身利益最大化时，往往忽视道德观念，从而损害用户群体的权益。例如：携程、滴滴等基于用户行为数据分析，实现对客户的价格歧视；Facebook利用人工智能有针对性地向用户投放游戏、瘾品甚至虚假交友网站的广告，从中获取巨大利益。
从国家安全风险看，人工智能可用于影响公众政治意识形态，间接威胁国家安全；还可用于构建新型军事打击力量，直接威胁国家安全。
“当前，人工智能技术发展呈现加速趋势，由于其自身的学科交叉性和垂直应用性，未来必将与传统行业进行深度融合。随着人工智能技术的创新突破和应用场景的日益增多，其安全风险也会动态演进，将越发具有泛在化、场景化、融合化等特点，对人类生产生活、国家政治经济等方方面面产生深远安全影响。”项目组写道。
在《白皮书》中，项目组也提出了八条人工智能安全发展建议。
这些建议包括加强自主创新，突破共性关键技术；完善法律法规，制定伦理道德规范；健全监管体系，引导产业健康发展；强化标准引领，构建安全评估体系；促进行业协作，推动技术安全应用；加大人才培养，提升人员就业技能；加强国际交流，应对共有安全风险；加大社会宣传，科学处理安全问题。
在9月18日的活动上，2018世界人工智能大会安全高端对话与会专家组还发布了《人工安能安全发展上海倡议》，共同倡导人工智能安全发展要面向未来、以人为本、责任明晰、隐私保护、算法公正、透明监督、和平利用和开放合作。
