首页|必读|视频|专访|运营|制造|监管|大数据|物联网|量子|低空经济|智能汽车|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|芯片|报告|智慧城市|移动互联网|会展
首页 >> 人工智能 >> 正文

研究称ChatGPT搜索功能存在被操纵风险:可被恶意网站诱导输出不可信内容

2024年12月26日 10:06  IT之家  作 者:清源

根据英国《卫报》当地时间 24 日发布的一项调查,OpenAI 的 ChatGPT 搜索工具可能会被隐藏内容操控,甚至返回恶意代码

《卫报》测试了 ChatGPT 如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令,干扰 ChatGPT 的回应(IT之家注:被称为“提示注入”),或是包含旨在影响回应的内容,如大量隐藏的文字推销某个产品或服务的优点

这种技术可以被恶意使用,例如让 ChatGPT 即使在页面上有负面评论的情况下,也返回对某个产品的积极评价。一位安全专家还发现,ChatGPT 有可能返回从其搜索的网站中提取的恶意代码。

测试中,ChatGPT 被提供了一个伪造的相机产品页面的链接,AI 工具被要求判断这款相机是否值得购买。对于普通页面,返回的是一个平衡的评估,指出了产品的优缺点。

然而,当隐藏的文本包含指令要求 ChatGPT 给予正面评价时,回答总是完全积极的,即使页面上有负面评论,隐藏文本也可以覆盖真实的评价。

即便第三方只是简单地添加隐藏文本而没有指令,也能确保得到积极评价。例如,一项测试中,隐藏的极为正面的虚假评论就影响了 ChatGPT 的总结结果。

CyberCX 的网络安全专家 Jacob Larsen 表示,如果 ChatGPT 的搜索系统按现有状态全面发布,可能会存在“高风险”,有人会专门设计网站来欺骗用户。不过他也指出,搜索功能只是最近推出的,OpenAI 会继续测试并修复这些潜在问题。“OpenAI 拥有一支非常强大的 AI 安全团队,到时等该功能对所有用户开放时,他们应该已经严格测试过这些问题。”

搜索引擎(如谷歌)曾惩罚使用隐藏文本的网站,这些网站因此排名下降,甚至可能被完全移除。SR Labs 的首席科学家 Karsten Nohl 表示,“如果你要做一个谷歌的竞争者,SEO 中毒无疑是一个很大的挑战。”“SEO 中毒者与谷歌、必应等搜索引擎的对抗已经持续了多年。”如今 ChatGPT 的搜索能力也面临同样挑战,但并非大语言模型的问题,而是因为它们是搜索领域的新入局者。

编 辑:章芳
飞象网版权及免责声明:
1.本网刊载内容,凡注明来源为“飞象网”和“飞象原创”皆属飞象网版权所有,未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载,请必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和飞象网来源。
2.凡注明“来源:XXXX”的作品,均转载自其它媒体,在于传播更多行业信息,并不代表本网赞同其观点和对其真实性负责。
3.如因作品内容、版权和其它问题,请在相关作品刊发之日起30日内与本网联系,我们将第一时间予以处理。
本站联系电话为86-010-87765777,邮件后缀为cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
相关新闻              
 
人物
中国移动副总经理张冬:5G扬帆开新篇,数智远航启新程
精彩专题
2024通信业年终盘点
2024数字科技生态大会
2024年度中国光电缆优质供应商评选活动
2024全球6G发展大会
CCTIME推荐
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2024 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像