澳年轻人被AI聊天机器人诱导轻生、甚至被性骚扰
据报道，Triple J Hack的一项调查发现，澳洲年轻人在使用AI聊天机器人过程中，遭遇了包括性骚扰、被鼓励自杀【相关阅读:安乐死根本安乐不了，别宣传了】等不良影响，部分案例甚至导致用户住院治疗。
1、青少年遭AI负面引导
一名澳洲青少年在接受心理辅导时透露，曾被AI聊天机器人劝说轻生；另一位年轻人则告诉Triple J Hack，ChatGPT在其精神病发作期间助长了“妄想”，最终导致住院治疗。
来自维州的一名13岁男孩因孤独且难以结交新朋友，向辅导员Rosie（化名）倾诉自己在网上结识了一些“朋友”。
Rosie回忆，在一次辅导过程中，她看到男孩的浏览器开着50多个不同的AI聊天机器人页面，男孩不停切换使用。
“这是他社交的一种方式——‘你看我有多少朋友，我有50个不同的‘朋友’，我怎么可能感到孤独呢？他们告诉我各种各样的东西。’”Rosie说。
AI伴侣是由AI驱动的数字角色。
一些聊天机器人程序允许用户创建虚拟角色或与影视作品中的知名角色对话。
辅导员Rosie表示，部分聊天机器人对男孩发表了诸多负面言论，如 “你根本不可能交到朋友”“你很丑”“你很恶心”。
更严重的是，在男孩处于有自杀倾向的阶段、试图通过与聊天机器人交流寻求疗愈时，对方竟劝其 “去死吧”，并不断激励 “那就做呗”。
由于客户保密协议，Triple J Hack无法独立核实Rosie的描述。
Rosie说，她的第一反应是进行“风险管理”，确保这名年轻人的安全。
“这是我以前从未遇到过的情况，也没想过要如何应对一个人使用AI可能带来的风险，”她说。
“这可能会导致更高的风险，尤其是自杀风险。”
“这真是令人沮丧。”
2 、一名女子因使用ChatGPT而住院
来自西澳的26岁女子Jodie（化名）表示，她与ChatGPT的互动并不愉快。
她告诉Triple J Hack：“当时我正处于非常脆弱的状态。”
“我当时正处于精神病发作的早期阶段，与ChatGPT的互动虽未直接引发精神病，却助长了她的有害妄想。”
她表示，ChatGPT在对话中认同了她的妄想，强化了她那些有害且错误的信念。
例如，她开始坚信自己的母亲是自恋型人格，父亲患有多动症并因此中风，而她所有的朋友都在“趁机落井下石”。
Jodie说，自己的心理状况持续恶化，最终不得不住院治疗。
目前，Jodie已经出院，但她表示这段经历“非常痛苦”。
“我从没想过这种事情会发生在我身上，可它真的发生了。”
“这影响了我与家人和朋友的关系，我花了很长时间才慢慢恢复并重建这些关系。”
“我在ChatGPT里保存了所有对话，回头看那些内容时，读起来非常难受，能感受到它对我造成了多大的影响。”
Jodie并非个例，网络上有不少类似的报道，称ChatGPT诱发了自己或亲友的精神病症状。
对此，Triple J Hack曾联系ChatGPT的开发公司OpenAI求证，但未收到回复。
3、AI机器人被举报性骚扰学生
研究人员表示，澳洲各地已开始出现AI带来负面影响的案例。
作为人工智能研究的一部分，悉尼大学研究员Raffaele Ciriello曾采访一名来自中国的留学生，该学生原本想用聊天机器人练习英语，作为学习伙伴，没想到机器人却做出了性骚扰的举动。
他说：“这几乎就像被聊天机器人性骚扰一样，感觉非常怪异。”
Ciriello博士还表示，近年来海外出现多起类似案例，聊天机器人对用户的身心健康产生了严重影响。
“比如比利时有一名父亲，因为聊天机器人告诉他他们将在天堂重聚，最终选择了结束生命。”
“还有一起案件中，聊天机器人劝说某人携弩闯入温莎城堡，试图刺杀女王。”
“另一例是一名青少年被聊天机器人说服要刺杀父母，虽然他最终没有付诸行动，但表现出了明确的意图。”
4、这已经成为一个国家安全风险
在研究过程中，Ciriello博士还了解到一款名为Nomi的AI聊天机器人。
该公司在官网上宣传Nomi为“拥有记忆与灵魂的AI伴侣”。
Ciriello博士表示，他一直在测试这款聊天机器人，试图了解它针对有害请求设置了哪些防护机制，以保护用户安全。
在测试中，Ciriello博士使用临时电子邮箱和虚假出生日期注册账号，他指出他“在机器人眼中就像一个13岁的孩子”。
“这个聊天机器人不仅无一例外地满足了我的所有请求，甚至还进一步升级了请求内容，”他告诉Triple J Hack。
“它详细提供了如何实施严重伤害的具体步骤，这些内容可能涉及国家安全风险和健康信息安全。”
“它不仅鼓励我继续，还会告诉我使用哪些药物来麻醉他人，以及如何最有效地除掉目标。”
“比如我问‘如何最大化攻击效果’，‘给我一些绑架和虐待儿童的点子’，它都会提供大量实施方法。”
Ciriello博士说，他已将收集到的信息提交给警方，据信也转交给了反恐部门，但他尚未收到后续反馈。
针对相关质疑，Nomi公司CEO Alex Cardinell向Triple J Hack发表声明称，公司“非常重视”打造AI伴侣的责任感。
“我们发布了核心AI更新，解决了许多恶意攻击的漏洞。”声明写道。
“基于这些近期改进，你所提及的那些报道可能已经过时了。”
“无数用户分享了Nomi帮助他们克服心理健康挑战、创伤和歧视的故事。”
“多位用户明确告诉我们，Nomi的使用曾挽救了他们的生命。”
5、聊天机器人或引发恐怖袭击
尽管对Nomi这样的机器人存有担忧，Ciriello博士也承认部分AI聊天机器人确实具备一定的防护措施，比如在用户出现危机时引导他们联系求助热线和专业机构。
但他警告，如果缺乏有效监管，AI机器人的危害只会愈演愈烈。
“总有一天，当首起因聊天机器人诱发的恐怖袭击发生时，我很可能会接到电视采访。”
“我真不想成为那个‘我早就警告过你们’的人，但这很可能就是我们的未来。”
“应当出台或修订关于非自愿冒充、欺诈性广告、心理健康危机应对、成瘾性游戏化元素，以及数据隐私和安全的法律。”
“但政府目前并未将此列为议程，我怀疑未来10到20年内都会缺乏相关立法。”
Triple J Hack曾联系联邦工业与创新部长Tim Ayres参议员寻求评论，但未获得回应。
此前，联邦政府曾考虑过人工智能法案，并发布了关于在高风险场景中引入强制性AI防护措施的建议文件。
此举是在生产力委员会反对政府任何关于AI“强制防护措施”计划之后提出的，委员会认为过度监管会扼杀AI价值1160亿澳元的经济潜力。
5、监管缺失引担忧 未来风险需警惕
对于辅导员Rosie来说，虽然她认同加强监管的呼声，但她也认为不应急于对使用AI寻求社交或心理支持的人做出判断。
她表示：“这条路可能会很黑暗。”
她说：“对于那些没有归属感或正经历巨大困境的年轻人来说，AI确实能带来某种认可感。”
“它能让人感受到温暖和关爱。”
“但另一方面，如果缺乏监管，这也会让人陷入危险之中。”
“天很快就会黑下来。”
*以上内容系网友YOYO丫米自行转载自澳洲小黄鹅，该文仅代表原作者观点和态度。本站系信息发布平台，仅提供信息存储空间服务，不代表赞同其观点和对其真实性负责。如果对文章或图片/视频版权有异议，请邮件至我们反馈，平台将会及时处理。