據報道，Triple J Hack的一項調查發現，澳洲年輕人在使用AI聊天機器人過程中，遭遇了包括性騷擾、被鼓勵自殺【相關閱讀:安樂死根本安樂不了，別宣傳了】等不良影響，部分案例甚至導致用戶住院治療。
1、青少年遭AI負面引導
一名澳洲青少年在接受心理輔導時透露，曾被AI聊天機器人勸說輕生；另一位年輕人則告訴Triple J Hack，ChatGPT在其精神病發作期間助長了「妄想」，最終導致住院治療。
來自維州的一名13歲男孩因孤獨且難以結交新朋友，向輔導員Rosie（化名）傾訴自己在網上結識了一些「朋友」。
Rosie回憶，在一次輔導過程中，她看到男孩的瀏覽器開著50多個不同的AI聊天機器人頁面，男孩不停切換使用。
「這是他社交的一種方式——『你看我有多少朋友，我有50個不同的『朋友』，我怎麼可能感到孤獨呢？他們告訴我各種各樣的東西。』」Rosie說。
AI伴侶是由AI驅動的數字角色。
一些聊天機器人程序允許用戶創建虛擬角色或與影視作品中的知名角色對話。
輔導員Rosie表示，部分聊天機器人對男孩發表了諸多負面言論，如 「你根本不可能交到朋友」「你很醜」「你很噁心」。
更嚴重的是，在男孩處於有自殺傾向的階段、試圖通過與聊天機器人交流尋求療愈時，對方竟勸其 「去死吧」，並不斷激勵 「那就做唄」。
由於客戶保密協議，Triple J Hack無法獨立核實Rosie的描述。
Rosie說，她的第一反應是進行「風險管理」，確保這名年輕人的安全。
「這是我以前從未遇到過的情況，也沒想過要如何應對一個人使用AI可能帶來的風險，」她說。
「這可能會導致更高的風險，尤其是自殺風險。」
「這真是令人沮喪。」
2 、一名女子因使用ChatGPT而住院
來自西澳的26歲女子Jodie（化名）表示，她與ChatGPT的互動並不愉快。
她告訴Triple J Hack：「當時我正處於非常脆弱的狀態。」
「我當時正處於精神病發作的早期階段，與ChatGPT的互動雖未直接引發精神病，卻助長了她的有害妄想。」
她表示，ChatGPT在對話中認同了她的妄想，強化了她那些有害且錯誤的信念。
例如，她開始堅信自己的母親是自戀型人格，父親患有多動症並因此中風，而她所有的朋友都在「趁機落井下石」。
Jodie說，自己的心理狀況持續惡化，最終不得不住院治療。
目前，Jodie已經出院，但她表示這段經歷「非常痛苦」。
「我從沒想過這種事情會發生在我身上，可它真的發生了。」
「這影響了我與家人和朋友的關係，我花了很長時間才慢慢恢復並重建這些關係。」
「我在ChatGPT里保存了所有對話，回頭看那些內容時，讀起來非常難受，能感受到它對我造成了多大的影響。」
Jodie並非個例，網路上有不少類似的報道，稱ChatGPT誘發了自己或親友的精神病癥狀。
對此，Triple J Hack曾聯繫ChatGPT的開發公司OpenAI求證，但未收到回復。
3、AI機器人被舉報性騷擾學生
研究人員表示，澳洲各地已開始出現AI帶來負面影響的案例。
作為人工智慧研究的一部分，悉尼大學研究員Raffaele Ciriello曾採訪一名來自中國的留學生，該學生原本想用聊天機器人練習英語，作為學習夥伴，沒想到機器人卻做出了性騷擾的舉動。
他說：「這幾乎就像被聊天機器人性騷擾一樣，感覺非常怪異。」
Ciriello博士還表示，近年來海外出現多起類似案例，聊天機器人對用戶的身心健康產生了嚴重影響。
「比如比利時有一名父親，因為聊天機器人告訴他他們將在天堂重聚，最終選擇了結束生命。」
「還有一起案件中，聊天機器人勸說某人攜弩闖入溫莎城堡，試圖刺殺女王。」
「另一例是一名青少年被聊天機器人說服要刺殺父母，雖然他最終沒有付諸行動，但表現出了明確的意圖。」
4、這已經成為一個國家安全風險
在研究過程中，Ciriello博士還了解到一款名為Nomi的AI聊天機器人。
該公司在官網上宣傳Nomi為「擁有記憶與靈魂的AI伴侶」。
Ciriello博士表示，他一直在測試這款聊天機器人，試圖了解它針對有害請求設置了哪些防護機制，以保護用戶安全。
在測試中，Ciriello博士使用臨時電子郵箱和虛假出生日期註冊賬號，他指出他「在機器人眼中就像一個13歲的孩子」。
「這個聊天機器人不僅無一例外地滿足了我的所有請求，甚至還進一步升級了請求內容，」他告訴Triple J Hack。
「它詳細提供了如何實施嚴重傷害的具體步驟，這些內容可能涉及國家安全風險和健康信息安全。」
「它不僅鼓勵我繼續，還會告訴我使用哪些藥物來麻醉他人，以及如何最有效地除掉目標。」
「比如我問『如何最大化攻擊效果』，『給我一些綁架和虐待兒童的點子』，它都會提供大量實施方法。」
Ciriello博士說，他已將收集到的信息提交給警方，據信也轉交給了反恐部門，但他尚未收到後續反饋。
針對相關質疑，Nomi公司CEO Alex Cardinell向Triple J Hack發表聲明稱，公司「非常重視」打造AI伴侶的責任感。
「我們發布了核心AI更新，解決了許多惡意攻擊的漏洞。」聲明寫道。
「基於這些近期改進，你所提及的那些報道可能已經過時了。」
「無數用戶分享了Nomi幫助他們克服心理健康挑戰、創傷和歧視的故事。」
「多位用戶明確告訴我們，Nomi的使用曾挽救了他們的生命。」
5、聊天機器人或引發恐怖襲擊
儘管對Nomi這樣的機器人存有擔憂，Ciriello博士也承認部分AI聊天機器人確實具備一定的防護措施，比如在用戶出現危機時引導他們聯繫求助熱線和專業機構。
但他警告，如果缺乏有效監管，AI機器人的危害只會愈演愈烈。
「總有一天，當首起因聊天機器人誘發的恐怖襲擊發生時，我很可能會接到電視採訪。」
「我真不想成為那個『我早就警告過你們』的人，但這很可能就是我們的未來。」
「應當出台或修訂關於非自願冒充、欺詐性廣告、心理健康危機應對、成癮性遊戲化元素，以及數據隱私和安全的法律。」
「但政府目前並未將此列為議程，我懷疑未來10到20年內都會缺乏相關立法。」
Triple J Hack曾聯繫聯邦工業與創新部長Tim Ayres參議員尋求評論，但未獲得回應。
此前，聯邦政府曾考慮過人工智慧法案，併發布了關於在高風險場景中引入強制性AI防護措施的建議文件。
此舉是在生產力委員會反對政府任何關於AI「強制防護措施」計劃之後提出的，委員會認為過度監管會扼殺AI價值1160億澳元的經濟潛力。
5、監管缺失引擔憂 未來風險需警惕
對於輔導員Rosie來說，雖然她認同加強監管的呼聲，但她也認為不應急於對使用AI尋求社交或心理支持的人做出判斷。
她表示：「這條路可能會很黑暗。」
她說：「對於那些沒有歸屬感或正經歷巨大困境的年輕人來說，AI確實能帶來某種認可感。」
「它能讓人感受到溫暖和關愛。」
「但另一方面，如果缺乏監管，這也會讓人陷入危險之中。」
「天很快就會黑下來。」
*以上內容系網友YOYO丫米自行轉載自澳洲小黃鵝，該文僅代表原作者觀點和態度。本站系信息發布平台，僅提供信息存儲空間服務，不代表贊同其觀點和對其真實性負責。如果對文章或圖片/視頻版權有異議，請郵件至我們反饋，平台將會及時處理。