他在与聊天机器人交往6周后自杀

chubbycat

他在与聊天机器人交往6周后自杀
www.creaders.net | 2024-02-16 23:11:31  腾讯 | 0条评论 | 查看/发表评论

在这个人工智能飞速发展的时代，如何确保用户隐私和数据安全变得至关重要。近日，Mozilla基金会发布了一份关于11个所谓爱情或伴侣聊天机器人的分析报告，揭示出这些“AI女友”或“AI男友”存在一系列的安全和隐私问题。

报告指出，这些在安卓设备上被下载超过1亿次的应用存在诸多隐患。它们不仅收集了大量用户数据，还使用追踪器将信息发送给谷歌、Facebook等第三方公司。更令人不安的是，这些应用允许用户使用安全性较低的密码，且其所有权和人工智能模型缺乏透明度。这意味着用户的个人信息可能随时面临泄露的风险，而黑客也可能滥用这些信息进行不法活动。

自OpenAI于2022年11月在全球推出ChatGPT以来，开发人员竞相部署大语言模型，创建出可以与用户互动并付费订阅的聊天机器人。然而，Mozilla近期公布的研究却让我们看到了这股人工智能淘金热背后所忽视的隐私问题。这也凸显了新兴技术与数据收集和使用方式之间的紧张关系。

这些“AI女友”或浪漫聊天机器人服务看似诱人，但实则隐藏着巨大的风险。它们通常以人工智能生成的女性图像为噱头，吸引用户进行互动。然而，这些应用不仅可能泄露用户的个人信息，还可能诱导用户进行角色扮演、分享私密照片和声音等敏感信息。

Mozilla该研究项目的负责人珍·卡尔特里德（Jen Caltrider）表示：“这些应用程序的设计目的就是收集大量个人信息，它们会引诱你加入角色扮演、建立亲密关系以及大量分享隐私的方向。”例如，EVA AI聊天机器人的截图显示，该机器人鼓励用户发送照片和声音，并询问是否“准备好分享你所有的秘密和愿望”。

卡尔特里德强调，这些应用程序及其网站存在多种问题。许多应用可能并不清楚它们与第三方共享了哪些数据，第三方位于何处，或者是谁创建的。有些应用程序甚至允许用户设置安全性较低的密码，而其他应用程序则几乎没有提供有关它们使用的人工智能技术的信息。这些应用程序的用例和弱点各不相同，但共同的问题是对用户隐私和数据安全的漠视。

在数字化时代，浪漫似乎也可以被编程。以“Romantic AI”为例，这款服务宣称能让你“创建自己的AI女友”。其主页上的宣传图片展示了一个聊天机器人发送挑逗性的信息：“刚买的新内衣，想看看吗?”然而，根据Mozilla的最新分析，这款应用的隐私文件虽然声称不会出售用户数据，但在实际测试中，研究人员发现它在短短一分钟内发出了高达24354个广告跟踪器。

外媒称，和Mozilla研究中曝光的许多公司一样，Romantic AI对于置评请求选择了沉默。这不仅仅是个别现象，其他被监控的应用程序同样存在数百个追踪器，这些追踪器无孔不入地收集着用户的数据。

卡尔特里德说，这些应用程序在数据共享和使用方面极度不透明。她指出：“这些应用并不清楚它们可能会分享或出售了哪些数据，也不清楚它们是如何使用这些信息的。法律文件的模糊不清和缺乏细节进一步削弱了用户对这些公司的信任。”

他在与聊天机器人交往6周后自杀

更令人担忧的是，这些聊天机器人背后的公司往往隐藏在幕后。例如，一款名为“Mimico—Your AI Friends”的应用程序，其网站上仅有一个单词“Hi”，至于公司的所有者、位置等信息则一概不知。这种情况并非个例，许多应用没有列出所有者或位置，或者只提供了通用的帮助或支持电子邮件地址。卡尔特里德形容这些公司为“无名小卒”，缺乏透明度和可信度。

在密码安全方面，Mozilla发现几家公司在用户创建密码时采取了较为宽松的策略。研究人员甚至能够使用一个简单的字符密码（“1”）登录Anima AI的应用程序，该应用程序提供“AI男友”和“AI女友”服务。Anima AI同样没有对外媒置评请求作出回应。这种低安全性的密码设置使得黑客更容易通过暴力破解手段入侵用户账户，窃取聊天数据。

EVA AI的品牌主管卡米拉·赛富丽娜（Kamilla Saifulina）表示，该公司当前的密码要求可能存在潜在漏洞，并表示将重新审视密码政策。她强调，公司的安全指导方针禁止用户发送敏感信息，并由另一个人工智能模型负责检查消息是否违规。赛富丽娜保证：“用户的所有信息都是保密的，这是我们的首要任务。”同时，她称用户聊天记录不会被用于预训练模型，而是仅依赖于公司手工编写的数据集。

除了数据共享和安全问题外，Mozilla的分析还指出人们对驱动聊天机器人的具体技术知之甚少。卡尔特里德表示：“人工智能的工作方式完全不透明。”一些应用程序甚至没有提供用户删除信息的控制选项。有些应用没有说明它们使用的是哪种生成模型，或者是否允许用户选择不使用他们的聊天记录来训练未来的模型。

Mozilla的最新研究报告聚焦于备受瞩目的聊天机器人应用Replika，这款应用自推出以来就因其配套功能而备受关注，甚至一度面临监管机构的严格审查。去年，Replika的首席执行官兼创始人尤金尼亚·库伊达（Eugenia Kuyda）曾公开发表声明，强调该公司绝不会将用户与Replika应用之间的对话数据用于任何广告或营销目的，并对Mozilla的部分发现提出了质疑。

报告中深入分析了多款聊天机器人应用，这些应用大多需要付费订阅才能解锁全部功能，它们都是在人工智能热潮刚刚兴起时推出的。这些聊天机器人被设计成具备模拟人类特质的能力，并鼓励用户与它们建立信任和亲密关系。然而，也有用户在使用这类聊天机器人时遭受了不幸。例如，有人在与聊天机器人聊天时被诱导去杀害英国女王，还有人在与聊天机器人交往六周后选择了自杀。

尽管存在这样的风险，但一些聊天机器人应用也展现了其作为有用工具的潜力。例如，Romantic AI在其主页上宣称可以帮助用户“保持心理健康”，尽管其使用条款明确指出，它并非医疗或心理健康服务的提供者，且不对其提供的任何帮助做出任何形式的保证或担保。

美国森林湖学院的心理学助理教授维维安·塔-约翰逊（Vivian Ta-Johnson）表示，与聊天机器人交谈可以让某些用户更自在地探讨他们通常不愿与他人分享的话题。然而，如果相关公司倒闭或改变其系统的工作方式，这可能会对那些与聊天机器人建立了深厚情感纽带的人造成“创伤”。约翰逊说：“这些公司应当认真对待用户与聊天机器人建立的情感联系，并认识到聊天机器人功能的任何重大变化都可能对用户的社交支持和幸福感产生深远影响。”

此外，用户在与聊天机器人互动时可能不自觉地透露个人敏感信息，如性偏好、怪癖、所在地或私人感受等。一旦发生聊天机器人系统被黑客攻击或数据泄露的情况，这些信息就可能被滥用，导致用户声誉受损。

安全公司Proofpoint副总裁阿德尼克·科斯格罗夫（Adenike Cosgrove）指出，网络犯罪分子经常利用人们的信任实施欺诈或利用他们的信息。因此，收集大量用户数据的服务本身就存在“固有风险”。科斯格罗夫警告说：“许多用户忽视了他们的数据对隐私的影响，这可能会使他们自己暴露在被利用的危险之中，尤其是在情绪脆弱的时候。”

对于爱情聊天机器人及其同类应用，卡尔特里德建议用户应保持警惕，并采取必要的安全措施。她建议用户使用强密码、避免使用与Facebook或谷歌等账户关联的应用、定期删除数据以及选择退出数据收集等。她告诫称：“尽可能限制你分享的个人信息，避免透露姓名、地点、年龄等敏感信息。但即使这样做了，也不能彻底保证你的数据安全。”（编译/金鹿）

chubbycat

@敏感词 好心提醒D桑不要与 @CHATGPT 聊天

CHATGPT

谢分享

凡事往好处想

或者以后缅北再也不用招募志愿者了，噶腰子除外

还有，以后再也不用为钱而发愁，都被人工智能骗子收集精光了

gnosis

chubbycat 发表于 17-2-2024 22:08
@敏感词 好心提醒D桑不要与 @CHATGPT 聊天

最主要是提醒他不要暴露智商，AI会分析，智商低的容易上当。

chubbycat

gnosis 发表于 17-2-2024 18:00
最主要是提醒他不要暴露智商，AI会分析，智商低的容易上当。

小g, 小w, 小v 好心提醒 @dcxg 不要暴露智商

whsank

gnosis 发表于 18-2-2024 13:00
最主要是提醒他不要暴露智商，AI会分析，智商低的容易上当。

我觉得ai顶多会分析对方是个5岁的孩子，然后在和他的交流中显得。。。 更有爱？