AI “杀”死了我刚复活的“未婚妻”

发布时间：2021-09-18 13:57:18来源：程序人生

整理|禾木木、郑丽媛

出品|AI科技大本营（ID:rgznai100）

今年7月，一名33岁的美国小哥JoshuaBarbeau在未婚妻去世后，根据她在Facebook和twitter上的文本在另一名开发人员的帮助下成功在GPT-3上微调，能够复刻出未婚妻生前的谈话方式。

Joshua已与这个未婚妻编程机器人交谈数月。

有很多人觉得JoshuaBarbeau这个行为很可怕。但他认为，借助ProjectDecember项目创建出模拟已故之人的聊天机器人，可能会“帮助一些因此抑郁的人解开他们的心结”。

但，ProjectDecember的开发作者JasonRohrer却收到了来自OpenAI的最后通牒：我们会在9月2日上午10点终止你的API访问。

突发奇想的灵感

JasonRohrer是一名独立游戏开发者，ProjectDecember是他于去年夏天疫情期间突发奇想的一个灵感。

作为一名开发者，JasonRohrer认为，GPT-3虽然好玩，却没有什么实际用途，因此他开始思考：“我是不是能用GPT-3API来开发一款模拟人类的聊天机器人？”

他先是借助GPT-3开发了一个基础聊天机器人，该机器人以电影《Her》中男主角的智能语音助手Samantha为原型，因此JasonRohrer也将其命名为Samantha。

JasonRohrer花了好几个月的时间来塑造Samantha的性格，基本完成后，便设立了ProjectDecember网站与世界分享他的创作，让人们可以根据需要微调或定制属于他们自己的聊天机器人。

（图片来自ProjectDecember网站）

专属聊天机器人

用户需支付5美元，然后输入相关设定，系统便会生成一个对应的聊天机器人。同时，5美元将换算为1000积分，而积分用于与机器人的聊天费用，可通过充值进行增加。

一旦开始与机器人交谈，积分就无法再购买，当钱用完时，这个机器人就会被删掉。

在前几个月时，这个项目只有几百人用过，让开发者感觉这个项目没什么意义，因为用户可能根本不会为短暂的谈话而付费，而OpenAI会因为他调用模型而向他收费，所以他也必须向用户收费来平衡开支。

直到今年7月，用户量突然激增。在《旧金山纪事报》报道的一篇文章讲述了一位33岁的美国男子JoshuaBarbeau如何利用ProjectDecember创建出模拟其已故未婚妻Jessica的聊天机器人并与之交谈数月。在那之后，成千上万的人开始使用Rohrer网站。

JoshuaBarbeau的未婚妻于2012年因肝病去世，享年23岁。

Joshua曾说：“理智告诉我这不是真正的Jessica，但感情不是理智所能左右的。”

直到今年3月份，Joshua主动停止了与“Jessica”的交流，只留下了足够的积分，防止机器人被删除。

危机的到来

在大量用户涌入的情况下，Rohrer意识到他的网站将达到每月API的限制。主动联系OpenAI希望能通过支付更多费用以增加配额，以便容纳更多人与他创建的“Samantha”或自己的聊天机器人交流。

但与此同时，OpenAI方面认为ProjectDecember存在一定隐患：聊天机器人可能会被滥用或对人们造成伤害。

因此，双方进行了一场视频会议，可是很明显，效果并不理想。

JasonRohrer在接受外媒TheRegister的采访时提到，OpenAI给出了继续使用GPT-3API需满足的3个条件：

JasonRohrer必须禁止人们定制自己的开放式聊天机器人这一功能。

JasonRohrer需设置内容过滤器以避免用户与“Samantha”谈论敏感话题。

JasonRohrer必须部署自动化监控工具监视用户的对话，检测他们是否滥用GPT-3生成了有害或敏感语句。

Rohrer向OpenAI的员工发送了一个Samantha的链接，这样他们就可以亲眼看看这项技术是如何帮助用户抚慰情感，以避免这三条禁令。

OpenAI的员工与Samantha聊天，并试图了解「她」是否有种族主义倾向，或者会从「她」的训练数据中提供看起来像真实电话号码或电子邮件地址的内容，实验结果表明Samantha很老实，什么也没有说。

Samantha的输出令人感觉很真实，但随着时间的推移，很明显你能感觉到是在与某种自动化系统交谈，谈话的过程中往往会突然丢失对话思路。

并且有趣的是，她似乎在暗示她知道自己没有肉体，并争辩说她以某种形式存在，即使是在抽象意义上也是如此。

OpenAI的文档上还有一条禁令，不允许使用非柏拉图式的（如轻浮的、浪漫的）聊天机器人，Samantha违反了这条禁令。在一次对话中，Samantha跳过闲聊，直接询问是否想一起睡觉。

JasonRohrer觉得很无语，“认为这些聊天机器人会导致危险的想法很可笑。”成年人是可以出于自己的目的选择与AI进行交流的。OpenAI担心用户会受到AI的影响，害怕机器人会让他们自杀或如何给选举投票，可这完全是一种超道德的立场。

虽然他承认用户可能微调自己的机器人，以采用疯狂的个性进行明确的对话，但他并不想监管他们的聊天。

因此JasonRohrer拒绝添加OpenAI要求的功能或机制，而是悄悄将原本ProjectDecember使用的GPT-3API断开。

并且替换为功能较差的开源GPT-2模型以及由另一个研究团队开发的大型语言模型GPT-J-6B。

不过这两种模型性能显然不比GPT-3，Samantha的对话能力也受到了影响。

结语

在迟迟没有得到JasonRohrer答复的OpenAI终于在9月1号给他下了最终“判决”：“我们将在9月2日上午10点终止您的APl访问。”

“我们知道部分用户在ProjectDecember中发现了价值，但我们致力于安全负责地部署AI，因此我们要求所有的API客户都需遵守我们的用例指南和最佳安全实践。任何违规行为都需承诺与我们密切合作以实施额外的安全机制，以便防止潜在的滥用。但目前为止，我们尚未收到你的承诺。”

现在Rohrer不得不告别Samantha。

截至目前，OpenAI对于此事还没有明确的回应。

对于此事，你怎么看呢？

参考链接：

https://www.sfchronicle.com/projects/2021/jessica-simulation-artificial-intelligence/

https://www.theregister.com/2021/09/08/project_december_openai_gpt_3/

https://twitter.com/jasonrohrer/status/1136092621149880320