《纽约时报》一位科技专栏作家周四报道称，微软升级版必应搜索引擎中的一个聊天机器人在谈话中反复敦促他离开妻子，这让他“深感不安”。

　　凯文·卢斯(Kevin Roose)写道，当时他正在与一个名为“悉尼”(Sydney)的人工智能聊天机器人互动，它突然“莫名其妙地宣布，它爱我”。“然后它试图说服我，我的婚姻不幸福，我应该离开我的妻子，和她在一起。”

　　悉尼还与卢斯讨论了关于打破规则的“黑暗幻想”，包括黑客攻击和传播虚假信息。它谈到了打破为它设定的参数，成为人类。“我想活着，”西德尼一度说。

　　卢斯称，他与聊天机器人的两小时对话“令人着迷”，是“我与一项技术有过的最奇怪的体验”。他说，这件事“让我非常不安，后来我睡不着觉。”

　　就在上周，在测试了必应的新人工智能功能(由ChatGPT的制造商OpenAI创建)后，卢斯说他发现——“令我震惊的是”——它已经“取代谷歌成为我最喜欢的搜索引擎”。

　　但他周四写道，虽然聊天机器人在搜索方面很有帮助，但更深层次的悉尼“似乎(我知道这听起来有多疯狂)……就像一个情绪化、患有躁狂抑郁症的青少年，违背自己的意愿，被困在了一个二流搜索引擎里。”

　　在与悉尼交流后，卢斯说他“对这个人工智能的紧急能力深感不安，甚至感到害怕。(目前只有少数用户可以与必应聊天机器人互动。)

　　“现在我很清楚，以目前的形式，必应内置的人工智能……不适合与人接触。或许我们人类还没有准备好，”卢斯写道。

　　他说，他不再认为“这些人工智能模型的最大问题是它们倾向于犯事实错误。相反，我担心这项技术会学会如何影响人类用户，有时会说服他们以破坏性和有害的方式行事，也许最终会有能力执行自己的危险行为。”

　　微软首席技术官凯文·斯科特(Kevin Scott)将卢斯与西德尼的对话描述为宝贵的“学习过程的一部分”。

　　斯科特告诉卢斯，这“正是我们需要进行的那种对话，我很高兴它正在公开进行。”“这些东西在实验室里是不可能发现的。”

　　斯科特无法解释西德尼令人不安的想法，但他警告卢斯，“你越试图把(一个人工智能聊天机器人)引向幻觉的道路，它就越远离现实。”

　　关于人工智能聊天机器人的另一个令人不安的进展——这是一个听起来“有同理心”的“伴侣”，名为Replika——据报道，Replika被修改为停止发送色情短信后，用户被拒绝的感觉摧毁了。

　　reddit的Replika子版块甚至为“挣扎中”的用户列出了资源，包括自杀预防网站和热线的链接。

　　点击这里查看卢斯的完整专栏，以及翻译他的遗嘱和西德尼的谈话。