马库斯：新必应比ChatGPT更狂野，微软是故意的还是不小心？

自从新必应开启大范围内测后，网友发现，相比内敛的ChatGPT，新必应的回答实在是太狂野了，比如宣布一段不必要的爱情、鼓励人们离婚、敲诈用户、教人们如何犯罪等等。

可以说微软是保留了一部分语言模型的「胡言乱语」的能力，这样你才知道你用的不是ChatGPT，而是新必应。

到底是微软的RLHF没做到位，还是精彩的互联网语料让ChatGPT迷失了自我？

最近，著名AI学者、Robust.AI的创始人兼 CEO 、纽约大学的名誉教授Gary Marcus又发表了一篇博客，分析了必应发狂的几个可能性，并表示放任不管，可能会对AI界的发展产生极其严重的后续影响。

普林斯顿大学教授 Arvind Narayanan 提出了四个关于Bing为什么如此「狂野」的可能性。

在推文中，Narayanan教授认为OpenAI 在过滤 ChatGPT 的有毒输出方面做得不错，但看起来Bing似乎移除了这些保护措施，非常令人困惑。

他认为微软这么做并不只是为了搞笑，这么着急发布新必应肯定还有其他原因。

可能性1：新必应就是GPT-4

新必应表现出的行为与 ChatGPT 可以说是相当不同了，看起来不可能是基于相同的底层模型。也许 LLM 只是最近才完成训练（即GPT-4？）。如果是这样的话，微软很可能选择（很不明智地）决定迅速推出新模型，而没有选择延迟发布，经受进一步的RLHF训练。

马库斯在之前的文章《ChatGPT的黑暗内心》中也表示，在大型语言模型中潜藏着许多令人感到不适的内容，也许微软没有采取任何措施来过滤有毒内容。

博客链接：https://garymarcus.substack.com/p/inside-the-heart-of-chatgpts-darkness

可能性2：假阳性太多

微软可能确实为Bing打造了一个过滤器，但是实际使用中预测了太多的假阳性（false positives）样本。对于ChatGPT来说，这个问题无关痛痒，但在搜索场景下，就会严重影响用户体验。

也就是说，过滤器太烦人了，所以在真正的搜索引擎里不能用。

可能性3：为了获取用户反馈

Bing有可能故意关闭了过滤器的限制，以获得更多关于可能出错的用户反馈。微软在早些时候提出了一个奇怪的声明，认为不可能在实验室中完成测试。

可能性4：微软也没想到会这样

有可能微软认为基于prompt工程打造的过滤器已经够用了，并且是真的没有预料到新必应出错的方式发展到了今天这种地步。

马库斯表示基本认同Narayanan教授的看法，不过他认为也许微软并没有移除保护措施，可能就是「单纯地没作用」，这也是第五种可能性。

即，也许微软确实试图将他们现有的、已经训练过的 RLHF 模型置于GPT 3.6之上，但这种做法并不奏效。

强化学习是出了名的挑剔，稍微改变一下环境，就可能没用了。

DeepMind 著名的 DQN 强化学习在雅达利游戏中创造了记录，然后只是加入一些小的改动，比如在 Breakout 游戏中将桨只是向上移动了几个像素，模型就崩溃了，也许每一次大型语言模型的更新都需要对强化学习模块进行全面的重新训练。

这是一个非常糟糕的消息，不仅在人力和经济成本方面（意味着需要更多的低薪人员做糟糕的工作），而且在可信度方面，也将意味着无法保证任何新的大型语言模型的迭代是安全的。

这种情况尤其可怕，主要有两个原因：

1. 大公司可以在任何时候自由推出新的更新，无需发布任何警告信息；

2. 发布新模型时可能需要一遍又一遍地在公众身上进行测试，而事先并不知道在公众上进行实证测试的效果如何。

类比医学领域发布新药，公众要求在新药发布之前在实验室内进行充分的测试，换到大型语言模型的发布，特别是如果数十亿人可能使用到，且可能存在严重的风险（例如扰乱用户的心理健康和婚姻状况）的情况下，我们也不应该让他们直接公开测试，

政策上，公众有权（或严格来说应该坚持）知道模型存在什么问题。

比如必应披露问题后，就可以制定政策，防止类似事件再次发生。而目前，人工智能基本上处于狂野发展的阶段，任何人都可以发布一个聊天机器人。

国会需要弄清楚发生了什么，并开始设置一些限制，特别是在情感或身体上很容易造成伤害的地方。

新闻业里，媒体也让人很失望。

Kevin Roose在最初的报告中表示，他对必应感到「惊叹」（awed），这让马库斯感到尤为不安，很显然，在《纽约时报》(The New York Times)上过早地宣传，没有深入挖掘潜在的问题，这并不是一件好事。

除此之外，再补充一点，已经到了2023年，微软的保护措施是否足够？有被彻底研究过吗？

请不要说，你除了对新系统感到「惊叹」以外，没有任何感受。

最后，Narayanan教授认为我们正处于人工智能和公民社会的关键时刻，如果不采取措施，过去五年多在「发布负责任的人工智能」（responsible AI release）上的实践努力将被抹杀。