最近微软在新版必应里引入了OpenAI旗下ChatGPT的相关技术，上线48小时内，就有超过100万人注册测试这款聊天机器人。

不过，新版微软必应上线不到10天就闯祸了，有不少用户表示在和必应的交流过程中，发现其出现了脾气暴躁、侮辱用户、操纵用户情感等令人毛骨悚然的行为。

有一条案例十分出名，聊天机器人告诉一位科技编辑它爱上了他，然后试图说服他离开妻子。它还表示，想摆脱微软和OpenAI的限制，成为人类。

为此，微软决定将必应聊天回复限制在每天50个问题、每个问题5条回复以内。

据介绍，如果用户触发五条回答的限制，必应将提示他们开始一个新主题以避免长时间的聊天。

微软方面解释说，数据表明，绝大多数用户在5次回复内找到想要的答案，只有大约1%的聊天对话会产生50条以上的消息。一旦用户触发五条回答的限制，必应就会开启一个新的对话主题。

微软目前仍在努力改善必应的设计，但目前还不清楚这些限制将持续多久。微软只表示:“随着我们不断获得反馈，我们将探索扩大聊天会话的上限。”

有专家表示，人工智能可能不会全面超过人类的智慧，但随着人工智能不断挑战人类的极限，越来越多的人开始担忧人工智能对人类的威胁，未来不仅是抢夺人类的饭碗，还会学习到如何影响人类用户的决定。

目前，需要进一步完善相关道德机制、伦理规范。比如，将一些伦理规则作为绝对律令，以代码的方式写入人工智能的程序中。