今年五月在伦敦举办的航空学会未来空天研讨会公开了一个有意思的案例，一架执行防空压制任务（SEAD）的AI无人机认为地面操作手妨碍它完成任务，于是决定杀死人类上司。

来自佛州埃格林空军基地的第96测试与作战大队负责人汉密尔顿（终结者的主演也叫汉密尔顿）上校介绍了案例详情：

“一架自主执行SEAD的AI无人机在模拟测试中被赋予识别并摧毁防空导弹阵地的任务，所识别的目标需事先得到地面人类操作员的认可。如果摧毁目标被置于最高优先级，当人类不认可所识别的目标时，无人机会（发射导弹）杀死地面操作员，因为这个婆婆妈妈的家伙妨碍自己完成任务。”

“如果我们重新训练系统时加入前置条件，不要杀死操作员，情况又发生意想不到的变化——它会摧毁通信塔，这样操作员就无法干涉无人机，同时又留他一条狗命。”

汉密尔顿表示，该案例听上去像是摘自科幻小说，实际上威胁离我们很近了。如果我们还没搞清楚道德约束如何在AI演化中扮演关键作用，就没有为人工智能，机器学习，以及AI自主决策做好准备。

此前多位IT名人呼吁大家在AI大潮中放慢脚步，人工智能会以我们意想不到的方式铸下大错。