Matt Reynolds 近期在 New Scientist 网站上发表了一篇名为“Robots will be more useful if they are made to lack confidence”的文章。文章介绍了最近的一项实验，科学家把 AI 赋予充分的自信之后，AI 会认为自己做的才是对的，进而会阻止人类关掉自己。让我们看看文中怎么说吧。
相信自己的能力通常是一件好事，只要你意识到什么时候需要寻求帮助。当我们想设计更智能的软件时，我们应该将这种想法同样地赋于机器上。最近，我们进行了一项探索机器人对自己用处的感知的实验，或许可以帮助指导未来人工智能的发展。
加利福尼亚大学伯利克分校的 Dylan Hadfield-Menell教授认为，过度自信会导致各种各样的问题。以Facebook新闻推送的算法为例，这种算法的目的是推送给人们他们想要看到的和想要分享的文章。然而毫无疑问，这种方法最终会发展为制造虚假新闻来满足人们的胃口。
对于Hadfield-Menell和他的同事来说，解决问题的答案，是使自动操作系统能够寻求并接受人类的监督。“如果Facebook事先想到这方面，我们可能不会为虚假新闻的事情烦恼。”
一个不能确定其能力的算法将更倾向于遵从人类的判断，而不是将它们所认为的所有用户想看的文章都推送给他们。
机器人开关实验
伯里克团队为了探索计算机的“自信”，设计了一个人与机器之间相互作用的数学模型，称之为“开关游戏”。
在这个理论游戏中，人们给予一个有着开关按钮的机器人一定的任务。而一个人可以随意愿自由的按下机器人的关闭按钮，但是机器人可以选择禁用其开关，使这个人无法关闭。
当机器人被设定为高度“自信”模式时，它们认为它们所做的都是有用的，这会使得它们永远也不会让人们把它关掉，因为它们试图最高效的完成任务。相反，一个被设置为低度自信的机器人常常会让人们关掉它们，即使它们做得很好。
然而， Hadfield-Menell 并不认为我们应该让自动操作系统没有安全保障。例如，如果一个自动驾驶的汽车正载着一个孩子去学校，那么这辆汽车永远也不应该让孩子去控制它。在这种情况下，自动操作系统应该相信自己的能力是超过这个孩子的，并且，无论什么时候，它都不应该允许孩子关掉它的开关。
Hadfield-Menell 认为，“最安全的机器应该在两种极端之间取得平衡”。
至关重要的框架结构
来自牛津大学的Marta Kwiatkowska认为，那些拒绝让人类关闭的自动操作系统听起来可能有些牵强，但是这样的考虑应该是制造在人们身边工作的这类机器人时所必须具备的。
她同样认为，在建造无人驾驶汽车、消防机器人时，都要求为人类的安全考虑，因此，对于这些伦理框架的决策宜早不宜迟。
Hadfield-Menell认为，关闭开关的游戏只是个开始。他计划探索当机器人获得更多有关自身能力的信息时，其决策机制是如何变化的。例如，一个咖啡制作机器可能会觉得它的工作在早晨是更有用的。
最终，他希望他的研究可以使自动操作系统更容易预测，并且能够做出人类更容易理解的决定。“如果你将一台机器人投放到真实世界里去，你会想要了解它在做什么。”
