无人驾驶汽车，私人助理，清洁机器人，智能家居-这些只是自动驾驶系统的一些示例。

在已经使用或正在开发许多此类系统的情况下，一个关键问题涉及信任。我的中心论点是，拥有可信赖的，运作良好的系统是不够的。为了获得信任，自主系统的设计还需要考虑其他要求，包括在发生问题时能够解释决策并拥有追索权的能力。

做好工作还不够

在过去的几年中，自治系统的部署取得了巨大的进步。这些本质上是决策并根据决策采取行动的软件系统，具有现实世界的后果。示例包括物理系统，例如自动驾驶汽车和机器人，以及纯软件应用程序，例如个人助理。

但是，仅设计功能良好的自治系统是不够的。我们还需要考虑人们需要哪些其他功能来信任此类系统。

例如，考虑一个私人助理。假设个人助理运作良好。即使它无法解释其决定，您是否会信任它?

为了使系统值得信赖，我们需要确定信任的关键前提。然后，我们需要确保系统设计为包含这些功能。

是什么让我们信任?

理想情况下，我们将通过实验来回答这个问题。我们可以问人们是否愿意信任一个自治系统。我们可以探索这如何取决于各种因素。例如，提供有关系统行为的保证重要吗?提供解释很重要吗?

假设系统做出的决定对于正确行事至关重要，例如，自动驾驶汽车可以避免发生事故。在信任做出这样重要决定的系统时，我们在多大程度上谨慎?

这些实验尚未进行。因此，下面讨论的前提条件是有根据的猜测。

请解释

首先，系统应该能够解释为什么做出某些决定。如果系统的行为可能不明显，但仍然正确，则说明特别重要。