人类的信任往往基于我们对其他人如何思考的理解 ， 以及对这些思考可靠性的经验了解 。 这有助于创造一种心理安全感 。 而AI对于大多数人来说仍然是相当新颖和陌生的 。 它使用复杂的分析系统进行决策 ， 以识别潜在的隐藏模式和来自大量数据的微弱信号 。
即使可以在技术上解释 ， AI的决策过程对于大多数人来说通常都是难以理解的 。 更何况目前的人工智能发展,是在朝着不可理解的方向加速前进 。 同自己不明白的事情互动会引起焦虑 ， 并使我们感觉我们失去了控制 。
芯片制造商英伟达推出的自动驾驶汽车 ， 看上去与其他自动驾驶汽车没什么不同 。
但它实际上迥异于谷歌、特斯拉或通用汽车所展示的任何东西 ， 而是显示了人工智能的崛起 。 英伟达的汽车并不遵循工程师或程序员提供的任何一条指令 。 相反 ， 它完全依靠一种算法 ， 这种算法通过观察人类的行为而学会了自己驾驶 。
让一辆车以这种方式行驶是一项令人印象深刻的壮举 。 但它也有点令人不安 ， 因为并不完全清楚汽车的决定是如何做出的 。 来自车辆传感器的信息直接进入一个巨大的人工神经元网络 ， 该网络处理数据 ， 然后提供操作方向盘、刹车和其他系统所需的命令 。 其结果似乎与你所期望的人类司机的反应一致 。
但是 ， 如果有一天它做出一些出乎意料的事情——比如撞上了一棵树 ， 或者在绿灯前停止不动呢？按照现在的情况 ， 可能很难找出它这样做的原因 。 该系统是如此复杂 ， 甚至设计它的工程师也难以分离出任何单一行为的原因 。 而且你也不能向它提问：没有办法来设计一个系统 ， 使它总是能够解释为什么它做那些事 。
除非我们找到方法 ， 让深度学习等技术对其创造者更容易理解 ， 对用户更负责任 。 否则 ， 将很难预测何时可能出现失败——而失败是不可避免的 。
麻省理工学院研究机器学习应用的教授托米·贾科拉说：“这是一个已经凸显意义的问题 ， 而且在未来它将变得更有意义 。 无论是投资决策、医疗决策 ， 还是可能的军事决策 ， 你都不希望仅仅依靠‘黑盒子’方法 。 ”
所以 ， 理解 ， 还是不理解 ， 绝非可以轻易得出结论 ， 因为我们投入的赌注太太了 。
正如人类行为的许多方面也无法详细解释一样 ， 也许人工智能也不可能解释它所做的一切 。 或许这就是智力性质的一个特点：它只有一部分被暴露在理性解释之下 。 而另外一些是本能的 ， 或潜意识的 ， 或不可捉摸的 。
如果是这样 ， 那么在某个阶段 ， 我们可能不得不简单地相信人工智能的判断（这是温伯格所主张的） ， 或者干脆不使用人工智能 。 相信或者不使用 ， 这种判断将不得不纳入社会智能 。
正如社会建立在预期行为的契约之上 ， 我们将需要设计和使用人工智能系统来尊重和适应我们的社会规范 。 如果我们要创造机器人坦克和其他杀人机器 ， 重要的是它们的决策必须与我们的道德判断相一致 。
哲学家丹尼尔·丹尼特对可解释性持很审慎的态度 。 他说：“如果我们要使用这些机器并依赖它们 ， 那么让我们尽可能坚定地掌握它们是如何和为什么给我们答案的 。 但是 ， 由于可能没有完美的答案 ， 我们应该对人工智能的解释持谨慎态度 ， 就像人类对彼此的解释一样——无论机器看起来多么聪明 。 而如果它不能比我们更好地解释它在做什么 ， 那么就不要相信它 。 ”
我的看法是 ， 要想达至人工智能诱人的前景 ， 至少需要完成三件事情：第一 ， 打开黑盒子 ， 让AI能够解释自己所做的事情；第二 ， 发现和减轻训练数据及算法中的偏见；第三 ， 为人工智能系统赋予伦理价值 。