因果推理与因果表达学习

文章图片

图 12. 因果推理的两大技术流派：以 Judea Pearl 为首的结构因果模型和以 Donald Rubin 为首的潜在结果框架 。
结合知识与推理的表达学习 ， 推动着视觉理解从下层感知逐渐往上层认知过渡 ， 极大地促进了模式识别与人工智能学界的发展 。 然而要通往认知智能的终点 ， 单纯依赖知识与表达学习仍然远远不够 。 一方面 ， 现存的绝大部分深度学习技术无法避免的一个问题就是主要关注关联而忽略因果 ， 因此其训练的模型在鲁棒性和解释性方面都会出现很多问题 。 另一方面 ， 高维度视觉大数据的复杂性往往导致其模型训练难以避免各种混淆因子的影响 ， 导致最后学习到的表征与知识蕴含难以预测的数据偏误 。 于是 ， 相关研究工作开始考虑在视觉理解过程中去介入＂反思＂的机制 ， 其本质就是试图将因果推理的思想融入到表达学习中 ， 达到真正的＂知其然 ， 亦知其所以然＂的目的 。
因果发现与推理
有关＂因果＂两字的定义往往可以追溯到上古各个哲学流派的讨论 ， 而近代的多个学科也有独立提出其见解的一系列研究 。 在统计学习与人工智能领域中 ， 比较广为人知的有两个技术派系 。 第一个派系以 Jerzy Neyman 教授和 Donald Rubin 教授各自独立提出的潜在结果框架（Potential Outcome Framework）[12]为主要分析工具 ， 基于不同的随机对照实验组作为研究对象 ， 考察其条件个体受试作用（Conditional Individual Treatment Effect）作为判别不同变量之间是否存在因果关系的主要依据 。 而第二个派系则以 2010 年的图灵奖得主 Judea Pearl 教授为首 ， 提倡从三个层次的因果阶梯出发去理解世事万物变量之间的因果关系 [13] 。 其阶梯的第一层＂关联＂ ， 指的是事物变量同时发生的联合概率 ， 也正是目前深度学习能够解释的深层的变量统计关系 。 Reichenbach 教授[14] 明确指出统计相关性所蕴含的信息是严格小于因果关系的 ， 因此要得到更深层次的因果关系信息我们必须把因果理解上升到第二层次的＂干预＂ ， 即对这个世界的我们感兴趣的事物做某种改变 ， 那么有各种的可能性 ， 而不同的改变会有不同的结果 ， 从而让其反馈而获取更多信息 。 最后 ， 由于现实世界并不允许我们能够进行任意的交互和改变 ， 一个典型的例子是在固定某个时间变量下 ， 我们往往只能做出一次干预和观察 。 因此 ， 我们需要把因果关系的理解上升到第三层的＂反事实＂ ， 也就是对于每一次干预的发生 ， 我们都能借助类似人类＂反思＂的过程 ， 去比较其干预和不干预下的结果差异 。 基于对因果关系的深刻理解 ， Judea Pearl 教授进一步提出了因果图模型（Causal Diagram）和 Do 算子（Do-operator）作为其研究因果关系的理论框架和实现因果推理的工具 。 在其著作《为什么》一书中 ， 他阐明了潜在结果框架和因果图模型之间的共通性 ， 证明了真理纵使表现形式不同 ， 其结论总是殊途同归的道理 。
因果表达学习

文章图片

图 13. Joshua Bengio 教授对因果推理和表达学习的新理解 。
值得注意的是 ， 纵使因果推理已有广泛的算法研究 ， 要让其与深度学习模型结合指导复杂的视觉理解任务 ， 依然存在不少挑战 。 一方面是该类算法假设的因果图往往是固定的 ， 而且复杂度也比较低 ， 另一方面则是其因果假设与推理的变量单元也经常是低维度变量 ， 蕴含的信息量很少 。 但是 ， 真实世界的推理单元往往是具有丰富语义信息的高维度变量（如物体） ， 观测结果最初往往并未对推理进行结构化 。 有鉴于此 ， 图灵奖得主 ， 深度学习研究领域的泰斗 Joshua Bengio 教授在最近的研究中提出了他对深度学习和因果关系的独到见解[15] 。 他认为深度学习拟合的是一个单一的数据分布 ， 其本意就是只有一个观测世界 ， 而一般的深度学习则是去拟合该世界的唯一分布 。 但由于我们的世界是动态变化而且分裂通向多元未来的 ， 这意味着现有的深度学习实际上是在过拟合我们的观测世界 ， 而对未来的改变却显得无能为力 。 因此 ， Bengio 教授进一步提出了＂因果表示学习＂的概念 ， 试图从数据中学习到这些变量表达以及建立结构关系 ， 同时去学习 ， 拟合不同世界 ， 不同可能下的分布情况 。 这过程当中就会对应到因果理解中的干预和思 ， 从而与不同的下游任务构建起关系 。 Bengio 教授的＂因果表示学习＂概念深深地影响了最近的计算机视觉领域的一些研究 ， 如弱监督语义分割 ， 视觉对话 ， 零样本学习等（见图 14） 。