文章图片
上述结果与下图 5 一致 ，表明 PATHWAYS 的吞吐量与主机数量呈线性缩放关系 。 增加 pipeline 阶段的数量会提高最小开销 ， 当阶段数量从 4 增加到 16 时 ， 吞吐量从 133.7k tokens / 秒减少到 131.4k tokens / 秒 。 谷歌将 pipelined 模型的性能与使用 SPMD 的等效模型进行了比较 ， 并观察到至少在这种情况下 ， pipeline 的性能与 SPMD 相当 ， 这是因为 SPMD 计算内部聚合通信产生的开销比 pipeline 泡沫（bubble）开销更高 。
文章图片
特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。