PyTorch 2.1 正式发布，带来自动动态 Shape 支持和分布式训练增强

最新版本的 PyTorch 带来了自动动态 shape 支持和分布式训练增强。PyTorch 2.1 在最近举行的 PyTorch 2023 大会 上正式发布，新版本引入了 ExecuTorch ，用于提升 PyTorch 在移动和边缘设备上的性能。此外，主题演讲还公布了 PyTorch 基金会的新成员以及 11 月份的 Docathon 活动。

"torch.compile() 在许多 PyG 模型上表现出色。总体而言，我们看到了几乎 300% 的运行时改进。" 

—— Matthias Fey（PyG 开发者）

PyTorch 2.1 的一个显著特性是 torch.compile 中的自动动态 shape 支持，可以在模型架构中使用动态输入形状。该功能打破了固定输入形状的限制，提供了更大的灵活性。

在分布式训练方面，通过 torch.distributed.checkpoint 引入了增强功能，可以在多个排名之间并行保存和加载训练任务来提高分布式训练效率。这一功能对于管理长时间运行的训练任务和确保更顺畅的训练流程来说至关重要。

PyTorch 2.1 还增加了对在 torch.compile 中调用 NumPy API 的支持，增强了 PyTorch 和 NumPy 之间的互操作性。这一集成有助于在各种设备上执行 NumPy 代码，使代码生成更高效。新版本还带来了性能方面的改进，包括 CPU 引导程序增强、AVX512 支持以及缩放点积注意机制的增强实现。此外，还引入了 torch.export 的原型版本，提供了一种捕获完整图的机制，启用基于 torch.export 的量化来减小模型大小，以及提升边缘设备和移动平台的推理速度。

引入 ExecuTorch 标志着 PyTorch 在移动和边缘设备上改进性能的重要进展。ExecuTorch 的一个显著特性是 Lightweight Operator Registry，是为管理各种 PyTorch 模型量身定制的。它简化了 Operator 的处理，而 Operator 是 PyTorch 模型确保最佳运行时性能的核心构建块。

新版本引入了在目标设备上分析和优化模型性能的设备模型分析功能。这种实时分析对于识别性能瓶颈并通过调整模型来提高效率和降低延迟来说至关重要，特别在各个领域的实时应用中，如增强现实、虚拟现实和物联网。

我们很高兴成为 PyTorch 基金会的创始成员，并期待与人工智能领域的其他领袖紧密合作来一起发展这个令人惊叹的创新社区。

——谷歌

PyTorch 基金会欢迎 华为 和 Lightning AI 成为新的首席成员。华为的加入旨在优化 PyTorch 以发挥其 Ascend 计算平台的潜力，该平台以其在人工智能应用中的强大计算性能而闻名。

Lightning AI 是 PyTorch Lightning 的开发商，这是 PyTorch 的一个轻量级封装器，已经在代码结构化和可重用方面发挥了关键作用，简化了研究人员和开发人员的工作。Lightning AI 加入 PyTorch 基金会重在加强 PyTorch 生态系统的发展。

PyTorch 社区组织了一个 Docathon，计划于 2023 年 11 月举行。这一举措旨在完善和扩展框架的文档，确保文档保持最新和对用户友好。希望更多地参与 PyTorch 2.1 的开发者们可以观看 PyTorch YouTube 频道 上的大会视频，或者查看 活动日程 以获取一些演讲者的信息。

原文链接：

https://www.infoq.com/news/2023/10/pytorch21-at-pytorch-con-2023/

声明：本文为 InfoQ 翻译，未经许可禁止转载。