torch-pipeline-parallelism | 技能详情 | OpenClaw Study

有关实现 PyTorch 管道并行以进行分布式模型训练的指导。当任务涉及实现管道并行、在 GPU/rank 间进行模型分区的分布式训练、AFAB(All-Forward-All-Backward)调度,或使用 torch.distributed 的跨 rank 张量通信时,应使用此技能。

有关实现 PyTorch 管道并行以进行分布式模型训练的指导。当任务涉及实现管道并行、在 GPU/rank 间进行模型分区的分布式训练、AFAB(All-Forward-All-Backward)调度,或使用 torch.distributed 的跨 rank 张量通信时,应使用此技能。

本页属于 OpenClaw Skills 学习体系,覆盖技能安装、分类导航与实战链接。

English 繁體中文 日本語 Español Português