有关实现 PyTorch 管道并行以进行分布式模型训练的指导。当任务涉及实现管道并行、在 GPU/rank 间进行模型分区的分布式训练、AFAB(All-Forward-All-Backward)调度,或使用 torch.distributed 的跨 rank 张量通信时,应使用此技能。
有关实现 PyTorch 管道并行以进行分布式模型训练的指导。当任务涉及实现管道并行、在 GPU/rank 间进行模型分区的分布式训练、AFAB(All-Forward-All-Backward)调度,或使用 torch.distributed 的跨 rank 张量通信时,应使用此技能。
本页属于 OpenClaw Skills 学习体系,覆盖技能安装、分类导航与实战链接。