实现跨设备分块与环形 KV 传递的 Ring Attention。

知识专题：分布式训练与计算硬件题目类型：代码题技术难度：深入

收录题集：1 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

1 份

大模型手写代码练习路线

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- Ring Attention· 困难 🔴 困难 — 序列并行，多设备分布式注意力计算