AI系统与训练推理工程
【异步训练陈旧性】full async staleness？fully async训练会带来什么问题? 「字节跳动、阿里巴巴」
原题【弹性容错与自动重启】弹性容错和自动重启机制。 「腾讯混元」
原题【微调超大模型资源利用】在微调超大参数模型时，如何高效利用计算资源? 「蚂蚁集团」
原题【故障恢复】AI工作负载的故障恢复策略，训练作业中途失败如何快速恢复？ 「腾讯」
原题【梯度分片与环式通信实现】手写实现：在多GPU环境下，使用梯度分片与环式通信优化传输效率。 「字节跳动」
原题【模型并行/张量并行/流水线并行对比与选型】请对比“模型并行”“张量并行”“流水线并行”三种显存优化方案的技术原理，以及在单节点多卡、多节点多卡场景下的选型逻辑。 「腾讯」
原题【流水线并行与气泡】PP bubble怎么优化？介绍Pipeline Parallelism (PP) 的原理，以及如何解决气泡问题？并给出气泡（bubble）的计算公式。 「字节Seed、阿里通义」
原题【策略迁移】调研用模型和目标模型在参数量、Dense/MoE结构、训练阶段不同时，策略迁移需要注意什么？ 「字节跳动」
原题来源未说明要迁移的具体策略与训练阶段。
【算力预算分配】如果给定一个固定训练算力预算，如何在“模型参数量、训练 token 数、训练步数”之间做第一次分配? 「字节跳动」
原题【联邦学习】请解释一下联邦学习在音视频隐私保护中的应用？ 「字节跳动」
原题
暂无题目