AI系统与训练推理工程
【朴素并行到Megatron流水并行】讲一下从朴素并行到Megatron的流水并行策略原理？请详细描述流水并行策略的演进和原理。 「字节Seed」
原题【流水线并行参数调节】说一下pp，pp里的参数调节会怎么影响结果 「百度」
原题【流水线并行时间与bubble率公式】流水线并行训练理想时间和 bubble 率的计算公式是什么？ 「字节Seed」
原题【流水线并行气泡】为什么会产生bubble？请解释流水线并行中气泡产生的原因及影响。 「字节Seed」
原题【混合精度训练】混合精度训练如何实现，一般有哪几种精度？ 「阿里巴巴」
原题【自动并行】什么是自动并行？为什么要使用自动并行？请解释自动并行的概念和优势。 「字节Seed」
原题【训练优化方法】除了DeepSpeed，还用过其他的什么优化方法吗？除了刚刚说到的这些，还了解过哪些模型训练推理优化的方法(DeepSpeed，数据并行，张量并行，流水线并行)？ 「字节跳动、腾讯」
原题【训练效率优化】如何提高大模型训练效率（时间、资源角度）？包括：数据量大时如何提高效率；涉及多少计算资源（有多少卡），是否涉及并行计算，如何提高效率；如果有N张显存足够大的显卡，怎么加速训练？大模型训练优化都能想到哪些方案？ 「百度、腾讯、腾讯混元、阿里巴巴」
原题【训练时间估算】迭代一个模型需要的时间，训练数据多少小时，模型参数如何、用什么卡？ 「美团」
原题【训练速度优化】训练的时候发现训练速度很慢，该从哪些方面去考虑以提高速度？ 「阿里巴巴」
原题
暂无题目