理论基础面试题
训练一个7B模型要占用多少显存？不同ZeRO阶段能节省多少显存？
原题DeepSpeed ZeRO Stage 1-3的区别是什么？什么时候用FSDP会更好？
原题vLLM框架是怎么做推理加速的？
原题如果量化后模型理解能力下降怎么办？怎么做精度补偿？
原题QLoRA是怎么降低资源成本的？NF4和FP16这组组合为什么有效？
原题如何估算 LLaMA-7B 模型推理时的显存占用？
原题Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？
原题bf16 和 float16 的区别？各占多少位？训练中如何选择？
原题Transformer为什么用 LayerNorm 而不是 BatchNorm？
原题LLM训练的时候为什么需要warmup？
原题
暂无题目