分布式训练与资源题集来源：Firefly（wdndev）收录项目：llm_interview_note查看原题集 题目目录33 道原题隐藏关联题目排序默认排序面经最多01大模型大概有多大，模型文件有多大?原题 关联题目如何根据参数量与存储精度估算大模型权重文件大小？模型训练与对齐 / 分布式训练与计算硬件方案设计基础0篇相关面经02能否用4 * v100 32G训练vicuna 65b？原题 关联题目显存受限时如何选择模型训练方案？模型训练与对齐 / 分布式训练与计算硬件方案设计进阶2篇相关面经03如何评估你的显卡利用率?原题 关联题目如何测量 GPU 训练利用效率与实际 FLOP/s？模型训练与对齐 / 分布式训练与计算硬件效果评估进阶0篇相关面经04如何查看多机训练时的网速？原题 关联题目如何监测多机训练时的服务器网络收发速率？软件工程基础 / 操作系统与 Linux操作实践基础0篇相关面经05如何查看服务器上的多卡之间的NVLINK topo？原题 关联题目如何查看并理解服务器中多 GPU 的 NVLink 互联拓扑？模型训练与对齐 / 分布式训练与计算硬件操作实践基础0篇相关面经06如何查看服务器上显卡的具体型号?原题 关联题目如何查询服务器 GPU 的具体型号与设备信息？模型训练与对齐 / 分布式训练与计算硬件操作实践基础0篇相关面经07如何查看训练时的 flops？（也就是每秒的计算量）原题 关联题目如何测量 GPU 训练利用效率与实际 FLOP/s？模型训练与对齐 / 分布式训练与计算硬件效果评估进阶0篇相关面经08如何查看对 deepspeed 的环境配置是否正确？原题 关联题目如何检查 DeepSpeed 运行环境是否配置正确？模型训练与对齐 / 训练框架、调参与排障操作实践基础0篇相关面经09TF32 格式有多长？原题 关联题目TF32 的数值表示与位宽是什么？模型训练与对齐 / 分布式训练与计算硬件概念解释基础0篇相关面经10训练 大语言模型 存在问题？原题 关联题目训练百亿至千亿参数大模型时，会面临哪些主要工程和算法挑战？模型训练与对齐 / 分布式训练与计算硬件系统设计深入0篇相关面经暂无题目共 33 道原题 · 显示 1–10 道展开全部33题上一页12341 / 4下一页