真面经，好答案。面试之前，先来面栈。

大模型手写代码题

题集来源：Chaofa Yuan（bbruceyuan）收录项目：AI-Interview-Code查看原题集

题目目录

14 道原题

  1. 手写 Self-Attention

    原题
    关联题目手写 Self-Attention。模型基础与推理 / Transformer 与注意力代码题进阶0篇相关面经

  2. 手写 Multi-Head Self-Attention

    原题
    关联题目手写 Multi-Head Attention。已有答案模型基础与推理 / Transformer 与注意力代码题进阶2篇相关面经

  3. 手写 Group-Query Attention

    原题
    关联题目手写 Grouped-Query Attention（GQA）。模型基础与推理 / Transformer 与注意力代码题进阶0篇相关面经

  4. 手写 Transformer Decoder（Causal Language Model, LM）

    原题
    关联题目手写用于因果语言建模的 Transformer Decoder。模型基础与推理 / Transformer 与注意力代码题进阶0篇相关面经

  5. 计算 LLM (Decoder) 模型的参数量

    原题
    关联题目Transformer 的 Attention 与 MLP 参数量如何分布，哪些条件决定占比？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经

  6. LLM 模型训练推理显存占用预估

    原题
    关联题目模型训练的显存由哪些部分占用？模型训练与对齐 / 分布式训练与计算硬件原理机制进阶1篇相关面经关联题目4B 模型推理时的显存占用是多少，如何估算？模型训练与对齐 / 分布式训练与计算硬件方案设计进阶1篇相关面经

  7. 手写 AUC

    原题
    关联题目手写 AUC 的计算。AI 应用工程与治理 / 评测体系与实验设计代码题进阶0篇相关面经

  8. 手写 KMeans

    原题
    关联题目手写 K-Means 聚类算法。模型基础与推理 / 机器学习与推荐系统代码题进阶0篇相关面经

  9. 手写 线性回归

    原题
    关联题目手写线性回归。模型基础与推理 / 机器学习与推荐系统代码题进阶0篇相关面经

  10. 手写 BPE 分词器

    原题
    关联题目用 Python 从零实现 BPE 的训练与编码。模型基础与推理 / Tokenizer 与位置编码代码题进阶0篇相关面经

  11. 手写 LayerNorm

    原题
    关联题目用 PyTorch 从零实现 LayerNorm。模型基础与推理 / 模型架构与表示代码题进阶0篇相关面经

  12. 手写 BatchNorm

    原题
    关联题目手写 BatchNorm。模型基础与推理 / 模型架构与表示代码题进阶0篇相关面经

  13. 手写 Softmax

    原题
    关联题目实现 Softmax。模型基础与推理 / 模型架构与表示代码题基础1篇相关面经

  14. 手写 LoRA

    原题
    关联题目用 Python 和 PyTorch 实现 LoRA 低秩适配器。模型训练与对齐 / 参数高效微调代码题深入0篇相关面经
共 14 道原题 · 已全部显示按页浏览