编程实战面试题

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

手撕 Self-Attention 机制
原题
关联题目手写 Self-Attention。模型基础与推理 / Transformer 与注意力代码题进阶0篇相关面经
实现 BPE Tokenizer
原题
关联题目用 Python 从零实现 BPE 的训练与编码。模型基础与推理 / Tokenizer 与位置编码代码题进阶0篇相关面经
实现 Top-K/Top-P 采样
原题
关联题目用 Python 实现 Top-K 和 Top-P 采样。模型基础与推理 / 推理与解码代码题进阶0篇相关面经
实现 Multi-Head Attention
原题
关联题目手写 Multi-Head Attention。已有答案模型基础与推理 / Transformer 与注意力代码题进阶2篇相关面经
实现 ROPE 位置编码
原题
关联题目手写 RoPE 旋转位置编码。模型基础与推理 / Tokenizer 与位置编码代码题深入0篇相关面经
手撕 ReAct Agent
原题
关联题目用 Python 实现支持工具调用的 ReAct Agent。Agent 原理与系统 / Agent 基础与运行循环代码题深入0篇相关面经
实现 Tool Registry 工具注册系统
原题
关联题目用 Python 实现工具注册、查询和调用系统。Agent 原理与系统 / 工具调用与 Function Calling代码题进阶0篇相关面经
实现 Memory 系统（短期+长期记忆）
原题
关联题目用 Python 实现短期对话历史与长期向量记忆。Agent 原理与系统 / 记忆系统代码题深入0篇相关面经
实现 Chain-of-Thought Prompting
原题
关联题目用 Python 实现 Chain-of-Thought 提示调用。AI 应用工程与治理 / Prompt 与结构化输出代码题基础0篇相关面经
实现 Self-Reflection 自我反思机制
原题
关联题目用 Python 实现 Agent 的自我评估与修正机制。Agent 原理与系统 / 规划、推理与任务执行代码题深入0篇相关面经
实现文档切块策略（Chunking）
原题
关联题目用 Python 实现固定大小、重叠和语义文档切块。RAG 与知识系统 / 文档切分与元数据代码题进阶0篇相关面经
实现混合检索（BM25 + 向量检索）
原题
关联题目用 Python 实现 BM25 与向量检索的混合召回。RAG 与知识系统 / 混合检索与重排序代码题进阶0篇相关面经
实现 Reranker 重排序模块
原题
关联题目用 Python 实现基于交叉编码器的 Reranker。RAG 与知识系统 / 混合检索与重排序代码题进阶0篇相关面经
实现 Semantic Cache 语义缓存
原题
关联题目用 Python 实现基于语义相似度的查询缓存。AI 应用工程与治理 / AI 应用架构与接口代码题进阶0篇相关面经
实现 HyDE（假设性文档嵌入）
原题
关联题目用 Python 实现 HyDE 检索流程。RAG 与知识系统 / 查询理解与改写代码题进阶0篇相关面经
实现 KV Cache
原题
关联题目用 Python 和 PyTorch 实现自回归生成的 KV Cache。模型基础与推理 / 推理优化与模型压缩代码题深入0篇相关面经
实现 Beam Search 解码
原题
关联题目用 Python 实现支持长度惩罚的 Beam Search。模型基础与推理 / 推理与解码代码题进阶0篇相关面经
实现 LoRA 微调
原题
关联题目用 Python 和 PyTorch 实现 LoRA 低秩适配器。模型训练与对齐 / 参数高效微调代码题深入0篇相关面经
实现 BLEU/ROUGE 评估指标
原题
关联题目用 Python 从零计算 BLEU-N 和 ROUGE-L。AI 应用工程与治理 / 评测体系与实验设计代码题进阶0篇相关面经
实现 LLM-as-a-Judge 评估框架
原题
关联题目用 Python 实现 LLM-as-a-Judge 评估框架。AI 应用工程与治理 / 评测体系与实验设计代码题进阶0篇相关面经
实现 Agent 任务成功率统计
原题
关联题目用 Python 统计 Agent 任务成功率、平均步数和 Token 消耗。AI 应用工程与治理 / 评测体系与实验设计代码题基础0篇相关面经
实现一个完整的 Mini RAG 系统
原题
关联题目用 Python 实现支持流式输出的 Mini RAG 系统。RAG 与知识系统 / RAG 架构与生成链路代码题深入0篇相关面经
实现一个支持工具调用的 Agent
原题
关联题目用 Python 实现支持工具调用的 ReAct Agent。Agent 原理与系统 / Agent 基础与运行循环代码题深入0篇相关面经
手撕自注意力机制（用PyTorch）
原题
关联题目手写 Self-Attention。模型基础与推理 / Transformer 与注意力代码题进阶0篇相关面经
手撕自注意力机制（不用PyTorch）
原题
关联题目手写 Self-Attention。模型基础与推理 / Transformer 与注意力代码题进阶0篇相关面经
手撕多头注意力机制（用PyTorch）
原题
关联题目手写 Multi-Head Attention。已有答案模型基础与推理 / Transformer 与注意力代码题进阶2篇相关面经
手撕多头注意力机制（不用PyTorch）
原题
关联题目手写 Multi-Head Attention。已有答案模型基础与推理 / Transformer 与注意力代码题进阶2篇相关面经
手撕MQA（Multi-Query Attention）
原题
关联题目手写支持掩码和 KV Cache 的 Multi-Query Attention。模型基础与推理 / Transformer 与注意力代码题深入0篇相关面经
手撕绝对位置编码
原题
关联题目手写 Transformer 的正弦余弦绝对位置编码。模型基础与推理 / Tokenizer 与位置编码代码题进阶0篇相关面经
手撕RoPE（旋转位置编码）
原题
关联题目手写 RoPE 旋转位置编码。模型基础与推理 / Tokenizer 与位置编码代码题深入0篇相关面经
手撕Transformer中FFN代码
原题
关联题目用 PyTorch 实现 Transformer 的逐位置 FFN。模型基础与推理 / Transformer 与注意力代码题进阶0篇相关面经
手撕Layer Norm
原题
关联题目用 PyTorch 从零实现 LayerNorm。模型基础与推理 / 模型架构与表示代码题进阶0篇相关面经
手撕RMSNorm
原题
关联题目用 PyTorch 从零实现 RMSNorm。模型基础与推理 / 模型架构与表示代码题进阶0篇相关面经
手撕FlashAttention（简化版）
原题
关联题目用分块与在线 Softmax 实现简化版 FlashAttention 前向计算。模型基础与推理 / 推理优化与模型压缩代码题深入0篇相关面经