训练、数据与模型优化：从数据清洗到 LoRA
预训练数据清洗方法？
原题自动标注系统的主要难点是什么？如何设计模型预标注、置信度分流和人工复核闭环？
原题构造数据集遇到过什么难点，怎么解决？
原题SFT 数据字段如何映射？instruction 与 input 重叠时如何定义清洗和拼接契约？
原题训练数据标注粒度应该越细越好还是按任务适配？如何权衡成本、信息量和泛化？
原题Agent 工具调用怎么训练？训练集该包含什么？数据怎么来？
原题DPO、PPO、GRPO 的区别和优缺点？
原题微调方法有哪些？LoRA 和全参数微调的区别？怎么选？
原题给定时间序列，如何用 ML 筛选特征，再基于规则建模？
原题XGBoost 相比单棵决策树，在目标函数、正则和集成机制上做了什么改进？
原题kernel 级别的优化，比如用 CUTE DSL 或手写 CUDA 做 fusion？
原题手撕 Multi-Head Attention
原题常用解决过拟合的方法？
原题位置编码的作用是什么？
原题LayerNorm 和 BatchNorm 的区别？应用场景？
原题绝对位置编码和相对位置编码的区别？应用场景有什么不同？
原题大模型推理加速技术有哪些？
原题多模态是怎么实现的？图片怎么编码？消耗很大怎么缩减 token 使用？
原题有没有了解过端侧部署的模型？
原题OCR、多模态模型、YOLO 与 ONNX 分别处于任务、模型和运行时哪个层次？如何组合？
原题你了解哪些多模态大模型？各自的特点？
原题Transformer 中梯度消失/爆炸是怎么解决的？
原题在 Agent 多轮对话任务中，标准 Attention 机制的平方复杂度在工程落地上主要引发了哪些问题？
原题Token 过长导致的 Attention 稀释现象为什么会导致 Agent 的指令遵循能力下降？
原题SFT、蒸馏、GRPO 的技术选型——什么时候用什么？
原题GRPO 的 Loss 函数、Advantages 计算与信用分配机制
原题vLLM 的 PagedAttention 原理是什么？解决了什么问题？
原题DP、DDP、TP、PP——分布式训练并行策略的区别与选型？
原题设计一个训练集构建方案——500 条样本覆盖 200+ 查询模式，如何设计数据生产流？
原题GQA 和 MLA 的原理是什么？各自解决什么问题？
原题什么是灾难性遗忘？微调时如何缓解？
原题Token 和字符有什么区别？
原题BF16 与 FP32 精度差异及训练推理选型？
原题MoE 架构下为什么参数量大但单 Token 推理成本不一定高？
原题模型推理慢，排查思路是什么？
原题QLoRA 的核心设计思想是什么？和标准 LoRA 有什么区别？
原题垂直领域指令微调后，模型通用能力出现退化，怎么解决？
原题Agent 在细分场景（比如法律、医疗）落地时，微调策略和通用场景有什么不同？
原题超长上下文是怎么实现的？（如 Kimi 这类模型）
原题为什么要通过微调模型来做代码生成？为什么不用纯 Prompt 或 Spec Coding？
原题外部模型参数更大，14B 在 Agent 层面会不会不够？
原题对 Rerank 模型进行了蒸馏，蒸馏的数据是什么样的？训练数据大概有多少条？
原题BERT 和 GPT 架构的区别是什么？
原题为什么现在的大模型都是 Decoder-only 架构？
原题如果训练一个 AI Coding Agent，是端到端训练还是分阶段训练？
原题客服 Agent 的奖励函数有 Reward Hacking、稀疏、区分度太大（只有完全正确和错误）三个问题，请设计新的 reward 解决至少两个。
原题多轮 Agent 的 RL reward 怎么设计？Turn 级信用分配怎么做？
原题多轮对话 Agent 没有现成对话数据，如何从 UI 操作流合成 SFT 训练语料？
原题Transformer 的整体架构、核心模块与实现流程是什么？
原题训练后量化的完整流程是什么？粒度、校准方法和离群值如何共同影响精度？
原题GPTQ、AWQ、SmoothQuant 与 AdaQuant 的核心思路有什么不同？
原题原题未将 AdaQuant 绑定到具体论文或库。
为什么 Step-level SFT 之后再进行 GRPO，通常比直接从基座模型开始做 GRPO 稳定？
原题预训练与 SFT 在数据、目标函数、计算形态和基础设施上有什么区别？
原题LoRA 应该挂在哪些层？rank、alpha 和 dropout 如何共同影响效果？
原题Transformer 自注意力机制的原理、计算过程与作用是什么？
原题GRPO 中相对奖励是如何计算的？同一组奖励方差接近零时如何处理？
原题Agent 交互轨迹与普通语言模型语料有什么区别？如何仿真高质量轨迹？
原题Agentic CPT、SFT、RL 三阶段分别训练什么能力？
原题Agentic RL 与普通 LLM RL 的核心差异是什么？
原题长时序任务中的 Agent RL 为什么容易训练失稳？如何缓解？
原题DAPO 为什么可以不使用额外 KL 惩罚？它如何维持策略更新稳定？
原题SFT 训练数据如何获取、构造与清洗？
原题Tool-use 强化学习中的内容奖励应如何设计？
原题KV Cache Block 的哈希和逻辑到物理映射应该怎么设计？
原题Agentic RL 数据筛选为什么会排除部分学生错误轨迹？哪些可恢复错误反而值得保留？
原题Tool-use SFT 训练时，长轨迹采用截断、切分还是掩码？如何避免破坏工具依赖关系？
原题Tool-use 轨迹长度与任务复杂度有什么关系？训练数据应如何分布？
原题多工具调用存在依赖关系时，Reward 应如何做信用分配？
原题训练实验如何对 YAML 配置做规范化哈希，并保证单变量变化可复现？
原题如何训练模型做高精度抽取式摘要？数据、目标、Loss 和评测如何设计？
原题LSTM 的核心设计原理是什么？
原题业界通常如何处理长视频理解？
原题GRPO 训练如何优化并提升稳定性？
原题Agentic CFT 与 SFT、RL 的目标有何不同？为什么训练时要 Mask Observation Token？
原题原题未说明 Agentic CFT 的缩写全称。
如何处理训练数据中的类别不平衡？
原题决策任务的 label 如何定义？预测任务如何设计监督信号？
原题为什么选择 AC 自动机、TextCNN、FastText 和 TinyBERT，而不是更深的模型？
原题OCR 系统的主要技术难点有哪些？如何分别解决？
原题OPD（On-Policy Distillation）是什么？与强化学习有什么关系，对教师模型有什么要求？
原题VLA 和 ViT 的原理分别是什么？二者在视觉语言动作模型中的关系是什么？
原题大模型温度参数的作用是什么？实际使用时如何选择？
原题Prompt Engineering 与模型微调如何结合以提升模型能力？
原题大模型架构近年来有哪些主要演进方向？各类结构变化解决了什么问题？
原题训练大模型时最困难的环节是什么？如何识别数据、优化和工程瓶颈？
原题监督学习、无监督学习与强化学习分别以什么作为训练信号？
原题多轮对话 RL 如何设计过程奖励与终局奖励，并避免用户模拟器过拟合？
原题为什么 SFT 后继续做 DPO/PPO 等偏好优化可能导致基础能力退化？
原题Agent 动作空间过大导致探索低效时，如何裁剪和分层？
原题TTS 音频如何被离散化为 Token，语义与音色信息如何取舍？
原题LLaMA-Factory 和 TRL 等 SFT / RL 工具如何对比和选型？
原题自研自动驾驶方法与 UniAD 的主要区别应如何比较？
原题原题未给出自研自动驾驶方法的细节或所比较的 UniAD 版本。
如何把“减速多少”映射为是否碰撞的风险？
原题LightGBM 和 XGBoost 有什么区别，如何选型？
原题树模型需要哪些特征工程？缺失值、初始化、默认值和分桶怎么处理？
原题连续特征离散化有什么作用和代价？
原题机器学习、LSTM 和大语言模型之间是什么关系？
原题使用大模型生成标签时，会遇到哪些问题？
原题交叉熵损失的数学形式和含义是什么？
原题若真实标签分布为 P、预测分布为 Q，KL 散度如何表示？
原题图召回主要解决什么问题？如何划分负责环节？
原题为什么用图召回，而不是用户—物品行为模型、矩阵分解或双塔模型？
原题为什么在排序链路中同时使用 LightGBM 和 LambdaRank？
原题静态分和动态分在推荐链路中分别起什么作用？
原题模型剪枝有哪些方法，如何评估是否值得？
原题序列较稀疏时，建模如何处理稀疏性？
原题视频没有语音时，视觉与多模态分析如何降级？
原题一条 VideoSegment 数据结构应保存哪些内容？
原题持续学习有哪些方法，如何避免旧能力退化？
原题Qwen-VL 的动态分辨率如何实现？
原题GRPO 训练数据如何构建与筛选？
原题重要性采样机制的原理、估计偏差与适用场景是什么？
原题SFT 冷启动有哪些常见问题，如何诊断和解决？
原题如何进行样本难度分层、课程学习与有效样本选择？
原题强化学习训练中的 reward、KL 与 clip fraction 等指标如何解读并定位异常？
原题VLM 中如何减少 vision token？
原题多模态训练中的模态偏置如何诊断与纠正？
原题图文对比学习如何训练？InfoNCE 损失与温度系数如何设计和调节？
原题大模型生成复读和语句冗余的成因是什么？如何从数据、算法和参数侧优化？
原题模块化、端到端与 VLA/VLM 路线在自动驾驶中如何演进和取舍？
原题数字人或 TTS 生成中如何保证音色一致性？
原题深度学习中的正向传播、反向传播与参数更新是如何工作的？
原题Semantic ID 在内容表示与推荐系统中的作用是什么？
原题一条完整的 Agent trajectory 数据结构应包含哪些字段？
原题MLP Adapter 和 Q-Former Adapter 有什么区别？为什么 MLP 更常用？
原题什么是模型熵坍塌？如何诊断、定位原因并进行缓解？
原题SFT 训练阶段不使用测试集时，如何评估训练效果？
原题传统推荐系统的完整链路是什么？
原题卷积神经网络和 Transformer 在建模原理、计算方式与适用场景上有什么区别？
原题卷积神经网络处理图像有哪些优势？
原题在视觉模型中引入深度信息有什么作用？
原题知识蒸馏中教师模型如何选择？
原题特征蒸馏的 Loss 如何设计？
原题模型蒸馏有哪些主要方式？
原题中间特征蒸馏如何选择蒸馏层？
原题模型蒸馏后效果不佳如何系统排查与优化？
原题SFT 应如何选择优化器？
原题MMoE 是什么？如何通过多专家结构解决多任务学习中的任务冲突？
原题RLVF（基于可验证反馈的强化学习）是什么？
原题拉格朗日对偶原理是什么？
原题KKT 条件是什么？各条件分别有什么含义？
原题Slater 条件是什么？对凸优化有什么作用？
原题Stackelberg 博弈和 Nash 博弈有什么区别？
原题随机傅里叶特征（RFF）的原理是什么？
原题CLIP 的原理、训练方式和应用是什么？
原题长思维链与短思维链推理数据分别适合哪些任务？
原题Adam 和 Muon 优化器有什么区别？分别适合什么场景？
原题SAC 相比其他强化学习算法有什么优势？什么场景适合使用？
原题Llama 1、Llama 2 与 Llama 3 在架构、训练数据和能力上有哪些演进？
原题多层网络同时施加 Loss 会带来哪些问题？如何平衡各层损失？
原题具身智能中如何统一建模 Observation 与 Action？
原题VLA 模型在真实机器人部署中有哪些工程挑战？如何解决？
原题已有原始数据时，为什么仍需要使用 BERT 等预训练语言模型进行表示或微调？
原题Action Chunking 的原理及其在机器人策略学习中的应用是什么？
原题Autoregressive Policy 与 Diffusion Policy 的原理、差异和适用场景是什么？
原题VLM 与 VLA 的核心架构、能力边界和应用场景有什么区别？
原题行为克隆（Behavior Cloning）的原理和训练方法是什么？
原题分布偏移（Distribution Shift）的类型、影响和应对方法是什么？
原题Imitation Learning 与 Reinforcement Learning 有什么区别？分别适用于什么场景？
原题梯度提升模型的基本原理、训练过程和常见应用是什么？
原题Softmax 如何通过数值稳定技巧防止溢出？
原题持续新增翻译数据会让模型输出风格趋于一致还是扩散？如何分析和控制？
原题
暂无题目