字节跳动
大模型算法一面面经
完整信息
本篇目录
攒攒人品！有面试过同岗的朋友欢迎评论区交流
- 在单次 Prompt 中产出 52 个标签，如何从信息论角度评估 Output Logits 的熵增问题？你是如何规避标签之间由于自回归生成顺序导致的潜在因果偏置的？
- DeepSeek R1 的思维链极长，但在地图离线生产中，长 Token 意味着巨大的显存驻留。你如何设计一套 KV-Cache 压缩或分段预处理方案，确保推理吞吐量不随思维链增长而线性坍塌？
- 针对价格敏感度这类缺乏强真值的标签，你构建的 Teacher-Student 蒸馏体系中，如何量化教师模型的知识毒素对小模型产生的负面增量？
- 在 SFT 阶段，如果 52 个标签的分布极度不均，你如何在 Loss Function 中设计动态权重，防止模型退化为只预测高频标签的大样本分类器？
- 你是如何实现硬逻辑约束，而非仅仅依靠提示词里的负向指令？如何证明这种干预不会破坏 LLM 的预训练分布？
- 对于 4B 规模的轻量化模型，其语义对齐空间有限。当 52 个标签存在跨域干扰时，你是否尝试过 什么思路进行指令微调？
- 如何处理 LLM 在推理长行为序列时的注意力稀疏问题？对于超过 32k 长度的原始轨迹描述，你如何保证模型对序列中部的关键到访点依然保持高召回？
- 在数据飞轮闭环中，若利用 R1 生成的银标进行迭代，如何防止模型产生自我崩溃
- 日均 100 亿条定位数据，DBSCAN 的空间索引在处理高密度热点区域时会产生明显的计算热点，怎么解决这种热点问题
- 室内定位的 WIFI 指纹具有极强的时间非平稳性，你解决商场内路由器变更导致的特征分布偏移？
本篇目录
当前问题0110
- 01
在单次 Prompt 中产出 52 个标签，如何从信息论角度评估 Output Logits 的熵增问题？你是如何规避标签之间由于自回归生成顺序导致的潜在因果偏置的？
- 02
DeepSeek R1 的思维链极长，但在地图离线生产中，长 Token 意味着巨大的显存驻留。你如何设计一套 KV-Cache 压缩或分段预处理方案，确保推理吞吐量不随思维链增长而线性坍塌？
- 03
针对价格敏感度这类缺乏强真值的标签，你构建的 Teacher-Student 蒸馏体系中，如何量化教师模型的知识毒素对小模型产生的负面增量？
- 04
在 SFT 阶段，如果 52 个标签的分布极度不均，你如何在 Loss Function 中设计动态权重，防止模型退化为只预测高频标签的大样本分类器？
- 05
你是如何实现硬逻辑约束，而非仅仅依靠提示词里的负向指令？如何证明这种干预不会破坏 LLM 的预训练分布？
- 06
对于 4B 规模的轻量化模型，其语义对齐空间有限。当 52 个标签存在跨域干扰时，你是否尝试过 什么思路进行指令微调？
- 07
如何处理 LLM 在推理长行为序列时的注意力稀疏问题？对于超过 32k 长度的原始轨迹描述，你如何保证模型对序列中部的关键到访点依然保持高召回？
- 08
在数据飞轮闭环中，若利用 R1 生成的银标进行迭代，如何防止模型产生自我崩溃
- 09
日均 100 亿条定位数据，DBSCAN 的空间索引在处理高密度热点区域时会产生明显的计算热点，怎么解决这种热点问题
- 10
室内定位的 WIFI 指纹具有极强的时间非平稳性，你解决商场内路由器变更导致的特征分布偏移？