大语言模型

题集来源:Datawhale(datawhalechina)收录项目:daily-interview查看原题集

题目目录

60 道原题
  1. Flash Attention 并不能减少计算量,为什么能提升推理速度? Flash Attention 是如何实现增量计算 softmax 的?

    原题
  2. 跟原始 Transformer 论文中的绝对位置编码相比,RoPE(旋转位置嵌入)有什么优点? RoPE 在长上下文外推时会面临什么挑战?

    原题
  3. 嵌入模型 + 逻辑回归的分类方式获得了 0.85 的 F1 分数,而零样本分类方式获得了 0.78 的 F1 分数。如果有标注数据,什么情况下会选择零样本分类?

    原题
  4. 与 BERT 的掩蔽策略相比,掩码语言建模有何不同?这种预训练方式如何帮助模型在下游的文本分类任务中获得更好的性能?

    原题
  5. 假设你有一个包含 100 万条客户评论的数据集,但只有 1000 条带有标签的数据,请同时利用有标签和无标签的数据,结合表示模型和生成模型的优势,构建一个分类系统。

    原题
  6. 有了强大的生成式大模型,嵌入模型还有什么用?

    原题
  7. 词袋法和文档嵌入在实现原理上有什么区别?词袋法是不是一无是处了?

    原题
  8. BERTopic 中的 c-TF-IDF 与传统的 TF-IDF 有何不同?这种差异如何帮助改进主题表示的质量?

    原题
  9. 基于质心和基于密度的文本聚类算法有什么优缺点?

    原题
  10. 在一个主题建模项目中,你发现生成的主题中有大量重叠的关键词,如何使用本章介绍的技术来提高主题之间的区分度?

    原题