大语言模型

题集来源:Datawhale(datawhalechina)收录项目:daily-interview查看原题集

题目目录

60 道原题
  1. 为什么 TSDAE 选择使用特殊词元而非平均池化作为句子表征?

    原题
  2. 相比 STSB,MTEB 有哪些改进?其中包括哪些类别的嵌入任务?

    原题
  3. 如果标注的训练数据很少,如何扩增训练数据的数量?(提示:SetFit)

    原题
  4. 在继续预训练时,如何在保证模型获得特定领域知识的同时,最大限度地保留其通用能力?

    原题
  5. 请比较以下三种方案在医疗领域文本分类任务上的优缺点:(a) 直接使用通用 BERT 模型微调; (b) 在医疗文本上继续预训练 BERT 后再微调;(c) 从头开始用医疗文本预训练模型再微调。

    原题
  6. 在命名实体识别任务中,当 BERT 将单词拆分成多个词元时,如何解决标签对齐问题?

    原题
  7. 假设一个嵌入模型的训练语料主要由英文构成,在中文任务上表现不佳,如何用较低的继续预训练成本提升其中文能力?

    原题
  8. 有人声称一篇文章是用 DeepSeek-R1 生成的,并给了你生成所用的完整提示词,如何证实或证伪这个说法?(提示:利用困惑度)

    原题
  9. 如何微调一个 Llama 开源模型,使其输出风格更简洁、更像微信聊天,并保证输出的内容符合国内的大模型安全要求?

    原题
  10. QLoRA 中的分块量化如何解决普通量化导致的信息损失问题?

    原题