深度网络架构

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

164 道原题
  1. 简要介绍Transformer的Encoder模块和Decoder模块,两者的核心差异是什么?

    原题
  2. Transformer和Mamba(SSM)的区别是什么?各自的适用场景有哪些?

    原题
  3. 介绍一下Transformer中KV Cache的原理,它能解决什么问题?有什么局限性?

    原题
  4. 工业界中,Transformer模型的量化、剪枝优化思路是什么?能带来什么收益?

    原题
  5. 大模型时代,Transformer的架构优化方向有哪些?(如MoE、FlashAttention等)

    原题
  6. Transformer中的Embedding层有什么作用?如何缓解词表稀疏问题?

    原题
  7. 为什么Transformer在长序列任务中容易出现性能下降?如何改进?

    原题
  8. 简要说明FlashAttention的核心原理,它如何优化Transformer的注意力计算效率?

    原题
  9. Transformer模型中的Label Smoothing是什么?有什么作用?

    原题
  10. 对比Transformer和CNN,两者在特征提取方式上有什么本质区别?

    原题