预训练与架构
【GPT训练推理区别】GPT在训练和推理时的区别？ 「百度」
原题【GQA修改】改一下GQA。请解释GQA（Grouped Query Attention）的原理，与MHA（Multi-Head Attention）和MQA（Multi-Query Attention）的区别，以及如何修改模型以应用GQA（如调整注意力头分组、共享键值对）。 「腾讯」
原题【GQA注意力机制】讲讲GQA。 「京东」
原题「字节跳动、小红书、美团、蚂蚁集团、阿里巴巴」
KV Cache原理；
为什么query不用cache？
KV Cache和Flash Attention基本原理。
KV Cache怎么省显存？
GQA/MQA的区别。
了解Page Attention吗？为什么效果好？
KV cache会造成显存过大的问题？如何解决？
请讲下你理解的KV cache？上下文的特点是什么？为什么使用KV cache优化上下文？
原题完整原题
【KV Cache】KV Cache原理；为什么query不用cache？KV Cache和Flash Attention基本原理。KV Cache怎么省显存？GQA/MQA的区别。了解Page Attention吗？为什么效果好？KV cache会造成显存过大的问题？如何解决？请讲下你理解的KV cache？上下文的特点是什么？为什么使用KV cache优化上下文？ 「字节跳动、小红书、美团、蚂蚁集团、阿里巴巴」
「字节跳动、腾讯、阿里巴巴」
为了优化推理速度，KV Cache是一个很关键的技术。它的原理是什么？为什么KV cache只缓存K和V，而不缓存Q？为什么RNN不需要KVcache?为什么LLM需要KVcache?了解KVcache吗，
GQA的思想是什么？
原题完整原题
【KV Cache与GQA】为了优化推理速度，KV Cache是一个很关键的技术。它的原理是什么？为什么KV cache只缓存K和V，而不缓存Q？为什么RNN不需要KVcache?为什么LLM需要KVcache?了解KVcache吗，GQA的思想是什么？ 「字节跳动、腾讯、阿里巴巴」
「字节跳动、百度、腾讯、阿里巴巴」
KV Cache的原理是什么？
MHA的计算复杂度是多少？有哪些加速方法？
KV Cache的大小如何计算？
如何实现KV Cache？
KV Cache的空间优化方法有哪些？
MLA与KV Cache的关系？
MHA、MQA、GQA的KV Cache显存占比大概是多少？
原题完整原题
【KV Cache与注意力机制】KV Cache的原理是什么？MHA的计算复杂度是多少？有哪些加速方法？KV Cache的大小如何计算？如何实现KV Cache？KV Cache的空间优化方法有哪些？MLA与KV Cache的关系？MHA、MQA、GQA的KV Cache显存占比大概是多少？ 「字节跳动、百度、腾讯、阿里巴巴」
【KVCache依赖】有哪些环节强依赖kvcache? 「阿里巴巴」
原题「字节跳动、百度、百度文心、美团、阿里巴巴」
Llama2的推理流程？
LLaMA中的Transformer与普通的有什么改进？LLaMA在模型的decoder层面做了哪些改进？
LLM为什么是only-Decoder架构，为什么不采用T5架构？
LLM输入维度为b、s的情况下，完整推理过程中Tensor维度的变化逻辑是怎样的？
原题完整原题
【LLaMA与Decoder-only架构】Llama2的推理流程？LLaMA中的Transformer与普通的有什么改进？LLaMA在模型的decoder层面做了哪些改进？LLM为什么是only-Decoder架构，为什么不采用T5架构？LLM输入维度为b、s的情况下，完整推理过程中Tensor维度的变化逻辑是怎样的？ 「字节跳动、百度、百度文心、美团、阿里巴巴」
【Long-think推理模型】对Long-think的推理模型有了解过吗？请解释Long-think模型的概念（如Chain-of-Thought、Self-Consistency、Tree-of-Thoughts等），其如何提升复杂推理能力，以及典型应用场景。 「腾讯」
原题【LoRA原理】LoRA的原理，为什么△W是低秩的，具体如何降低计算量？ 「拼多多」
原题
暂无题目