如何用 Roofline 模型估算 70B 模型在单张 H100 上、批量为 1 时的解码吞吐？

知识专题：分布式训练与计算硬件题目类型：原理机制技术难度：深入

收录题集：1 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

1 份

AI 基础设施

AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题

查看题集 →

- Do the roofline math: how many tokens/sec can one H100 produce for a 70B model at batch size 1?