AI系统与训练推理工程
【AI基础设施评估】你认为京东目前的AI基础设施是否足以支撑未来的大模型战略? 「京东」
原题【AI基础设施趋势】AI Infra领域的技术趋势,边缘计算和Serverless AI平台的发展方向 「腾讯」
原题AI芯片(如NVIDIA H100、国产芯片)的架构差异及优化策略;
华为的卡和N卡有何异同,架构上,场景上,强项上?
国产GPU(摩尔线程等)与NVIDIA架构在MUSA/CUDA算子移植、通信库适配中的差异与坑点;
国产AI芯片在集群部署中的显存隔离(MIG/cGPU类)、驱动兼容性及生态适配难点;
异构加速卡适配如何验证?
技术选型时面对MUSA新特性与稳定CUDA生态的取舍,考虑的维度有哪些?
如果在模型部署过程中遇到硬件兼容性问题,你会如何处理?
使用华为的框架和显卡进行SFT有没有遇到什么问题?
原题完整原题
【AI芯片架构对比与适配】AI芯片(如NVIDIA H100、国产芯片)的架构差异及优化策略;华为的卡和N卡有何异同,架构上,场景上,强项上?国产GPU(摩尔线程等)与NVIDIA架构在MUSA/CUDA算子移植、通信库适配中的差异与坑点;国产AI芯片在集群部署中的显存隔离(MIG/cGPU类)、驱动兼容性及生态适配难点;异构加速卡适配如何验证?技术选型时面对MUSA新特性与稳定CUDA生态的取舍,考虑的维度有哪些?如果在模型部署过程中遇到硬件兼容性问题,你会如何处理?使用华为的框架和显卡进行SFT有没有遇到什么问题? 「京东、字节跳动、腾讯、腾讯混元、阿里通义」
AI Infra中监控GPU利用率、显存、IB网络丢包、PCIe抖动的关键指标及Prometheus+DCGM落地;
如果DCGM和NVML不够,如何利用Nsight System和Nsight Compute进行多卡集群性能优化分析?
需要查看更底层的硬件指标怎么办?
多卡集群GPU指标监测怎么设计?
如何定位和优化GPU利用率低的问题?
GPU拓扑感知调度(NVLink/PCIe)在K8s中的实现难点及缓存亲和性场景题,以及MIG切分是怎么配的?
原题完整原题
【GPU监控与性能优化】AI Infra中监控GPU利用率、显存、IB网络丢包、PCIe抖动的关键指标及Prometheus+DCGM落地;如果DCGM和NVML不够,如何利用Nsight System和Nsight Compute进行多卡集群性能优化分析?需要查看更底层的硬件指标怎么办?多卡集群GPU指标监测怎么设计?如何定位和优化GPU利用率低的问题?GPU拓扑感知调度(NVLink/PCIe)在K8s中的实现难点及缓存亲和性场景题,以及MIG切分是怎么配的? 「百度、百度文心、美团、腾讯混元、蚂蚁集团、阿里巴巴」
【RDMA网络与选型】RDMA在AI集群中的优势,RoCE与InfiniBand的选型对比及丢包影响,以及如何调优? 「腾讯、腾讯混元」
原题【Tensor Core与CUDA Core活跃度及退化判断】详细解释一下tensor core active和cuda core active,根据这些管线指标如何判断LLM推理有没有因为精度或者维度不匹配而发生退化? 「阿里巴巴」
原题【模型参数量计算】手撕DeepSeek V3的参数量手算 「字节跳动」
原题【GPU资源调度与配额系统设计】如何设计一个GPU资源调度系统?如何设计一个支持多租户的GPU资源配额系统? 「腾讯、蚂蚁集团」
原题【下一代Infra硬件协同】下一代Infra硬件协同设计:下一代“积木”本身该长成什么样,即更偏下一代infra和硬件协同设计的问题?如果让你来设计下一代的AI芯片或服务器,你会关注哪些特性? 「美团、阿里巴巴」
原题【大模型Infra挑战】从Infra的角度看,未来的大模型技术(比如MoE架构、多模态)会带来哪些新的挑战和机遇? 「美团」
原题
暂无题目