AI系统与训练推理工程
【训练pipeline设计】到训练的pipeline。你会怎么设计? 「字节Seed」
原题【训练数据存储方案】存储层面对象存储+Ceph与并行文件系统Lustre/GPFS在训练数据加载中的取舍与缓存加速方案 「腾讯混元」
原题【通信带宽排查思路】多机多卡通信带宽不及预期时,从网卡绑定、NUMA、QP数量、MCCL_DEBUG排查的思路 「腾讯混元」
原题【通信算子与策略选择】在 AI 训练场景中,分布式训练常面临通信瓶颈问题。请说明 AllReduce、Broadcast、ReduceScatter 这三种核心通信算子的适用场景差异,并分析在千亿参数大模型训练中,如何选择通信策略以降低延迟、提升吞吐量? 「腾讯」
原题【长上下文训练】若将上下文扩展到1000K,该如何估算训练的算力用量?若要将模型训练到1000K的上下文长度,该从哪些方面实现,其中的难点是什么? 「腾讯」
原题【AI-HPC趋势】AI-HPC的未来趋势。 「百度」
原题【AI基础设施发展方向】你认为AI Infrastructure未来的发展方向是什么? 「蚂蚁集团」
原题「阿里巴巴」
基于LibTorch Java绑定开发训练框架,如何借助Java的多线程机制与Flink的分布式计算,提升模型训练效率?
如何通过LibTorch Java绑定实现模型增量训练,结合Flink的增量数据处理与Spring AI,提升训练迭代速度?
用LibTorch Java绑定做模型训练时,如何通过Flink的状态管理保证训练数据一致性,同时发挥Java的可靠性优势?
原题完整原题
【LibTorch Java与Flink结合】基于LibTorch Java绑定开发训练框架,如何借助Java的多线程机制与Flink的分布式计算,提升模型训练效率?如何通过LibTorch Java绑定实现模型增量训练,结合Flink的增量数据处理与Spring AI,提升训练迭代速度?用LibTorch Java绑定做模型训练时,如何通过Flink的状态管理保证训练数据一致性,同时发挥Java的可靠性优势? 「阿里巴巴」
【千卡集群搭建】我们现在要从零开始搭建一个千卡集群用于大模型训练,你会从哪些方面考虑?可能会遇到哪些坑? 「美团」
原题【多租户ML训练平台设计】设计一个支持多租户的ML训练平台。项目架构设计经验,如何主导设计一个支持多租户的千卡AI训练平台? 「腾讯混元、蚂蚁集团」
原题
暂无题目