AI系统与训练推理工程

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

【边缘与端侧模型部署优化】在大模型部署到边缘设备、车载、端侧、移动端（如京东APP）或资源受限环境时，你会采取哪些优化措施？请分别说明部署方式、考虑因素及具体优化方案。「京东、字节跳动、百度、蚂蚁集团」
原题
关联题目端侧大模型如何比较模型与运行环境的适用性？AI 应用工程与治理 / 模型服务、部署与交付比较选型进阶0篇相关面经
【高并发模型服务处理】模型面对高并发的时候如何处理？「百度」
原题
关联题目LLM Serving 中如何权衡吞吐量与请求时延？模型基础与推理 / 推理优化与模型压缩比较选型进阶0篇相关面经
【Agent沙箱设计】如果想做Agent的沙箱环境秒级启动应该怎么设计，具体讲一下其中的并发弹性调度、会话级状态保持及强安全隔离。「阿里巴巴」
原题
关联题目云端 Agent 沙箱应常驻还是用完销毁，如何优化启动和上下文通信性能？AI 应用工程与治理 / 安全、权限与人工介入系统设计进阶2篇相关面经
【LibTorch Java与Flink集成】基于LibTorch Java绑定构建的训练/推理框架，如何适配Flink的动态扩缩容与容错机制，结合Java的生态优势确保训练/推理不中断并提升系统整体可用性？需说明如何利用Java优势提升框架稳定性。同时，如何优化LibTorch Java绑定在Flink集群中的资源占用，结合Spring AI的配置管理，实现高性能推理？如何让Spring AI调用LibTorch Java绑定推理时，与Flink的流数据处理无缝衔接，减少数据传输延迟？如何在Spring AI中封装LibTorch Java绑定的推理接口，配合Flink的Checkpoint机制，确保推理结果可回溯？另外，用Spring AI整合LibTorch Java绑定时，如何优化模型参数传递效率，配合Flink提升高并发场景下的推理性能？同时，如何解决模型加载与Flink任务调度的协同问题，以加速推理响应？「阿里巴巴」
原题
关联题目流式模型训练与推理链路如何保证状态一致性和弹性恢复？模型训练与对齐 / 训练框架、调参与排障系统设计深入0篇相关面经
【LoRA权重快速切换】假设要在腾讯云上提供一个支持企业用户高度自定义微调(如LoRA)的多模态API集群服务，如何设计底层的模型加载架构，以支持数万个不同客户的LoRA权重实现毫秒级快速切换，且不会造成服务器显存瓶颈？「腾讯」
原题
关联题目多租户模型服务如何按需加载并快速切换大量 LoRA 适配器？AI 应用工程与治理 / 模型服务、部署与交付系统设计深入0篇相关面经
【千万级用户实时推理系统】设计一个支持千万级用户的实时AI推理系统。「蚂蚁集团」
原题
关联题目如何设计以 vLLM 等推理引擎提供服务的 LLM 推理平台？AI 应用工程与治理 / 模型服务、部署与交付系统设计深入0篇相关面经
【多模态统一服务平台】如何设计一个支持多模态模型的统一服务平台？同时支持实时和离线模型。「京东」
原题
关联题目如何设计以 vLLM 等推理引擎提供服务的 LLM 推理平台？AI 应用工程与治理 / 模型服务、部署与交付系统设计深入0篇相关面经
【多租户AI平台架构】请设计一个支持多租户的AI平台架构，确保资源隔离和公平调度。「京东」
原题
关联题目如何设计覆盖训练、模型服务与算力治理的生产 AI Infra 平台？AI 应用工程与治理 / 模型服务、部署与交付系统设计深入0篇相关面经
【大模型推理HTTP网关】实现一个面向大模型推理场景的HTTP网关，支持：智能路由、负载均衡、KVCache感知调度。「蚂蚁集团」
原题
关联题目实现支持模型路由、负载均衡和 KV Cache 感知的大模型 HTTP 网关。算法与编程题 / 并发、文件与工程编码代码题深入0篇相关面经
【大模型部署方案】两台8卡H100做700B部署，精度FP8，要求TTFT<2秒，TPOT在50ms内，不能调节max-num-seqs等参数，有什么方案？「阿里巴巴」
原题
关联题目如何为大模型推理选择 GPU？模型训练与对齐 / 分布式训练与计算硬件比较选型进阶0篇相关面经

题目目录

【边缘与端侧模型部署优化】在大模型部署到边缘设备、车载、端侧、移动端（如京东APP）或资源受限环境时，你会采取哪些优化措施？请分别说明部署方式、考虑因素及具体优化方案。 「京东、字节跳动、百度、蚂蚁集团」

【高并发模型服务处理】模型面对高并发的时候如何处理？ 「百度」

【Agent沙箱设计】如果想做Agent的沙箱环境秒级启动应该怎么设计，具体讲一下其中的并发弹性调度、会话级状态保持及强安全隔离。 「阿里巴巴」

【千万级用户实时推理系统】设计一个支持千万级用户的实时AI推理系统。 「蚂蚁集团」

【多模态统一服务平台】如何设计一个支持多模态模型的统一服务平台？同时支持实时和离线模型。 「京东」

【多租户AI平台架构】请设计一个支持多租户的AI平台架构，确保资源隔离和公平调度。 「京东」

【大模型推理HTTP网关】实现一个面向大模型推理场景的HTTP网关，支持：智能路由、负载均衡、KVCache感知调度。 「蚂蚁集团」

【大模型部署方案】两台8卡H100做700B部署，精度FP8，要求TTFT<2秒，TPOT在50ms内，不能调节max-num-seqs等参数，有什么方案？ 「阿里巴巴」

【边缘与端侧模型部署优化】在大模型部署到边缘设备、车载、端侧、移动端（如京东APP）或资源受限环境时，你会采取哪些优化措施？请分别说明部署方式、考虑因素及具体优化方案。「京东、字节跳动、百度、蚂蚁集团」

【高并发模型服务处理】模型面对高并发的时候如何处理？「百度」

【Agent沙箱设计】如果想做Agent的沙箱环境秒级启动应该怎么设计，具体讲一下其中的并发弹性调度、会话级状态保持及强安全隔离。「阿里巴巴」

【千万级用户实时推理系统】设计一个支持千万级用户的实时AI推理系统。「蚂蚁集团」

【多模态统一服务平台】如何设计一个支持多模态模型的统一服务平台？同时支持实时和离线模型。「京东」

【多租户AI平台架构】请设计一个支持多租户的AI平台架构，确保资源隔离和公平调度。「京东」

【大模型推理HTTP网关】实现一个面向大模型推理场景的HTTP网关，支持：智能路由、负载均衡、KVCache感知调度。「蚂蚁集团」

【大模型部署方案】两台8卡H100做700B部署，精度FP8，要求TTFT<2秒，TPOT在50ms内，不能调节max-num-seqs等参数，有什么方案？「阿里巴巴」