多模态与计算机视觉
【多模态情感分析】请设计一个多模态情感分析/识别系统，说明其核心模块和数据流？ 「字节跳动」
原题【多模态数字人】假设你需要为腾讯会议开发一个多模态数字人助手，要求能够实时根据用户的语音情绪和输入的文本指令生成对应的面部表情和肢体动作。在端到端延迟必须控制在50毫秒以内的限制下，你会怎么权衡模型的各个模块结构？ 「腾讯」
原题【多模态流式注意力】假设视频号带货直播间需要一个自动解说生成模型，要求模型能同时理解画面中的商品物理细节和主播的实时口播音频，并同步生成弹幕互动文本。你如何设计这种多模态流式输入与严格对齐的注意力机制？ 「腾讯」
原题「百度、百度文心、腾讯」
CV和NLP的区别和联系，
在Transformer的大背景下，CV、NLP，包括语音等，能否实现大一统？具体到LLM，图像/视频生成与理解如何统一？
原题完整原题
【多模态统一】CV和NLP的区别和联系，在Transformer的大背景下，CV、NLP，包括语音等，能否实现大一统？具体到LLM，图像/视频生成与理解如何统一？ 「百度、百度文心、腾讯」
你如何看待多模态模型从图文对齐走向视频理解、3D感知的趋势？
腾讯CSIG的智慧零售、智慧交通等业务中，哪些场景最需要这种能力升级？
原题完整原题
【多模态趋势与业务】你如何看待多模态模型从图文对齐走向视频理解、3D感知的趋势？腾讯CSIG的智慧零售、智慧交通等业务中，哪些场景最需要这种能力升级？ 「腾讯」
【多模态预训练方案】如果让你从头预训练一个多模态大模型，你会怎么做，会有哪些问题，怎么解决？ 「腾讯」
原题【多模态高光剪辑】针对QQ音乐的MV与歌词匹配场景，如何利用音、视、文的三模态数据，设计一个能够自动生成音乐高潮片段卡点的短视频高光剪辑算法？ 「腾讯」
原题【跨文化视觉理解】许多头部开源多模态模型在英文标准的图文问答基准上表现优异，但在中文特色场景(如中国菜系识别、复杂中文谐音梗图图文理解)上表现极差。除了简单粗暴的数据翻译与扩充，还能通过什么机制从模型表征本质上提升其跨文化的视觉理解能力？ 「腾讯」
原题【OCR基础与必要性】需要做ocr吗? 「蚂蚁集团」
原题「百度、蚂蚁集团」
图片中会有一些文字，打算怎么处理？（OCR基础与必要性）
chartQA的方向有了解吗？（图表与结构化文档理解）
原题完整原题
【OCR与文档理解】1. 图片中会有一些文字，打算怎么处理？（OCR基础与必要性） 2. chartQA的方向有了解吗？（图表与结构化文档理解） 「百度、蚂蚁集团」
暂无题目