AI 算法实习生一面面经

ai算法实习生

2026.03.04，下午14:00，一面，线上，1h左右，都开摄像头了

1.自我介绍

2.多策略微调这个项目是什么类型的？

在 910B3 服务器上微调Qwen-3-8B 模型，使用全量微调、lora 微调和 freeze 微调三个策略做对比，是自己为了学习模型微调自主开展的项目。

3.这个项目最终成果和目的是什么？

目的是提升模型在中文语义理解方面的能力，最终用中文逻辑推理、中文语理解、知识相关三个数据集完成了测试。

4.可以举例说一下中文语言理解的实现过程吗？

选用中文逻辑推理、中文语理解、知识方面的三个数据集，基于Qwen-3-8B 模型用三种微调策略训练后，用这三个数据集对模型进行中文语义理解能力的测试。

5.这三类微调是用的怎样一个框架来做的呢？

使用的是 LLaMafactory 框架。

6.全量微调、lora 微调、freeze 微调三者有什么差别？

全量微调是对预训练大模型的所有参数进行更新；freeze 微调是冻结模型的最后两层，微调其他层的参数；Lora 微调是引入两个低秩矩阵，训练时只微调这两个矩阵，推理时将其与原始权重矩阵合并。

7.这三种微调方法一般怎么用，在什么时候用哪一种？

时间紧凑时用 Lora 微调，因为其速度是三者中最快的；想要较好的训练效果用全量微调，理论上其效果更好，但训练速度相对较慢。

8.Qwen-3-8B 模型的结构有了解吗？

千问系列模型使用 GQA 分组查询注意力机制，千问 3 增加了深度思考模式和 QKnome，不过 QKnome 的具体作用记不清了。

9.8B 和 235B 模型有什么区别，参数量大小是怎么做到不一样的？

核心区别是参数量，8B 参数量少，235B 参数量大；参数量不同的原因是 235B 的训练数据集更大、训练轮数更多、模型层数也更多，不过没有仔细了解过具体原理。

10.实习的两个项目是怎么和同事协作的，是自己负责一块吗？

是自己独立负责其中一块工作。

11.第一个实习项目（自然语言分析查询系统）的具体任务是什么？

给客户开发本地化的自然语言分析查询系统，用户上传 Excel 或 CSV 文件，系统能自动识别表格内容，完成销售额总额等数值计算，也能实现部分数据可视化。

12.如果指定具体指标，要最近 12 个月每个月的求和、平均值等计算，该怎么实现？

调用本地化部署的Qwen3-Coder-30B-A3B模型，让模型在内部编写 SQL 或 Python 数字计算类代码，在本地完成计算后将结果返回给用户，绘制图表时模型会编写 matplotlib 代码实现。

13.有没有考虑过用户上传脏数据的数据清洗问题，具体怎么做到的？

首先用 Pandas 读取表格转化为 DataFrame，让系统自行判断缺失数据，将缺失数据的整行删除；对于异常值，若某一行要求是数值类型却出现非数值内容，就判定为异常值并做相应处理。

14.是否可以设计 agent 系统让大模型自己做各类数据清洗？

可行，可以借助另一个大模型先分析表格结构，判断异常值位置，再通过提示词引导大模型完成数据清洗。

15.第二个实习项目（机场 RAG 智能问答客服）为什么针对机场，是不是客服系统？

因为系统使用的是机场的航班类数据，本质是 RAG 智能问答客服系统，所以被称作机场系统。

16.为什么写的是多模态 RG，数据是多模态的吗？

数据本身不是多模态的，但系统要实现图文问答和语音问答的多模态交互功能。

17.可以举例说明这个 RAG 智能问答客服的输入、查询和输出过程吗？

输入比如 “某年某月从长沙到某地方的航班有哪些”，系统数据库存储有机场航站楼、航班、机场巴士时刻等信息，最终输出会根据用户输入的问题返回对应的答案。

18.在 RAG 向量数据库管理中是怎么做索引的？

使用 postgresql 里的 PGvactor 插件实现数据向量化并存储，检索时采用混合检索策略，将 BM25 算法的关键词检索和余弦相似度的语义检索结合。

19.PDF 文档是怎么变成向量的，几十页的长文档也能直接转吗？

先读取文档，长文档会先做文本分块，用 python 自带的 recursive text split ，按固定长度 1000、重叠 100 分块；再用Qwen-3-Embedding-8B 模型将分块后的文本转化为嵌入向量，存入向量数据库。

20.混合检索后为什么要用重排序？

使用Qwen3-Reranker-8B 模型进行重排序，对混合检索的初步候选文档做二次筛选，纠正混合检索的性能不足，提升检索精度。

21.有没有可能混合检索足够好不用重排序，或直接走重排序就行，为什么要检索加重排序？（这里有些不知如何回答）

肯定不能只使用重排序模型，单靠重排序无法筛选出准确内容，检索步骤是必须的；暂时没有对比过加与不加重排序的性能差异，但重排序能优化检索结果。

22.举例说明检索和重排序的输入输出分别是什么？

检索输入是用户的问题，输出是用户问题和检索到的内容，结合提示词后给到大语言模型；重排序输入是混合检索得到的用户问题和检索内容，输出是用户问题和重排序后的精准筛选结果。

23.动态滑动窗口装人记忆具体是怎么做的？

实现了三轮对话记忆，编写了一个类，设置存储池保存用户对话内容和模型输出结果，下一轮对话时将上一轮的问题和回答一并传入模型，超过三轮则将历史内容全部删除。

24.OCR 问答的输入是怎样的？

用户输入图片，系统先将图片内容通过 OCR 转换成文本，再结合用户输入框的文本作为最终输入。

25.若输入是游戏描述文本 + 游戏截图，如何从库里的图片 / 文字中找出相似游戏？

因图片可能含文本或不含，不能仅用 OCR，需用视觉语言模型（VLM）解析图片，再让 VLM 模型在 RAG 系统的数据库中进行比对，找出相似游戏。

26.面对游戏评论分析的开放问题，输入是大量无预设类别的游戏评论，如何输出评论类别及各类型评价情况总结？

用大参数量的 LLM 模型提取评论中的关键信息并存入存储池；将存储池中相似的关键信息归为一类，抽取对应类别的评分；单独的、无相似项的关键信息则单独列为一类。

27.存储游戏评论关键信息和评分的存储池，设计什么数据结构合适？

设计成字典格式，包含用户关注的内容、对应的评分等核心字段。

28.如何从新发布游戏的各类数据中找出有潜力、有价值的游戏，怎么定义有潜力的游戏？

有潜力的游戏可从下载量、销量、每月流水、玩家热度、宣传力度这几个维度判断，这些维度的数据表现好则说明游戏有潜力。

29.对 Agent 设计有什么了解，Agent 是怎么回事、怎么做开发、有哪些类型？

知道 Agent 是智能体，目前接触得不是很多，但后续可以学习相关内容。

30.多模态机系统的用途是什么，给谁用？

具体用途和使用对象不清楚，该系统是开发后私有化部署到客户服务器的。

31.这套系统开发完是提供 API 还是其他形式，为什么提到 Fast API？

系统是私有化部署到客户服务器，供客户自行调整；Fast API 是用来搭建系统后端的，前端使用 HTML 等技术开发。

32.大模型输入 token 量已支持几十万 / 上百万，为什么还要从库里挑出游戏重点资料，直接给所有游戏内容让大模型自己找不行吗？

理论上可以让大模型自己找，但提供重点内容能节约时间和 token 成本，提升大模型的推理效率；大模型能从重点内容中更快筛选出用户需要的信息并生成结果。

33.从原理上说，给大模型游戏重点信息（1 万 token）和所有游戏信息（几十万 token），生成内容的效果有什么差别？

效果有明显差别，1 万 token 的重点信息生成效果更好，几十万 token 的海量信息易让生成结果出现模糊情况；即便大模型有注意力机制，海量数据中易出现信息重叠（如相似游戏名），导致大模型混淆内容、返回错误答案。

34.VLM中的 V 是什么意思，怎么做到融入视觉能力的？

V 是视觉（Vision）的意思；VLM 中使用 VIT 视觉编码器，将图片切成图片 token 并排成一列，传入 Transformer 编码器，借助编码器的注意力机制让模型感知图片重要信息、抑制次要信息，最终实现视觉能力的融入。

35.Dify 具体是怎么用的？

将 Dify 部署到客户的服务器上，用 docker compose 进行部署；部署后有专属界面，可在界面中创建知识库、上传文件，还能搭建工作流，比如连接输入模块和嵌入模块。

36.Dify 自带知识库和 RAG 机制，为什么还要加 RAGflow？

RAGflow 也是部署到客户服务器的项目，和 Dify 一样，都是给客户做的私有化部署小 demo，属于实习中的其他工作内容。

37.觉得 RAG 有什么不足，后续可以怎么改进？

自己开发的 RAG 系统用的是固定长度分块，这是可改进的点；可以采用语义分块，先将文本拆成句子，用余弦相似度判断句子间的相似度，低于阈值则截断，高于阈值则合并，同时设置长度限制，超出则重新分块后再嵌入。

38.面对无现成结构化数据的复杂条件查询（如游戏装备适配角色、克制关系等），只有大量文本，该如何完成查询并提升准确性？

先对文本做结构化提取，比如提取出角色、标注角色对应的技能，将信息整理成规范的结构化内容；再把结构化后的内容嵌入向量数据库，后续进行检索时效果会更好。

39.对知识图谱的实体、关系等概念有什么了解，这和上述的结构化提取是否类似？

了解过知识图谱的基本概念，知道其由实体和关系构成并连线，之前在 B 站看过中医药问答的知识图谱项目，但具体细节记不清了。

40.用 docker compose 部署 Dify 的具体步骤是什么？

首先用 git clone 把 Dify 整个项目克隆下来，进入对应的项目目录，然后直接执行 docker compose up -d 命令启动即可；不清楚 docker compose 内部的具体原理。

41.Docker 是什么概念，和在电脑上直接启动程序有什么区别？

Docker 是容器化技术，能将应用和运行环境容器化启动，与本机系统隔离；在 Docker 创建的容器内的开发、运行环境，和服务器本地的环境是相互隔开的。

42.开发时使用的是什么操作系统和开发环境？

实习公司主要使用 Linux 操作系统。

43.现在有很多 AI 编程工具，平时是怎么编程的，用的什么工具？

平时编程用 TRAE 和 Claude Code，会借助 AI 编程工具辅助开发。

44.AI 编程和人工手写代码有什么区别？

AI 编程效率比人工高很多，能大概率避免语法和逻辑错误；开发小型项目时 AI 编程速度优势明显；但开发大型企业级项目，需要人工主导，结合 AI 编程一起完成。

45.有 10 个游戏，每个游戏有文本、图片、视频等多模态数据，如何对这些游戏做聚类，判断哪些游戏相似？

用聚类算法实现，核心是多维度判断相似度：文本层面用余弦相似度两两判断，高于阈值则判定为相似；图片层面，可先用 IOU 系数判断相交程度，更优的方式是用 VLM 视觉语言模型识别图片内容并打分，高于预设分数则判定为相似；聚类时先选一个中心游戏，以文本和图片的相似度为依据，将满足条件的游戏归为一类，不满足的则作为新的中心点，继续和未归类的游戏比对。

46.个人定位是前端还是后端，为什么会涉及 CSS、HTML 等前端内容？

个人定位偏向后端；因为实习项目的前端界面也是自己开发的，开发时借助 AI 工具完成了前端代码的编写。

47.后端开发主要用的什么技术？

主要用 Python，其中 Fast API 用得比较多。

代码题如下（当时看到脑子已经蒙了）：

请你实现一个名为 get_nested_value 的函数。它接受两个参数：

data: 一个可能多层嵌套的字典。

path: 一个用点（.）作为分隔符的字符串，表示访问路径。

函数的行为需要满足以下要求：

根据 path 字符串在 data 字典中进行查找。

如果路径完全有效，则返回最终的值。

如果在查找的任何一步，键不存在，或者路径还没走完但中间的值已经不是字典了（导致无法继续深入），函数都应该返回 None。

整个调用过程不应该抛出 KeyError 或 TypeError 等异常。”

# 假设我们有这样一个数据结构

data = {

'result': {

'details': {

'user_name': 'Alice',

'scores': [98, 85, 92]

},

'status': 200

}

}

# 成功的调用:

get_nested_value(data, 'result.details.user_name') # 应该返回 'Alice'

get_nested_value(data, 'result.status') # 应该返回 200

# 失败的调用 (键不存在):

get_nested_value(data, 'result.details.age') # 应该返回 None (因为 'age' 键不存在)

# 失败的调用 (中间值不是字典):

get_nested_value(data, 'result.details.user_name.first_name') # 应该返回 None (因为 'user_name' 的值 'Alice' 是字符串，无法继续查找 'first_name')

# 失败的调用 (处理空路径或无效输入):

get_nested_value(data, '') # 应该返回 None

get_nested_value({}, 'a.b') # 应该返回 None

反问：公司的主要业务

基于游戏的各类多模态数据，建立游戏的知识库，并对游戏相关信息进行结构化的知识提取；

将上述结构化的数据，通过 RAG（检索增强生成）或模型训练的方式，为团队开发的各类 Agent（智能体）提供服务，而这些 Agent 会应用在游戏的设计、开发等各个环节中。

感受：代码题第一次遇见的不是算法，只写了个大概，没有运行出来，肯定是寄了[牛泪][牛泪][牛泪]