AI 数据开发工程师一面面经
完整信息
本篇目录
面试公司:美团
面试时间:9.23
面试岗位:ai数据开发
Q:介绍
Q:你是做数据平台、中台的开发,还是业务ETL开发,还是两者都做?
Q:你提到一百多张表,这些表有没有主题划分?简单介绍一下。
Q:项目中的指标你们是怎么对比的?介绍下方法。
Q:你提到核心指标偏差2%就全量发布。离线数据任务,这块的发布校验是怎么规定的?
Q:测试环境的数据和生产环境数据是否一致?
Q:为什么选择X%这个偏差阈值?逻辑是什么?
Q:这个项目识别到数据倾斜后,加盐处理是怎么做的,如何缓解数据倾斜?
Q:那怎么发现数据倾斜,定位倾斜位置? A
Q:如果任务有很多表、几十个stage,Spark UI看到某个stage运行久、数据量大,怎么定位是哪一段代码造成的?
Q:大数据开发中,除了数据倾斜,你还做过哪些性能优化?
Q:那熔断和告警的策略是什么?哪些场景熔断,哪些只告警?
Q:有没有这样的机制:当最终交付层就绪延迟,自动回溯,定位是上游哪一个任务导致延迟,而不是只在每个任务后单独加DQC?
Q:简历提到Hudi,有实际使用吗?
Q:基础问题,LSM-Tree大概是什么?
Q:项目里,用到的AI Agent主要在哪些方面?
Q:第二个实习项目,相当于中台角色。推广AI产品的时候,业务团队会不会有抵触?作为实习生推进落地,遇到什么困难?
Q:相当于你是产品和业务用户之间的桥梁。业务反馈零散输入,表象不同但根因一致,你是怎么抽象、归类这些问题?
Q:你怎么对bad case做分类?有哪些类别?
Q:那会不会继续往下追溯,比如意图识别、检索召回、大模型幻觉、权限问题?这些底层问题你会归类吗?
Q:你了解大模型幻觉吗?怎么减少幻觉?
Q:有没有你自主开发的Agent,不是单纯使用?实习或者个人项目都可以,介绍一下。
Q:文档接入Agent的时候,是把文档处理成向量库吗?
Q:提到准确率提升超过20%,怎么验证?
Q:测试集规模是多大?怎么定义“准确/不准确”?
Q:数据库相关,索引这块了解吗?
Q:介绍一下Iceberg。
Q:Iceberg的组成、元数据结构了解多少?
Q:Iceberg解决了传统Hive的哪些问题?还有哪些没有覆盖?
Q:Copy-on-Write的概念?
Q:一道简单的Agent Skill相关的题目。
Q:面试到这里差不多。你对我们团队或者美团这边有什么想了解的?
A:两个问题。第一,数据团队规模和组织架构;第二,岗位写了有AI相关要求,这个岗位主要承担哪些工作,团队后续在AI方向的规划。
面试官回答:先简单介绍部门,餐饮SaaS不是外卖团购,是面向B端的业务,给商家提供餐饮管理、点餐、收银、营销、供应链系统。数据团队分为两个方向:平台建设、业务需求ETL交付,一共三十多人。底层基建复用公司平台,少量自主建设。AI相关:今年年初开始,简单、中等偏简单的数据需求,要求使用Agent开发,统计Agent开发覆盖率。产品提交需求文档,Agent直接解析文档,开发离线、实时任务,简单需求基本可以由Agent完成。
Q:最后问一下,你现在还在实习还是已经返校?
本篇目录
当前问题0138
- 01
介绍
- 02
你是做数据平台、中台的开发,还是业务ETL开发,还是两者都做?
- 03
你提到一百多张表,这些表有没有主题划分?简单介绍一下。
- 04
项目中的指标你们是怎么对比的?介绍下方法。
- 05
你提到核心指标偏差2%就全量发布。离线数据任务,这块的发布校验是怎么规定的?
- 06
测试环境的数据和生产环境数据是否一致?
- 07
为什么选择X%这个偏差阈值?逻辑是什么?
- 08
这个项目识别到数据倾斜后,加盐处理是怎么做的,如何缓解数据倾斜?
- 09
那怎么发现数据倾斜,定位倾斜位置?
- 10
如果任务有很多表、几十个stage,Spark UI看到某个stage运行久、数据量大,怎么定位是哪一段代码造成的?
- 11
大数据开发中,除了数据倾斜,你还做过哪些性能优化?
- 12
那熔断和告警的策略是什么?哪些场景熔断,哪些只告警?
- 13
有没有这样的机制:当最终交付层就绪延迟,自动回溯,定位是上游哪一个任务导致延迟,而不是只在每个任务后单独加DQC?
- 14
简历提到Hudi,有实际使用吗?
- 15
基础问题,LSM-Tree大概是什么?
- 16
项目里,用到的AI Agent主要在哪些方面?
- 17
第二个实习项目,相当于中台角色。推广AI产品的时候,业务团队会不会有抵触?
- 18
作为实习生推进落地,遇到什么困难?
- 19
相当于你是产品和业务用户之间的桥梁。业务反馈零散输入,表象不同但根因一致,你是怎么抽象、归类这些问题?
- 20
你怎么对bad case做分类?有哪些类别?
- 21
那会不会继续往下追溯,比如意图识别、检索召回、大模型幻觉、权限问题?这些底层问题你会归类吗?
- 22
你了解大模型幻觉吗?
- 23
怎么减少幻觉?
- 24
有没有你自主开发的Agent,不是单纯使用?实习或者个人项目都可以,介绍一下。
- 25
文档接入Agent的时候,是把文档处理成向量库吗?
- 26
提到准确率提升超过20%,怎么验证?
- 27
测试集规模是多大?
- 28
怎么定义“准确/不准确”?
- 29
数据库相关,索引这块了解吗?
- 30
介绍一下Iceberg。
- 31
Iceberg的组成、元数据结构了解多少?
- 32
Iceberg解决了传统Hive的哪些问题?
- 33
还有哪些没有覆盖?
- 34
Copy-on-Write的概念?
- 35
两个问题。第一,数据团队规模和组织架构;第二,岗位写了有AI相关要求,这个岗位主要承担哪些工作,团队后续在AI方向的规划。
- 36
两个问题。第一,数据团队规模和组织架构;第二,岗位写了有AI相关要求,这个岗位主要承担哪些工作,团队后续在AI方向的规划。
- 37
两个问题。第一,数据团队规模和组织架构;第二,岗位写了有AI相关要求,这个岗位主要承担哪些工作,团队后续在AI方向的规划。
- 38
最后问一下,你现在还在实习还是已经返校?