数据工程与数据处理

本分类共 20 个专题 · 2493 道题

8153

Spark 任务执行缓慢时，如何排查和优化？

软件工程基础数据工程与数据处理

故障排查

进阶

0184

采集公司内部论坛文档时，为什么选择爬虫而不申请正式接口？

软件工程基础数据工程与数据处理

比较选型

进阶

0412

文件存储与数据库存储有哪些常见方式？

软件工程基础数据工程与数据处理

比较选型

进阶

0413

文件存储的瓶颈是什么？

软件工程基础数据工程与数据处理

原理机制

进阶

0751

给定 40 亿个不重复且无序的 unsigned int，如何快速判断一个数是否存在？

软件工程基础数据工程与数据处理

代码题

进阶

0918

上游数据如何清洗转换，为什么会有空值或重复数据？

软件工程基础数据工程与数据处理

项目深挖

进阶

0919

数据任务按什么频率调度？

软件工程基础数据工程与数据处理

项目深挖

进阶

0921

结合业务场景说明数据聚合逻辑。

软件工程基础数据工程与数据处理

项目深挖

进阶

0922

开发中遇到哪些数据异常，如何发现？

软件工程基础数据工程与数据处理

故障排查

进阶

0929

Spark Driver 和 Executor 分别负责什么？

软件工程基础数据工程与数据处理

原理机制

基础