关于大数据开发工程师需要具备的技能，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：
① 数仓开发工程师
② 算法挖掘工程师
③ 大数据平台开发工程师（应用）
④ 大数据前端开发工程师
《多层次构建企业级大数据平台， 成就全能型大数据开发》大数据开发流程：大致上的话就是先javase，数据库，linux基础，然后就是大数据那一套路线了，hadoop, zookeeper,hive, kafka, flume, scala, spark, flink，做一两个大数据相关的项目。
大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。
大数据开发是指把各种数据源的数据有效聚合，分析和处理，并将分析结果用于更好的决策和业务规划的过程。这些数据源包括社交媒体、在线广告、企业内部数据等等。这项工作的主要目标是提高数据分析的效率和精度，从而更好地发现商业机会和优化业务流程。
大数据开发的流程可以分为五个步骤：
1.数据收集：收集各种数据源的数据并存储到数据仓库或数据湖中。
2.数据清洗：清洗数据，去除不必要的数据，并将其转化为结构化的数据格式。
3.数据存储：将清洗好的数据存储在关系数据库、列式数据库、文档数据库、图数据库和分布式文件系统等中。
4.数据处理：对大数据进行统计分析、机器学习、数据挖掘等处理，分析出数据的变化趋势和规律，并形成可视化报表。
5.应用分发：将分析结果应用于实际业务场景中，从而产生更有利的业务结果。
