异步通信大数据工程师考试

你好，大数据学习的内容包括8个阶段的内容:

你可以按照顺序学习，先学习基础的东西，希望你早日学有所成。

可登陆工信部教育与考试中心查询

要成为大数据工程师，必备的技能有Java，Spark，Hadoop，Hive和Big Data。

有用啊，时候可能就是因为比别人多一个证书拿到了offer，至少简历上面很丰富。工信部认证的证书普适性强

为深入贯彻国务院《促进大数据发展行动纲要》（国发（2015)50号）文件精神，积极响应工信部《大数据产业发展规划（2016-2020年）》，推进技术先进、应用繁荣的大数据基础设施建设，进一步提高大数据工程专业技术人员理论与技能水平，经调查研究，专家论证，邮电通信人才交流中心决定开展大数据工程师专业技术等级培训考试。

一、认识大数据大数据本质其实也是数据，不过也包括了些新的特征，数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。而针对以上新的特征需要考虑很多问题：例如，数据来源广，该如何采集汇总?采集汇总之后，又该存储呢?数据存储之后，该如何通过运算转化成自己想要的结果呢?对于这些问题，我们需要有相对应的知识解决。二、大数据所需技能要求Python语言：编写一些脚本时会用到。Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。Ozzie，azkaban：定时任务调度的工具。Hue，Zepplin：图形化任务执行管理，结果查看工具。Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。必须掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)