大数据工程师的培训

大数据工程师要学什么课程？没接触过大数据的人也许不知道大数据工程师是什么，更别说知道大数据工程师要学什么课程了。我们先来说下大数据工程师是做什么的吧。是负责公司互联网数据分析的一个职位，对数据库进行开发和(或)维护，需要具备超强的逻辑思维，精通各种语言，需要有相当好的毅力和耐心。光环大数据的大数据培训课程分为如下几个阶段：第一阶段：java核心学习学习内容：Java核心内容学习目标：掌握数据类型与运算符，数组、类与对象；掌握IO流与反射、多线程、JDBC。完成目标：Java多线程模拟多窗口售票，Java集合框架管理。第二阶段: JavaEE课程大纲学习内容：JavaEE核心内容学习目标：Mysql数据基础知识，Jdbc 基础概念和操作掌握HTML和CSS语法、Java核心语法完成目标：京东电商网站项目、2048小游戏。第三阶段：Linux精讲学习内容：Linux命令、文件、配置，Shell、Awk、Sed学习目标：搭建负载均衡、高可靠的服务器集群，可大网站并发访问量，保证服务不间断完成目标：Linux环境搭建、shell脚本小游戏 贪吃蛇。第四阶段：Hadoop生态体系学习内容：HDFS、MapReduce、Hive、Sqoop、Oozie学习目标：掌握HDFS原理、操作和应用开发，掌握分布式运算、Hive数据仓库原理及应用。完成目标：微博数据大数据分析、汽车销售大数据分析第五阶段：Storm实时开发学习内容：Zookeeper、HBase、Storm实时数据学习目标：掌握Storm程序的开发及底层原理，具备开发基于Storm的实时计算程序的能力。完成目标：实时处理新数据和更新数据库，处理密集查询并行搜索处理大集合的数据。

第一阶段Java语言基础01Java开发介绍02熟悉Eclipse开发工具03Java语言基础04Java流程控制05Java字符串06Java数组与类和对象07数字处理类与核心技术08I/O与反射、多线程09Swing程序与集合类第二阶段HTML、CSS与JavaScript01PC端网站布局02HTML5+CSS3基础03WebApp页面布局04原生JavaScript交互功能开发05Ajax异步交互06JQuery应用第三阶段JavaWeb和数据库01数据库02JavaWeb开发核心03JavaWeb开发内幕第四阶段Linux基础01Linux安装与配置02系统管理与目录管理03用户与用户组管理04Shell编程05服务器配置06Vi编辑器与Emacs编辑器第五阶段Hadoop生态体系01Hadoop起源与安装02MapReduce快速入门03Hadoop分布式文件系统04Hadoop文件I/O详解05MapReduce工作原理06MapReduce编程开发07Hive数据仓库工具08开源数据库HBase09Sqoop与Oozie第六阶段Spark生态体系01Spark简介02Spark部署和运行03Spark程序开发04Spark编程模型05作业执行解析06Spark SQL与DataFrame07深入Spark Streaming08Spark MLlib与机器学习09GraphX与SparkR10spark项目实战11scala编程12Python编程第七阶段Storm实时开发01storm简介与基本知识02拓扑详解与组件详解03Hadoop分布式系统04spout详解与bolt详解05zookeeper详解06storm安装与集群搭建07storm-starter详解08开源数据库HBase09trident详解第八阶段项目案例01模拟双11购物平台02前端工程化与模块化应用主要都讲这些内容！

参加大数据开发培训需要什么基础？想进行大数据开发培训的人会有这样的困惑，接下来就来为大家介绍一下，一起来看看吧。1、有大数据相关的基础科目大数据技术综合性较强，学习起来有难度。需要有Java、数学、Linux系统等基础，如果是计算机相关专业、数学专业以及统计学专业的背景当然更好，只要经过系统的大数据培训课程，必然会成为一名出色的大数据工程师。2、需要有逻辑思维能力大数据技术需要有很强的逻辑思维能力，如果有逻辑思维能力，可以在大数据培训课程的学习中游刃有余。3、基础弱可以通过努力增强技术能力如果没有基础也可以学习大数据，那就要付出比别人多一点的努力。基础不好的话，可以参加大数据培训课程，培训时间一般在学习3-6个月。大数据开发培训学什么1、Java语言基础：JAVA作为编程语言，使用是很广泛的，大数据开发主要是基于JAVA，作为大数据应用的开发语言很合适。Java语言基础包括Java开发介绍、Java语言基础、Eclipse开发工具等。2、Linux系统和Hadoop生态体系：大数据的开发的框架是搭建在Linux系统上面的，所以要熟悉Linux开发环境。而Hadoop是一个大数据的基础架构，它能搭建大型数据仓库，PB级别数据的存储、处理、分析、统计等业务。还需要了解数据迁移工具Sqoop、Flume分布式日志框架。以上就是为大家介绍了参加大数据开发培训需要什么基础？希望对大家有所帮助。

1.大数据工程师工作中会做什么？集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。2.集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。3. ETLETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。4.系统开发我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。如何入门？前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。1.了解行业情况刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。2.选择学习途径如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。在选择具体的学习途径时，要慎重一点，有几个选择：自学报班找人指点别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。3.学习路线学习路线，下面是一个大致的建议：第一阶段先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。第二阶段到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。用户画像和特征工程：这一部分越早了解越好。一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。第三阶段下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

如果是科班出身(数学/统计学/计算机/金融)，最好是先系统培训，打一个基础，有一个知识框架后再通过实践进行学习。 培训的话找口碑好，大校区，实实在在的，都没什么问题的。现在市面上现在学开发的机构太多。鱼龙混杂。可以实地考察一下，在多重选择，多看一下大品牌，口碑好的。在学习的时候选择班型上，看你的学历和基础，如果你学历很低没有计算机基础，不要指望4个月的班型能让你脱胎换骨。