冷夜寒池
简单粗略来说就是用工具实现大数据分析后所需要得出的结果。简单理解,大数据开发就是制造软件的,只是与大数据相关而已,通常用到的就是与大数据相关的开发工具、环境等等。大数据开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧,而且现在Hive Spark-SQL这种系统也提供SQL的接口。第二类工作的话通常才大公司里才有,一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些,也更有技术含量。
爱笑的眼乌珠
IT行业都加班吧,加多少看情况和个人能力
大数据开发:
1、负责公司大数据产品/项目的后台研发;
2、负责技术预研,产品设计以及文档编写等工作;
3、参与大数据的数据治理和数据处理相关java开发工作;
4、参与海量数据处理,业务数据体系的设计、数据统计、分析及数据建模
大数据开发要处理大规模的数据,目前的各种技术在发展,高效的开发工具大大减轻了大数据开发工程师的工作负担,所以大数据开发工程师的工作虽然不是很轻松,但是也算不上很累,当然加班的情况还是存在的。
突然想起来,加米谷之前一个学大数据开发的学员说过一句话:现在这个社会做什么工作不需要加班呢?反正都是加班,不如选个工资高的加
做大数据开发工程师,加班是肯定会有的。所有的开发的岗位,都不是轻松的工作,不然也不会有那么高的薪资。如果想要拿高薪,也是需要对应的付出的。
出走的熊猫
从部分大数据开发工程师的招聘要求可见一斑,需掌握的技能包括但不限于如下几个方面:1、hadoop/spark/hive/flink等常见离线和实时大数据平台架构,有相关大数据系统开发、维护和整合经验;2、编程基础扎实、动手实践能力强,至少熟练掌握一门开发语言(python/java/go/scala/c++等),熟悉hive sql使用;3、熟悉常见的大数据开发工作流,熟练掌握大数据接入、数据清洗、数据挖掘分析&数据可视化工具;4、了解常见的机器学习算法基本原理,熟悉安全攻防对抗、广告安全对抗等相关业务场景。
ace922apple
大数据开发工程师做的是:1、参与大数据平台的数据架构设计,完成从业务模型到数据模型的设计;2、基于海量数据的数据仓库,为业务搭建通用的查询和分析解决方案;3、根据工作安排高效、高质地完成代码编写,确保符合前端代码规范。以上是大数据开发工程师目前在行业或公司中负责的工作内容。
A这点小事
1.如何成为大数据工程师由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。2014年8月,阿里巴巴举办了一个大数据竞赛,把天猫平台上的数据拿出来,去除敏感问题后,放到云计算平台上交予7000多支队伍进行比赛,比赛分为内部赛和外部赛。“通过这个方式来激励内部员工,同时也发现外部人才,让各行业的大数据工程师涌现出来。”目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。2.薪酬待遇作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。在美国,大数据工程师平均每年薪酬高达万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。3.职业发展路径由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展,成为重要数据战略人才。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
优质工程师考试问答知识库