纳殇誰鯟
、计算机编码能力实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中拾取有意义的信息就需要大数据工程师亲自挖掘。二、数学及统计学相关的背景国内BAT为代表的大公司,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。三、特定应用领域或行业的知识大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助。
夜雨初晴999
一、计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中拾取有意义的信息就需要大数据工程师亲自挖掘。
二、数学及统计学相关的背景
国内BAT为代表的大公司,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。
三、特定应用领域或行业的知识
大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助。
呼伦小贝尔
专业方面,要求掌握数据库、数据挖掘算法、数据建模 、系统开发等偏计算机类课程,重点关注计算机方面的知识;软件工具上,根据大数据分析流程来看:数据采集需要掌握flume、Kafka、网络爬虫;数据存储需要掌握数据库如MySQL、SQL Server等,重点了解大数据平台框架Hadoop(MapReduce)、spark;数据预处理需要Kettle;数据分析需要用到机器学习算法建模;数据可视化需要用到PowerBI、tableau;关于编程语言,需要至少掌握Python、Java、C等编程语言中的一种,技术岗也用python,但是底层Java语言也需要懂。
优质工程师考试问答知识库