• 回答数

    3

  • 浏览数

    318

气球飞哇
首页 > 工程师考试 > 大数据工程师面试

3个回答 默认排序
  • 默认排序
  • 按时间排序

刹那恍惚28

已采纳

大数据工程师 = 系统工程 + 大规模数据处理 + 数据分析 + 机器学习 + 商业智能

大数据工程师首先是一个系统工程师,也是一个软件工程师。同时,他还得有一些特定的技能,会做大规模数据处理,比如当你的数据有PB量级甚至ZD量级时,你需要会Leverage云平台等,通过几千台机器并行处理,解决大规模数据处理的问题。

大数据工程师还和数据科学家有重叠,二者都要有很强的数据分析能力,比如会用Matlab,R,Python等。仅仅做简单的数据分析可能也不够,大数据工程师还得做机器学习模型,最终我们希望大数据工程师做到的是商业智能。

大数据工程师的最终的目的,是帮助公司提供更好的用户体验,做出最优决策,获取更多的利润。他的工作成果是帮助企业挖掘出数据里的价值,从而实现Data-driven decision making。在个性化、在线广告领域,大数据工程有巨大的商业价值,Yahoo,Facebook,Google的80%以上的收入都来源于广告。通常,大数据工程师要解决的问题是,当一个用户在网站上出现时,如何显示一个与该用户喜好最相关的广告,使他最有可能去点击,从而提高公司的广告收入,这些都是需要通过大数据分析和机器学习建模,帮助做决策。

如果你是New grad,面试官期望你熟练掌握一门面向对象的通用语言 (如Java)。如果你只会C++,进公司后可能还是得去熟悉Java,因为很多时候编程语言的选择是与所用框架相关的, 比如Hadoop就是用Java编写的,用C++写Hadoop的应用就不是很方便。

另外,熟悉一门脚本语言 ,如Python,Go. R和Matlab不认为是一个Decent的脚本语言。

对候选人更重要的要求是基本的程序设计素养。如果程序设计功底足够好,熟悉一个新语言就是一两周的事情,面试官可能会从他平时工作的项目里提炼一些问题,看你能不能找到合适的解决方案。

大数据工程师面试

271 评论(8)

笑笑之笑0

【导语】近年来,大数据发展如火如荼,很多人都选择学习大数据专业或者转行大数据,大数据里又包含很多就业岗位,所以在进行岗位选择的时候,还是需要大家合理选择,为了帮助大家更好的进入大数据行业执业,下面就把2021年大数据工程师面试内容给大家进行一下具体介绍。

1、自我介绍

一般上来就是自我介绍,谈下工作经历和项目经验,面试官会根据你的项目经验对你进行技术面试。在自我介绍时,一定要抓住核心说,不要太啰嗦,尽量放大自己的价值,让面试官感受到你对工作的热情,以及以后对公司贡献的能力。

2、数仓开发知识技能

(1)Java是必问的,不过问的不深,把Javase部分吃透,足以应付Java部分的面试。

(2)Hadoop生态,Yarn、Zookeeper、HDFS这些底层原理要懂,面试经常被问。

(3)Mapreduce的shuffle过程这个也是面试被常问的。

(4)Hbase和HIve,搞大数据这些不懂真的说不过去。

(5)Mysql、Oracle和Postgres数据库操作要回,Sql要会写。

(6)linux操作系统,这个简单得命令必须要懂,会写shell脚本更好了。

(7)Kettle或Sqoop这种数据处理工具至少要会一个。8,数据仓库建模、数据模型的问题。

3、技术方面知识技能

(1)SparkSql和SparkStreaming,底层原理、内核、提交任务的过程等等,尽量深入内幕,这个经常会跟MapReduce作比较的。当然也要了解Storm和Flink,Flink这个建议要学会,以后用处会越来越广。

(2)Redis、Kafka、ElasticSearch这些都得懂原理,深入了解,会使用,会操作,会调优。

(3)impala和kylin这些尽量也要了解会用

(4)Python这个要是有能力,有精力,建议也要往深处学习,我目前正在自学中。

(5)集群的问题,包括一些简单的运维知识。

(6)大数据数据倾斜的问题,包括Spark JVM内存调优问题等等。

关于2021年大数据工程师面试内容,就给大家介绍到这里了,希望对大家能有所帮助,当然进入大数据行业,还需要大家在平时不断进行技能提升,这样才能更好的拥有一席之地。

352 评论(11)

飞龙在天了

1、您对“大数据”一词有什么了解?

答: 大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据,这就是为什么使用特殊的工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务,并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。大数据还使公司能够根据数据做出更好的业务决策。

2、告诉我们大数据和Hadoop之间的关系。

答: 大数据和Hadoop几乎是同义词。随着大数据的兴起,专门用于大数据操作的Hadoop框架也开始流行。专业人士可以使用该框架来分析大数据并帮助企业做出决策。

注意: 在大数据采访中通常会问这个问题。 可以进一步去回答这个问题,并试图解释的Hadoop的主要组成部分。

3、大数据分析如何有助于增加业务收入?

答:大数据分析对于企业来说已经变得非常重要。它可以帮助企业与众不同,并增加收入。通过预测分析,大数据分析为企业提供了定制的建议。此外,大数据分析使企业能够根据客户的需求和偏好推出新产品。这些因素使企业获得更多收入,因此公司正在使用大数据分析。通过实施大数据分析,公司的收入可能会大幅增长5-20%。一些使用大数据分析来增加收入的受欢迎的公司是-沃尔玛,LinkedIn,Facebook,Twitter,美国银行等。

301 评论(15)

相关问答