• 回答数

    2

  • 浏览数

    130

想疯狂旅行
首页 > 工程师考试 > 大数据架构工程师

2个回答 默认排序
  • 默认排序
  • 按时间排序

嘻嘻miumiu

已采纳

1.找出过去事件的特征

大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。

找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好,是不是互联网付费用户、喜欢玩什么类型的游戏,平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰说。下一步到了业务层面,就可以针对各类人群推荐相关服务,比如手游,或是基于不同特征和需求衍生出新的业务模式,比如微信的电影票业务。

2.预测未来可能发生的事情

通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。”薛贵荣说。

在百度,沈志勇支持“百度预测”部分产品的模型研发,试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例,大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测,并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里,它究竟是畅通、拥挤,还是一般拥挤?

3.找出最优化的结果

根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。

以腾讯来说,郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(ABTest),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。

大数据架构工程师

280 评论(8)

阿拉丁摸神灯

大数据工程师负责创建和维护分析基础架构,该基础架构几乎可以支持数据世界中的所有其他功能。他们负责大数据架构的开发、构建、维护和测试,例如数据库和大数据处理系统。大数据工程师还负责创建用于建模,挖掘,获取和验证数据集合等流程。

1、负责公司大数据平台产品的技术工作,包括需求分析、架构设计、研发、以及性能分析工作;

2、负责整体提升Hadoop集群的高可用性、高性能、高扩展特性,已有的大数据平台架构的维护工作;

3、负责海量数据的导入优化工作;

4、整理和完善各类文档。

大数据工程师需要具有良好的沟通能力、优秀的分析问题和问题解决能力;具备强烈的进取心和团队合作精神;具备数据库系统的基本理论知识。

1、linux

大数据集群主要建立在linux操作系统上,Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的,只有学好Linux才能在工作中更加的得心应手。

2、Hadoop

我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架,运算时利用maprebaice对数据进行处理。

3、Java

只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下。

193 评论(8)

相关问答