数据挖掘工程师招聘

大数据时代十大热门IT岗位

大数据时代十大热门IT岗位,新的想法诞生新的技术，从而造出许多新词，云计算、大数据、BYOD、社交媒体、3D打印机、物联网在互联网时代，各种新词层出不穷，令人应接不暇。这些新的技术、新兴应用和对应的IT发展趋势，使得IT人必须了解甚至掌握最新的IT技能。另一方面，云计算和大数据乃至其他助推各个行业发展的IT基础设施的新一轮部署与运维，都将带来更多的IT职位和相关技能技术的要求。

毫无疑问，这些新趋势的到来，会诞生一批新的工作岗位，比如数据挖掘专家、移动应用开发和测试、算法工程师，商业智能分析师等，同时，也会强化原有岗位的新生命力，比如网络工程师、系统架构师、咨询顾问、数据库管理与开发等等。下面分别为大家介绍着十大IT技能所体现的工作岗位：

一、算法工程师

何万青博士曾经介绍把一件事做快做好的三种方法，其中就提到过“提高流水线效率、更好的算法和更短的代码关键路径。”可以看出算法在系统效率中的重要地位。算法是让机器按照人类设想的方式去解决问题，算法很大程度上取决于问题类型和工程师对机器编程的理解，其效率的高低与算法息息相关。

在数学和计算机科学之中，算法(Algorithm)为一个计算的具体步骤，常用于计算、数据处理和自动推理。在大数据时代，算法的功能和作用得到进一步凸显。比如针对公司搜索业务，开发搜索相关性算法、排序算法。对公司海量用户行为数据和用户意图，设计数据挖掘算法。

算法工程师，根据研究领域来分主要有音频/视频算法处理、图像技术方面的二维信息算法处理和通信物理层、雷达信号处理、生物医学信号处理等领域的一维信息算法处理。另外数据挖掘、互联网搜索算法这些体现大数据发展方向的算法，在近几年越来越流行，而且算法工程师也逐渐朝向人工智能的方向发展。

二、商业智能分析师

算法工程师延伸出来的商业智能，尤其是在大数据领域变得更加火热。IT职业与咨询服务公司Bluewolf曾经发布报告指出，IT职位需求增长最快的是移动、数据、云服务和面向用户的技术人员，其中具体的职位则包括有商业智能分析师一项。

商业智能分析师往往需要精通数据库知识和统计分析的能力，能够使用商业智能工具，识别或监控现有的和潜在的客户。收集商业情报数据，提供行业报告，分析技术的发展趋势，确定市场未来的产品开发策略或改进现有产品的销售。

商业智能和逻辑分析技能在大数据时代显得特别重要，拥有商业知识以及强大的数据和数学分析背景的IT人才，在将来的IT职场上更能获得大型企业的青睐。不过这些技能并不是一般人都能掌握的，一些公司目前正在招聘统计学家并教授他们有关技术和商业的知识。

三、数据挖掘工程师

数据挖掘工程师，也可以叫做“数据挖掘专家”。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。

数据挖掘专家或者说数据挖掘工程师掌握的技能，能够为其快速创造财富。当年亚马逊的首位数据挖掘工程师大卫·赛林格(DavidSelinger)创办的数据挖掘公司，将类似于亚马逊的产品推荐引擎系统销售给在线零售和广告销售商，而这种产品推荐引擎系统，也成为亚马逊有史以来最赚钱的工具。数据挖掘的价值由此可见一斑。

四、咨询顾问(专家)

任何业务部门和任何行业企业，都有IT系统在背后默默无闻地支撑着。在云计算大数据时代，业务面临的挑战和机遇也会给IT系统带来更多要求。在这种情况下，IT系统的规划部署和运维，都要有更为精通的专业人士才能胜任，并满足面向未来大数据分析、云计算服务应用的需要。

纽约蒙特法沃医疗中心(center)的副主席杰克-沃夫(JackWolf)曾经表示，他寻求不仅会建立和使用系统而且还会给予其他员工技术支持的新员工，他说："新的系统意味着你必须有更多的咨询台来处理更多的咨询量。"当然，这里体现的主要是某个系统的技术支持的功能，但管中规豹我们不难发现，无论是部署初期的物料采购还是运维过程中的金玉良言，都凸显出这种技术咨询顾问的重要性。

五、网络工程师

网络工程师可以说是一个“绿色长青”的职业，网络技术一直以来就处于急需之中，美国人力资源公司罗勃海佛国际(RobertHalf)第三季度IT招聘指数和技能报告指出，网络管理占总需求技能排名中的第二位。对于云计算时代来说，网络在云资源池中(计算、存储、网络)更是扮演着更为重要的作用。

另一方面，IPv6标准、物联网、移动互联等蓬勃发展，使得对于网络工程师尤其是新型网络工程师(移动、IPv6、云计算方向)的人才和技能要求也越来越多。网络工程师也因此而可以细分成多个发展方向，相应的技能要求其侧重也有所不同。比如网络安全、网络存储、架构设计、移动网络等等。

六、移动应用开发工程师

移动应用开发，会随着移动互联网时代的到来变得更受追捧。截至2012年底我国已经有10亿手机用户，移动智能终端用户超过4亿，在移动支付、移动购物、移动旅游、移动社交等方面涌现了大量的移动互联网游戏、应用和创业公司。

移动平台智能系统较多，但真正有影响力的也不外乎iOS、Android、WP、Blackberry等。大量原来PC和互联网上的信息化应用、互联网应用均已出现在手机平台上，一些前所未见的新奇应用也开始出现，并日渐增多。

移动应用开发，由于存有多个平台系统，因此不同的平台开发者其所面临的机遇和挑战也不尽相同。一个很明显的例子就是，当初由Google公司和开放手机联盟领导及开发的基于Linux的安卓系统，在开源之后就给广大开发者(商)带来巨大商机，而坚定选择iOS平台的的开发工程师，也通过苹果生态系统的不断扩建和智能设备的高市场占有，使得较早的一批开发者都赚得盆满钵满。不过在国内由于用户习惯、产业环境和版权保护的问题，移动应用开发者并没有因此而获得相应的收益。

七、软件工程设计师

近年IT业界逐渐涌现出一股软件定义网络(SDN)、软件定义数据中心、软件定义存储(SDS)和软件定义服务器(MoonShot)等浪潮，大有软件定义未来一切IT基础设施的趋势。

PaaS、SaaS、数据挖掘和分析、数据管理和监控、虚拟化、应用开发等等，都是软件工程师大展身手的好舞台。相应的，这些技术领域也对软件工程师的要求会更高，尤其是虚拟化和面向BYOD、云计算、大数据等应用的开发和管理，都需要有更高深的技术支撑。

和算法工程师有点类似的地方在于，软件工程师也需要注重设计模式的使用，一位优秀的工程师通常能识别并利用模式，而不是受制于模式。工程师不应让系统去适应某种模式，而是需要发现在系统中使用模式的时机。

八、数据库开发和管理

数据库开发和管理在大数据时代显得尤为重要，相关的数据库管理、运维和开发技术，将成为广大BI、大型企业和咨询分析机构特别看重的技能体现。代表着更多类型(尤其是非结构化类型)的海量数据的涌现，要求我们实时采集、分析、传输这些数据集，在对基础设施提出严峻挑战的同时，也特别强调了数据库开发和管理人员的挑战。

比如分布式的、面向海量数据管理的数据库系统之一NoSQL，就是面向大数据领域的非关系型数据库的流行平台，高可用、大吞吐、低延迟、数据安全性高等应用特点成为了很多企业的看重的特点，并希望有足够多的优秀IT开发人员深度开发NoSQL系统，解决对存储的扩容、宕机时长、平滑扩容、故障自动切换等问题的困恼。

另外，更为知名的Hadoop分布式数据库HBase的数据管理，需要借助HRegion、HMaster、HClient组成的体系结构从整体上管理数据。这些也都需要有对Hadoop深刻理解和业务的精通才能胜任。而除此以外的大数据的存储管理、内存计算、包括基于这些应用上的平台开发等等，也得会越来越受市场欢迎。

九、系统架构师

去年三星首席系统架构师吉姆·莫加德(JimMergard)跳槽至苹果，属于近期比较大的系统架构师人事变动，这种变动也说明了当今对于系统架构师的高度重视和认可。

众所周知，云计算和大数据的出现，使得传统的数据中心基础设施难以胜任;另一方面，日益激烈的市场竞争和移动互联等商机的出现，势必会给企业业务带来深刻变革。这种变革和IT架构转型，都会牵扯到IT系统架构这个核心问题。相比之前介绍的那些IT技能和所对应的岗位，系统架构师的规划部署能力显得尤为重要，它牵扯的是整个面而不是某个领域某个点的痛点。

十、系统安全师

同样的，网络、计算、存储还是系统架构，也都需要关注安全问题，而安全在现在的云计算环境下，个人隐私和企业敏感数据的保护也不断被强化。

在当前很多企业都收缩IT安全预算开支后，还不断面临着增强的合规要求等问题。企业们都在考虑是否应当将某些IT运营交给云端服务提供商处理。实际上，每个人都深感压力，预算不够地情况下还要尽力防护数据地安全，特别是中小型企业，这也就意味着企业需要将部分IT运转外包给第三方以减少资金和人力方面地投资。

即使不采用外包的形式，无论个人还是企业都会更加注重安全，因为“安全”本身是没有行业限制和划分的，尤其是企业在构建云计算环境、提交或者收集海量数据进行处理分析、存储和传输等等一系列环节，都会面临新的挑战。这种挑战势必会需要有更多更专业的技术人才帮助解决这些问题。相比传统来说，系统安全师将更多的会结合具体的业务展开，而根植于系统平台和底层基础设施的系统安全，则更多的会出现在运营

目前来看，从事数据挖掘工作，需要有较强的数学和统计学功底。在计算机技能方面，需要熟练使用IBM IM/SPSS Clementine/SAS EM等工具，熟悉Unix操作系统，熟悉DB2/Oracle等大型关系数据库，具备Shell/Perl/TCL/C/C++等编程能力，可以进行自编挖掘算法、进行商业统计分析、预测。还要掌握基本的Microsoft Office软件，包括Excel和PowerPoint中的统计图形技术。此外，能够主动和项目中其他成员紧密合作，因为数据挖掘涉及方方面面的关系，很重视公司内部的合作。还有一个比较重要的就是良好的客户沟通能力。可以明确阐述数据挖掘项目的重点和难点，调整客户对数据挖掘的误解和过高期望，让模型维护人员了解并掌握数据挖掘方法论及建模实施能力，这一点是工程师往后发展的一个很关键的点。想要提升数据挖掘工程师的能力，推荐CDA数据分析师的课程，它安排了Sklearn/LightGBM、Tensorflow/PyTorch、Transformer等工具的应用实现，并根据输出的结果分析业务需求，为进行合理、有效的策略优化提供数据支撑。课程培养学员硬性的数据挖掘理论与Python数据挖掘算法技能的同时，还兼顾培养学员软性数据治理思维、商业策略优化思维、挖掘经营思维、算法思维、预测分析思维，全方位提升学员的数据洞察力。点击预约免费试听课。

大数据就业前景非常乐观。大数据作为一个全新互联网的产业，大数据仍然处于快速发展初期，在这个快速发展的领域，每时每刻都在产生新的事物。从整体发展角度评价，大数据行业的未来将呈现直线上升发展趋势。大数据方面的就业主要有三大方向：百度一是数据分析类大数据人才，二是系统研发类大数据人才，三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。

大数据技术的热门工作岗位主要有大数据开发工程师、大数据分析师、数据挖掘工程师、大数据可视化工程师等。这些岗位都是企业的核心技术岗位，有很大的需求，工资待遇也非常可观，可以说学好了大数据技术，高薪职业任你选择。

1、大数据开发工程师

大数据开发工程师，很多公司都在招聘的热门技术人才，工资也是相对于其他方向更高一些。想要成为大数据开发工程师需要掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识，具备分布式存储、分布式计算框架等技术。

2、大数据分析师

大数据分析师需要对海量的大数据做分析、挖掘和展现，并且将其中有价值的信息提取出来为决策提供支持，而大数据分析师实际上就是从事这类工作的从业人员。大数据分析师不仅要具备数据分析知识，作为高级大数据分析师，还要掌握大数据技术相关知识，如Hadoop、Python等，具备更为综合的大数据知识体系。

3、数据挖掘工程师

做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C ，我自己用Python或者Java比较多。有时用MapReduce写程序，再用Hadoop或者Hyp来处理数据，如果用Python的话会和Spark相结合。

Hadoop大数据开发方向：市场需求旺盛，是大数据培训的主体，目前IT培训机构的重点。对应岗位有大数据开发工程师、爬虫工程师、数据分析师等；

数据挖掘、数据分析&机器学习方向：学习起点高、难度大，市面上只有很少的培训机构在做。对应岗位有数据科学家、数据挖掘工程师、机器学习工程师等；

大数据运维&云计算方向：市场需求中等，更偏向于Linux、云计算学科。对应岗位有大数据运维工程师等。