铜梁大数据工程师考试内容

只要数据量级大(或者是数据复杂度，或者是其他方面的量级大)到普通的处理方法无法处理地实际上都可以算作是大数据开发，只不过一般大数据开发目前招聘的很多都是做数据处理的。有如下几个方向:1)数据挖掘是大数据处理地一个方向，这里做数据挖掘要有一些统计学基础才能做，目前数据挖掘的方向其实不是很明确，和人工智能，机械学习也有一些关系，如果是做数据挖掘，基本的数据会由数据平台部或数据运维部门提供2)数据平台的开发(这里的平台开发在不同公司的内容又不一样，小公司可能是根据公司业务做一套完整的数据分析系统，大公司这个职位可能是一些开源组件的二次开发)3)大数据运维方向:比如hadoop，spark集群的运维，涉及到ha等内容4)大数据分析方向:有的公司会将职责细化，招聘一些专业的分析人员，去写hql或者是其它类sql来对数据进行分析最后，其实大数据平台相关工作的划分并不清晰，行业里没有统一标准，大公司小公司情况不同。关于技术方向更是用什么的都有，比如有的公司用spark，有的用impala，还有的用clickhouse等，最近flink也逐渐进入大家的视野。所以在找工作时应该要考虑的是自己的强项是什么，同时在选择工作时要考虑到这个工作在做了三五年后，从这家公司出来还能不能找到工作。我个人的建议是如果你会java,那不要脱离java(scala)语言去做大数据开发，也不要专业只去做数据分析工作，大数据行业目前仍旧有一些泡沫(个人看法)，很多组件仍旧是基于java的，一旦脱离java语言本身，那源码阅读，二次开发都会有问题，同时生产环境自动化去执行一些代码也是需要语言支持的，或者最差的预估，如果大数据行业严重缩水(比如某些公司可以分析，可以挖掘的内容有限)，可以随时转到java服务器开发方向。