大数据刚刚兴起的时候,只要懂一点Hadoop,就能写一点HQL,就能找到工作,不过现在仅凭一项技能是没有机会找到大数据工作的了,需要系统的学习掌握技术才可能找到工作。
数据开发的平台化比较成熟。普通开发者已经可以在没有专业数据开发者介入的情况下完成大部分的大数据开发,因此依靠单一的简单技能已经不再流行。而且大数据行业的门槛在提高,对数据开发者的要求也变得更高。
当然,这并不意味着我们不能入行大数据。相反,我们能够学会系统的大数据技术反而能够更好的找到工作,拿到满意的工资待遇。很多朋友在谈到数据挖掘和大数据的时候,都会不由自主的想到机器学习算法。其实大部分数据岗位都不需要这么高深的知识。但是如果你掌握了技能树更多的内容,或许就能更强的控制你的数据上下游,或许就能晋级下一阶段。数据挖掘的技能树无论是横向还是纵向都很深,并不适合普通人,因为深度学习真的很难,需要机器学习、深度学习、概率论、线性代数、智能优化方法、各种分布式和一致性算法、各种资源调度理论等很深的数学知识。
从数据的产生到使用,基本的环节就是:采集-清洗-加工-分析-决策。在这个环节上,前后需要的技能是不一样的。一般来说,后端门槛越高,复杂度越高。
数据开发的岗位纵向可以分为数据采集工程师-ETL工程师-数据仓库工程师-算法工程师-数据分析师。横向上还可以有大数据运维工程师、大数据平台开发工程师、数据治理架构师、数据服务架构师、大数据系统架构师、大数据框架开发工程师等岗位。