大数据开发主要做哪些工作?
大家好,我是Lake,专注大数据技术、程序员经验、互联网科技见解分享。
作为一个软件工程师,我个人目前从事的就是大数据方向。目前大数据可以分成很多具体的方向:大数据平台开发、大数据分析师(BI)、大数据运维、大数据处理(ETL)、大数据组件开发(偏大数据组件底层)。不同的工作方向,其工作内容还是有一定差异的,下面我来说下不同工作岗位具体的工作内容:
大数据平台开发更偏向对整体数据平台功能性开发,比如离线计算平台、实时计算平台、算法推荐平台等等。平时用的较多的语言是Java,其更偏向于Java开发。如果用户是上层用户,大数据相关组件作为最低层,大数据平台就桥接着用户和大数据组件,方便用户使用大数据组件的功能。
大数据分析师(BI同学)更多的是对我们已有的线上数据进行价值分析,从相关的线上用户所产生的数据中,发现出一些潜在的商业价值,能够更好的去辅助决策层的战略决定。BI需要对数据敏感、细心,善于从数据中发现业务价值,平常很多工作就是数据可视化、简单化、深入化、PPT化。
大数据运维同学主要是保障公司相关机器集群的稳定,使得它们不能出现故障。当申请到新的机器时,会在新机器上面部署各种大数据组件组成的集群。同样,当有业务同学需要用到机器时,可以给大数据运维同学提需求。当大数据组件集群突然因为什么变得集群不稳定时,运维同学需要去定位问题和解决问题,运维同学平时用的较多的Linux Shell脚本和命令行等,其职位更偏向于为其他同学提供机器稳定保障。
ETL同学(数仓同学)则是对我们的线上数据进行数据加工,形成DWD层(公共明细层)、DWS层(公共汇总层),形成统一的指标口径。ETL同学会根据不同的业务需求,一般使用SQL进行数据指标的加工,指导业务同学更好的运营相关业务。同时ETL同学更关注业务指标的口径,在指标开发的过程中,使用数仓模型对业务数据进行建模,便于开发的指标数据更加统一,减少口径偏差。
大数据组件开发,更多的是结合公司业务,对大数据基础组件进行定制化开发、性能优化、BUG修复等等。同时,也需要对业务方接入进行问题答疑,指导他们使用大数据组件满足业务需求。同时,你也需要运维你的大数据组件,当出现故障BUG时,需要你能及时修复,保证大数据组件的稳定。大数据组件开发需要对你自己运维的组件原理掌握的很全很深,只有这样,你才能够更好的指导别人。
总结
大数据开发有很多方向,你可以结合你自己的兴趣,选择一个从事方向。大数据目前很多互联网公司都在做,所以大数据整体的就业情况还是很不错的。当你选择具体的大数据方向后,希望你能够深入持续的学习你所从事的方向,技术在于深,而不在于浅尝辄止。
如果我的问答对你有帮助,欢迎你点赞转发或者关注我,你的一个小小的鼓励,就是我持续分享的动力,感谢。
大数据方面有很多的技术:
一是大数据平台本身,一般是基于某些Hadoop产品如CDH的产品部署后提供服务。部署的产品里面有很多的组件,如HIVE、HBASE、SPARK、ZOOKEEPER等,一般都是基于Java的;
二是ETL,即数据抽取过程;大数据平台中的原始数据一般是来源于公司内的其它业务系统,如银行里面的信贷、核心等,这些业务系统的数据每天会从业务系统抽取到大数据平台中,然后进行一系列的标准化、清理等操作,再然后经过一些建模生成一些模型给下游系统使用; ETL一般对应有一个调度平台,一般是Java等技术实现的,基于Kettle进行封装;因此在ETL过程中有以下工作:一是调度平台的开发(也可以是产品部署);二是ETL过程中需要使用到的一些Shell脚本的开发;三是ETL及建模过程中调用的一些SQL过程的开发;当然也还有模型的设计等较为高级的工作;
三就是数据分析了;在数据收集完成后基于这些数据要做一些什么样的处理,典型的如报表应用,那每天可能就是写SQL开发报表了;还有一些如风险监测等平台,都要基于大数据平台收集的数据来进行处理;更往上就是一些如客户行为预测分析等分析场景,这个时候就需要使用一些更加专业的数据分析工具如SAS或者其它的一些更加高级的语言如Python、R语言等来进行数据挖掘及分析了。
你所说的大数据平台开发,需要明确到底是哪方面的开发才能做进一步的解答。
大数据开发需要较强的数据分析理论和思维做基础,数据分析注重数据敏感度,业务问题的理解和转化能力。
大数据平台开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第一类在技术深度上的要求更低,第二类工作的话通常才大公司里才有,一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些,也更有技术含量。
从工作内容上来说,大数据开发主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主,与大数据可视化分析工程师相互配合,从数据中挖掘出价值,为企业业务发展提供支持。
大数据开发工程师的主要工作内容:
1、负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等;
2、主要从事网络日志的大数据分析工作,包括:网络日志的数据提取、数据融合及分析;专注于实时计算、流式计算、数据可视化等技术的研发;
3、负责网络安全业务主题建模等工作。
相关:
大数据开发工程师,所学习的知识是做什么的:
大数据开发是大数据职业发展的方向之一,另一方面是大数据分析。从工作内容,主要负责大数据的大数据挖掘,数据清洗的发展,数据建模工作,主要负责处理和大数据应用,主要在发展工作,结合大数据可视化分析工程师,挖掘出价值的数据,为企业提供业务发展支持。
这里还是要推荐下小编的大数据学习群:532218147,不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2017最新的大数据资料和0基础入门教程,欢迎初学和进阶中的小伙伴。在不忙的时间我会给解答
了解大数据开发是什么,如果您想从事大型数据开发工作,需要学习什么?。
让我们用光环大数据开发课程的例子来举例说明。
1阶段:JavaSE开发
阶段二:JavaEE开发
第三阶段:并发编程的实战开发
第四阶段:Linux的精彩对话
第五阶段:Hadoop生态系统
第六阶段:Python实际开发
第七阶段:风暴实时发展
第八阶段:星火生态系统
阶段九:Elasticsearch
十阶段:Docker容器引擎
第十一阶段:机器学习
阶段十二:超级集群优化
第十三阶段:大型数据项目实战
总结以上课程内容。大数据的发展需要java,linxu,数据库,Hadoop,Spark,风暴,Python,Elasticsearch知识、码头等。
目前,大数据通道的学习主要是通过参与大数据的训练,因为大数据的技术门槛很高,一般很难通过自学来学习。
最后,什么样的工作可以从事大数据的开发?:
1、Hadoop开发工程师
2。数据挖掘工程师
三.专业的数据科学家
4。首席数据官(CDO)
5.etl的研究与开发
6发展。大数据信息体系结构
7。数据仓库的研究
8.olap发展
9。重大数据安全研究
通过上面的介绍,我们可以了解大数据开发的概念以及大数据开发的学习内容,以及大数据开发具体工作岗位,对于大数据开发有了一个全面的了解,对于想要了解更多的大数据开发培训的信息,可以去光环大数据官网了解。