您好,欢迎来到二三四教育网。
搜索
您的当前位置:首页敲黑板 划重点 自学大数据应从哪里入手

敲黑板 划重点 自学大数据应从哪里入手

来源:二三四教育网

大数据本身就是数据,但又囊括了新的特征。包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。

那么,针对大数据主要的4个特征我们主要考虑以下问题:

数据来源广,该如何采集汇总?,

数据采集之后,该如何存储?

 数据存储之后,该如何通过运算快速转化成一致的格式,该如何快速运算出自己想要的结果?

回应上面的各种问题,我们对应出现了Sqoop,Cammel,Datax等工具。出现了GFS,HDFS,TFS等分布式文件存储系统。对应的MapReduce这样的分布式运算框架解决了这个问题;但是写MapReduce需要Java代码量很大,所以出现了Hive,Pig等将SQL转化成MapReduce的解析引擎;

普通的mapReduce处理数据只能一批一批处理,时间相对较长,为了加快速度,实现输入数据便得到结果的愿望,我们相应的又出现了Storm/JStorm这样的低时延的流式计算框架。

  但是如果同时需要批处理和流处理,按照如上就得搭两个集群,Hadoop集群(包括HDFS+MapReduce+Yarn)和Storm集群,不易于管理,所以出现了Spark这样的一站式的计算框架,既可以进行批处理,又可以进行流处理(实质上是微批处理)。而后Lambda架构,Kappa架构的出现,又提供了一种业务处理的通用架构。

为了提高工作效率,加快运速度,出现了一些辅助工具:

Ozzie,azkaban:定时任务调度的工具。

Hue,Zepplin:图形化任务执行管理,结果查看工具。

  Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。

  Python语言:编写一些脚本时会用到。

Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。

以上就是大数据生态中应用工具可解决的问题,至于问题如何出现,问题出现又将如何的解决,就有待同学们进行深入的挖掘和研究啦。

学习大数据开发,可以参考好程序员提供的大数据学习路线,我们好程序员提供完整的大数据开发知识体系,内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习。

Copyright © 2019- how234.cn 版权所有 赣ICP备2023008801号-2

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务