首页新闻找找看学习计划

大数据平台的搭建都还很模糊想找人讲讲

0
[已解决问题] 解决于 2019-12-25 10:39

大数据平台的搭建都还很模糊想找人讲讲,很多细节自己好像注意不到

慕言-的主页 慕言- | 菜鸟二级 | 园豆:208
提问于:2019-12-09 18:21
< >
分享
最佳答案
0

大数据平台的搭建步骤:

1、linux系统安装
一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础,在给硬盘做RAID和挂载数据存储节点的时,需要按情况配置。
2、分布式计算平台/组件安装
国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS,一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等
使用开源组件的优点:1)使用者众多,很多bug可以在网上找的答案(这往往是开发中最耗时的地方)。2)开源组件一般免费,学习和维护相对方便。3)开源组件一般会持续更新,提供必要的更新服务『当然还需要手动做更新操作』。4)因为代码开源,若出bug可自由对源码作修改维护。
3、数据导入
数据导入的工具是Sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台『一般主要导入到Hive,也可将数据导入到Hbase』。
4、数据分析
数据分析一般包括两个阶段:数据预处理和数据建模分析。
数据预处理是为后面的建模分析做准备,主要工作时从海量数据中提取可用特征,建立大宽表。这个过程可能会用到Hive SQL,Spark QL和Impala。
数据建模分析是针对预处理提取的特征/数据建模,得到想要的结果。这一块最好用的是Spark。常用的机器学习算法,如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等,都已经在ML lib里面,调用比较方便。
5、结果可视化及输出API
可视化一般式对结果或部分原始数据做展示。一般有两种情况,行数据展示,和列查找展示。要基于大数据平台做展示,会需要用到ElasticSearch和Hbase。Hbase提供快速『ms级别』的行查找。 ElasticSearch可以实现列索引,提供快速列查找。

奖励园豆:5
moments_hadoop | 初学一级 |园豆:53 | 2019-12-10 17:37
其他回答(2)
0

大数据是个很笼统的概念,是对数据进行分析将其可视化

I0gan | 园豆:202 (菜鸟二级) | 2019-12-09 19:50
0

先买本handoop大数据开发的书看看吧

ycyzharry | 园豆:20757 (高人七级) | 2019-12-09 21:54
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册