中国简单快捷的免费行业信息发布平台
·手机版 ·注册 ·登录 ·会员中心 ·忘了密码 ·导航 ·帮助
名站在线LOGO
·设 为 首 页
·收 藏 本 站
·新 站 登 录
网站首页
|
行业供求
|
行业产品
|
行业公司
|
站内检索
|
行业资讯
|
网站导航
|
链接交换
|
流量交换
|
网友收藏
您当前的位置: 首页 > 行业贴吧 > 话题


行业贴吧

(注意:网友的发布表不代表本站立场。)
回复话题
发新话题
返回列表
话题: 大数据分析技术架构的通用模块
183.17.230.*
2020-10-19 13:14:54
  对于企业来说,坐拥庞大的数据资源,想要实现大数据分析,首先要建立自己的大数据系统平台,每个公司都有自己的具体业务场景,因此对大数据平台的要求也不同。今天我们仅从通用的角度,来聊聊大数据分析需要什么技术架构?



  不同的业务场景下,需要根据实际的业务需求,选择适合自己的技术框架,来搭建自己的大数据架构体系。但是从技术架构体系的共性来说,是可以从通用的技术模块去理解,来帮助我们更好地学习和掌握大数据技术架构的。



  大数据分析技术架构通用模块:



  数据收集模块:主要负责收集各种数据源的数据,包括日志文件、网络请求、数据库、消息队列等,并将这些数据转换为文件或者消息向后传递。



  数据转存模块:主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。



  ETL模块:主要负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库等。



  数据仓库模块:这是整个架构的核心,数据仓库是数据有组织的集中存储的地方,负责数据的存取和管理。



  元数据管理模块:主要负责记录和约束数据仓库中数据的含义和格式,控制着数据的生命周期和数据质量。



  分析引擎模块:数据分析师交互*多的模块,主要负责执行各种分析语句或代码,完成各种分析任务。



  作业管理与调度模块:负责分析作业的管理和定时调度,包括作业的增删改查、查看修改历史、设置调度定时和执行引擎等。



  资源分配与调度模块:主要负责在多作业同时运行的场景下,**协调和分配集群的资源,使资源利用率**化。



  大数据分析技术架构的通用模块.中琛魔方大数据平台(zcmorefun.com)表示大数据的技术结构需要与实际业务、学习阶段相结合,先从通用层面去掌握,实际工作当中还需持续积累经验,才能真正地掌握扎实,融会贯通。
共0个回复
回复话题
发新话题
返回列表



新站登录--网站简介--流量交换--名站收藏夹--广告服务--友情链接--免责声明--联系我们--意见建议--违法举报--侵权举报
Copyright 2005-2024 名站在线[fwol.cn]版权所有 经营许可证:粤ICP备17047754号