当前位置: 首页 大数据 正文

大数据平台架构:数据平台建设的几种方案

来源: 大数据小王子 2020-12-28 10:57:08.0

随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台。而企业搭建大数据平台,往往需要结合成本、业务、人员等各方面的因素,来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。

作者:佚名  来源:腾讯云

随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台。而企业搭建大数据平台,往往需要结合成本、业务、人员等各方面的因素,来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。

数据平台其实在企业当中一直都是存在的,但是进入到数据爆发式增长的大数据时代,传统的企业级数据库,在满足数据管理应用上,并不能完全满足各项需求。

对于企业而言,基于大数据背景下的企业数据管理应用,也需要更加符合需求的数据平台建设方案。

主流数据平台建设方案

从市场主流选择来看,企业数据平台建设方案,目前大致有以下几种:

1、常规数据仓库

数据仓库的重点,是对数据进行整合,同时也是对业务逻辑的一个梳理。数据仓库虽然也可以打包成SAAS那种Cube一类的东西来提升数据的读取性能,但是数据仓库的作用,更多的是为了解决公司的业务问题。

2、敏捷型数据集市

数据集市也是常见的一种方案,底层的数据产品与分析层绑定,使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。数据集市,主要的优势在于对业务数据进行简单的、快速的整合,实现敏捷建模,并且大幅提升数据的处理速度。

3、MPP(大规模并行处理)架构

进入大数据时代以来,传统的主机计算模式已经不能满足需求了,分布式存储和分布式计算才是王道。大家所熟悉的Hadoop MapReduce框架以及MPP计算框架,都是基于这一背景产生。

MPP架构的代表产品,就是Greenplum。Greenplum的数据库引擎是基于Postgresql的,并且通过Interconnnect神器实现了对同一个集群中多个Postgresql实例的高效协同和并行计算。

4、Hadoop分布式系统架构

当然,大规模分布式系统架构,Hadoop依然站在不可代替的关键位置上。雅虎、Facebook、百度、淘宝等国内外大企,最初都是基于Hadoop来展开的。

Hadoop生态体系庞大,企业基于Hadoop所能实现的需求,也不仅限于数据分析,也包括机器学习、数据挖掘、实时系统等。企业搭建大数据系统平台,Hadoop的大数据处理能力、高可靠性、高容错性、开源性以及低成本,都使得它成为首选。

关于大数据平台架构,数据平台建设的几种方案,以上就为大家做了一个简单的介绍了。企业基于大数据平台建设的需求,对于专业人才的需求度也正在增加,具备过硬技术实力的大数据人才,将受到更高程度的青睐。


免责声明:本文版权归原作者所有,钱大人登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。此文如侵犯到您的合法权益,请联系我们。

分享到:
  • 在不把微商整顿一下那么你的微信产品真的很危险了 微商里面百分之九十以上都是假货 骗来骗去都是骗的身边好友 可恨又可恶 抵制微商封杀微商
    08-30 19:02

用户推荐

换一换
  • 机器人之心

    最新最全的机器人行业资讯,聚焦机器人投顾动态,关注机器人行业技术革新,机器人创业者

  • 财经资讯

    关注互联网财经资讯动态!

  • 钱大人

    以机器人投顾金融资讯为核心,囊括机器人投顾、大数据、科技金融、基金和创投多个垂直领域的内容,及时价值,专业权威。

  • 科技快报

    关注互联网科技发展动态!

  • 道哥论道

    道哥的互联网创投思考,关于互联网,关于新媒体,关于创业,关于投资,关于新商业,关于人工智能。