目录
1. 多维数据是什么?
2. 多维数据库用来做什么?
3. 为什么要多维分析?
4. 多维数据分析领域中的概念
5. OLAP(online Analyze Process 在线分析处理)
6. Mondrain
7. Kylin
多维数据库(Multi Dimensional Database,MDD)可以简单理解为把数据存放在一个n维数组中,而不是像关系数据库那样以记录形式存放,因此它存在大量稀疏矩阵(因为很多维度可能没有数据)。它的优势在于可以提高数据处理速度,加快反应时间,相当于是以空间换时间的做法。
稀疏矩阵:
在矩阵中,如果数值为0的元素数目远远多于非0元素,则为稀疏矩阵;反之,则为稠密矩阵。
(关系型)数据库、数仓、多维数据库:
- 数据库中一般存放的是业务属性的表
- 为了进行数据分析和挖掘,建设数仓
- 为了更强、更快,且面向业务的数据分析,就会建立多维数据库
多维数据库主要用于OLAP(online Analyze Process 在线分析处理)。它们可用于向用户显示多维数据。
- 为什么要分析:(1) 看清业务现状;(2) 预测业务走势;(3) 数字驱动业务,发现问题并调整
- 为什么要多维:(1) 不同角色关注不同维度;(2) 人岗匹配,不同岗位的关键指标不同
不同角色关注不同维度:
- 销售经理关心各个地区的销售情况,希望找出销售增长率在平均水平之下的地区
- 产品总监则希望了解近期内各种产品的销量对比,以作为后期产品研发方向的参考
- CEO想要知道近六个月内整体销售环比信息,用以评估是否达到公司运营目标
- 同比:与去年同时期相比的变化比
- 环比:与上个统计周期相比的变化比
- 数据立方体(Cube)
- 维度(Dimension)
- 维度成员(Member)
- 度量(Measure)
- 级别(Level)
数据立方体(Cube):
维度(Dimension): 维度成员(Member):维度是坐标轴,维度成员是坐标值
度量(Measure):多维数组的取值 级别(Level):维度成员观察数据的粒度
OLAP是一项在线数据分析技术。它能够基于数仓看清业务现状,预测业务走势,为业务决策提供数据支撑。
OLAP如何工作?
- 从多个数据源(如mysql、excel、xml)收集数据并存储到数仓
- 然后清理并组织成数据立方体
OLAP可以对 多维数据库 执行的5种操作:
- 汇总:汇总数据和维度
- 下钻:在数据维度中更深入分析,省下钻市,年下钻月
- 切片:执行分析显示一级信息,如“2022年销售额”
- 切块:多个维度进行分析,如“陕西省2022年手机销售额”
- 旋转:通过旋转多维数据集的数据轴来获得新数据视图
OLAP(在线分析处理)分为三种类型:
- MOLAP(多维OLAP):MOLAP是一种基于多维数据库索引的OLAP
- ROLAP(Relational OLAP):ROLAP是基于关系型数据库的动态多维OLAP
- HOLAP(混合OLAP):HOLAP是MOLAP和ROLAP的集成
mondrain是基于java语言的OLAP引擎,它接收MDX查询语句,从关系型数据库中读取数据,然后通过java API以多维度的形式展示查询结果。
mondrain架构:
mondrain机构可以分为四个层次,表现层、计算层、聚合层、存储层
- 表现层:用多种方法展现多维数据,包括饼、柱、线状图、数据透视表。特殊点在于,它是基于taglib而不是SpringMVC
- 计算层:分析、验证、执行MDX语句,先计算坐标轴,再计算单元格。计算层从聚合层批量获取单元格数据集合
- 聚合层:聚合层中缓存了多维查询结果,即单元格数据集合。如果计算层所需的数据不在缓存中,就从存储层查询数据并缓存。
- 存储层:采用关系数据库实现,一般采用星型模型,提供维表、事实表和聚合表
Kylin是一个OLAP系统,主要用于大数据分析。它对Hive中的数据预计算,充分利用Hadoop中的MapReduce框架的并行处理能力实现,将计算好的结果保存成Cube并存储到Hbase中,供查询时直接访问。是一种用空间换时间的解决方案。
Mondrain是一个ROLAP系统,所有的查询可以通过实时的数据库查询完成,而不会有任何预计算,但是会将查询结果缓存在程序内存中。
Kylin是一个MOLAP系统,对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube并存储到Hbase中,供查询时直接访问。
Kylin架构:
Kylin默认的数据源是Hive,构建技术主要是MapReduce,将构建好的Cube保存在存储引擎(默认Hbase)中。
以上就是本篇文章【多维数据库】的全部内容了,欢迎阅览 ! 文章地址:http://zleialh.tongchengxian.cn/quote/100.html 行业 资讯 企业新闻 行情 企业黄页 同类资讯 网站地图 返回首页 通成线资讯移动站 http://zleialh.tongchengxian.cn/mobile/ , 查看更多