热门推荐
多维数据库
2024-11-07 19:42

目录

1. 多维数据是什么

2. 多维数据库用来做什么

3. 为什么要多维分析

4. 多维数据分析领域中的概念

5. OLAP(online Analyze Process 在线分析处理

6. Mondrain

7. Kylin


        多维数据库(Multi Dimensional Database,MDD)可以简单理解为把数据存放在一个n维数组,而不是像关系数据库那样以记录形式存放,因此它存在大量稀疏矩阵(因为很多维度可能没有数据)。它的优势在于可以提高数据处理速度,加快反应时间,相当于是以空间换时间的做法。

稀疏矩阵

        在矩阵中,如果数值为0的元素数目远远多于非0元素,则为稀疏矩阵;反之,则为稠密矩阵。

(关系型)数据库、数仓、多维数据库

  1. 数据库中一般存放的是业务属性的表
  2. 为了进行数据分析和挖掘,建设数仓
  3. 为了更强、更快,且面向业务的数据分析,就会建立多维数据库

        多维数据库主要用于OLAP(online Analyze Process 在线分析处理)。它们可用于向用户显示多维数据。

  • 为什么要分析:(1) 看清业务现状;(2) 预测业务走势;(3) 数字驱动业务,发现问题并调整
  • 为什么要多维:(1) 不同角色关注不同维度;(2) 人岗匹配,不同岗位的关键指标不同

不同角色关注不同维度

  • 销售经理关心各个地区的销售情况,希望找出销售增长率在平均水平之下的地区
  • 产品总监则希望了解近期内各种产品的销量对比,以作为后期产品研发方向的参考
  • CEO想要知道近六个月内整体销售环比信息,用以评估是否达到公司运营目标
  • 同比:与去年同时期相比的变化比
  • 环比:与上个统计周期相比的变化比
  • 数据立方体(Cube
  • 维度(Dimension
  • 维度成员(Member
  • 度量(Measure
  • 级别(Level

数据立方体(Cube):                                                       

维度(Dimension):                                维度成员(Member):维度是坐标轴,维度成员是坐标值

度量(Measure):多维数组的取值                       级别(Level):维度成员观察数据的粒度

        OLAP是一项在线数据分析技术。它能够基于数仓看清业务现状,预测业务走势,为业务决策提供数据支撑。

 OLAP如何工作

  • 从多个数据源(如mysql、excel、xml)收集数据并存储到数仓
  • 然后清理并组织成数据立方体

OLAP可以对 多维数据库 执行的5种操作

  • 汇总:汇总数据和维度
  • 下钻:在数据维度中更深入分析,省下钻市,年下钻月
  • 切片:执行分析显示一级信息,如“2022年销售额”
  • 切块:多个维度进行分析,如“陕西省2022年手机销售额”
  • 旋转:通过旋转多维数据集的数据轴来获得新数据视图

OLAP(在线分析处理)分为三种类型

  • MOLAP(多维OLAP:MOLAP是一种基于多维数据库索引的OLAP
  • ROLAP(Relational OLAP:ROLAP是基于关系型数据库的动态多维OLAP
  • HOLAP(混合OLAP:HOLAP是MOLAP和ROLAP的集成

        mondrain是基于java语言的OLAP引擎,它接收MDX查询语句,从关系型数据库中读取数据,然后通过java API以多维度的形式展示查询结果。

mondrain架构

        mondrain机构可以分为四个层次,表现层、计算层、聚合层、存储层

  • 表现层:用多种方法展现多维数据,包括饼、柱、线状图、数据透视表。特殊点在于,它是基于taglib而不是SpringMVC
  • 计算层:分析、验证、执行MDX语句,先计算坐标轴,再计算单元格。计算层从聚合层批量获取单元格数据集合
  • 聚合层:聚合层中缓存了多维查询结果,即单元格数据集合。如果计算层所需的数据不在缓存中,就从存储层查询数据并缓存。
  • 存储层:采用关系数据库实现,一般采用星型模型,提供维表、事实表和聚合表 

        Kylin是一个OLAP系统,主要用于大数据分析。它对Hive中的数据预计算,充分利用Hadoop中的MapReduce框架的并行处理能力实现,将计算好的结果保存成Cube并存储到Hbase中,供查询时直接访问。是一种用空间换时间的解决方案。

        Mondrain是一个ROLAP系统,所有的查询可以通过实时的数据库查询完成,而不会有任何预计算,但是会将查询结果缓存在程序内存中。

        Kylin是一个MOLAP系统,对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube并存储到Hbase中,供查询时直接访问。

Kylin架构

        Kylin默认的数据源是Hive,构建技术主要是MapReduce,将构建好的Cube保存在存储引擎(默认Hbase)中。

    以上就是本篇文章【多维数据库】的全部内容了,欢迎阅览 ! 文章地址:http://zleialh.tongchengxian.cn/quote/100.html 
     行业      资讯      企业新闻      行情      企业黄页      同类资讯      网站地图      返回首页 通成线资讯移动站 http://zleialh.tongchengxian.cn/mobile/ , 查看更多   
发表评论
0评