数据仓库系统

　　近年来随着大数据技术和应用的发展，数据仓储需求也急剧增加，存储成本大幅提高。在此情况下，分级存储的思想被提出，各种数据分级策略、迁移方法和新的相应存储平台涌现。但由于技术发展的历史过程，目前企业中大量数据仍以二维表的形式存储在关系型数据库中，完全推翻现有系统架构重建新的存储平台，受限于成本、技术实现复杂和对持续提供服务的需求，通常企业无法接受。

　　泛普发现了一种基于传统关系型数据库和Hadoop，共同构建的分级存储管理的数据仓库系统设计，可作为传统数据仓库向分级存储平台逐步过渡演进的中间解决方案。

　　数据分类放置指基于数据的访问、恢复等特征，并根据不同的业务目标进行划分存放，以实现基于信息的重要程度对数据进行存储管理。

　　数据仓库的特性

　　1、集成性

　　集成性是数据仓库最重要的特性。数据仓库中的数据由多个类型的数据源传输而来，不论上游数据管理组件是mysql,oracle,tidb,redis,mongodb或者任何没有听过的技术名词，数据进入数据仓库之后可以使用一种技术进行处理，大大降低了数据的使用难度。

　　当然集成性的具体细节还包括：

　　码值一致转换：上游性别由male/famale,0/1,x/y，统一重新编码

　　字段类型映射：上游int(11),varchar2,zset等转为数仓技术字段类型

　　数据传输效率：大数据量不必每一次全部传输，获取增量是一个好选择。

　　2、非易失与随时间变化

　　当数据从线上传输到了数据仓库时，就留下了数据的快照，绝大部分数据仓库允许数据24小时的失准时间(t-1)，所以大部分数据仓库都是每隔一天传输一次数据。

　　3、面向主题

　　面向主题实际上是根据业务对于数据进行有效编码，让理论最佳值在应用中落地。

　　对于一个数据模型，通常近期的数据具有较高的访问频度，历史数据具有较低的访问频度。因而最简单的一种分类方式是基于数据的时间周期和业务类型划分在线、离线数据。在线数据保留在数据挖掘建模数据库上，离线数据定期从数据挖掘建模数据库迁移到hadoop集群上存放。为了便于数据分类放置，数据建模的物理模型可以采用按时间周期分表或者按时间周期进行表分区的方式。

　　数据分类放置的策略制定后，通过数据迁移，实际上数据挖掘建模数据库上保留模型数据的数据周期已固定，不需要再进行存储策略的管理。但是随着时间的推移，迁移到Hadoop集群的历史周期数据会积累的越来越多，占用的存储会越来越大。而实际上过旧的数据实际上也会失去使用价值，没必要一直保留。此时需要通过一定的存储管理策略，对历史数据进行定期的清理。

发布：2021-06-10 16:15 编辑：泛普软件 · luohongying [打印此页] [关闭]