数据仓库软件

　　随着 IT 时代步入到 DT 时代，从数据中挖掘价值已经变得越来越重要。数据仓库系统长期以来一直是企业 IT 架构的重要组成部分，并且逐步与大数据等技术相融合，已然成为建设数据文化的智慧型企业的必然措施。

　　数据仓库的概念在 1991 年被美国著名的信息工程专家 William Inmon 博士首次提出，它是数据库技术发展到一定阶段的产物。数据仓库是面向主题的、集成的、稳定的和随时间变化的数据集合，是一个数据分析处理过程，而不仅仅是一个数据存储软件或产品。

　　数据仓库系统由数据挖掘建模数据库与Hadoop数据仓储集群共同组成。原始数据来源于各类诸如CRM、ERP等的业务支撑系统。根据数据是结构化数据或半、非结构化数据分为两类。其中，结构化数据通常来自关系型数据库的数据源，通过ETL工具从源系统抽取装载到用于数据挖掘分析的数据挖掘建模数据库上。一般原始数据在数据挖掘建模数据库上会再经过一系列建模的数据处理逻辑，转换成用于数据挖掘分析的模型数据。模型数据基于一定的放置迁移策略，一部分存放在数据挖掘建模数据库上，一部分通过数据迁移工具存放到Hadoop集群上。半、非结构化数据由于不方便用二维逻辑表来表示，因而跳过数据挖掘建模数据库，直接存放至Hadoop集群上。

　　选择传统关系型数据库作为数据挖掘建模数据库主要是基于以下几个原因：

　　1、大量源系统都是关系型数据库，数据是结构化的二维表数据。

　　2、范式建模法、维度建模法、E-R建模法，其物理建模的结果都是二维表。

　　3、现有数据仓库很大一部分都是基于关系型数据库建设的。

　　选择Hadoop集群存放离线数据主要是基于以下几个原因：

　　1、集群横向扩展相较传统关系型数据库容易。

　　2、使用x86的pc较传统小型机服务器在硬件成本上更低。

　　3、较传统磁带更便于数据恢复和访问使用。

　　4、兼容存放和处理非、半结构化数据。

　　非、半结构化数据从源系统获取后直接放置在Hadoop集群上，不再进行进一步分类放置了。

　　数据仓库是数据使用人员最常接触的工具，也是数据开发人员的敲门砖，但是它仅仅是一个起点而已。

　　泛普发现如今整个大环境都在谈智能化、物联网、大数据等，这都影响到仓储管理软件的需求，要求仓储管理软件必须非常好地和更多智能化的设备进行集成，目的就是提高仓库作业的效率，同时避免出错，提高准确率。另外，随着智能传感设备的应用，提高了数据的互通性，系统越来越智能，使得仓储端能够非常准确也非常及时地把握供应链的发展和管理的情况。提高准确度和可视化，这是对供应链的需求。当然在大数据的背景下，数据分析要求越来越高了，要准确进行数据的分析;集成多方面的数据，包括数据仓库进行一些数据挖掘，都是对供应链管理的新需求。

发布：2021-06-10 16:17 编辑：泛普软件 · luohongying [打印此页] [关闭]