数据挖掘技术及其应用现状

说明：NN=Neural Net（神经网络）; DT=Decision Tree（决策树）;B=Bayes（贝叶斯方法）; kM=k-Means（动态聚类）; kNN=k-Nearest Neighbor（最邻近算法）; S=Traditional Statistical Techniques（传统统计技术）; P=Prediction（预测）; TS=Time Series（时间序列）; C=Clustering（聚类方法）; A=Association（关联方法）; W32=Windows 95/98/NT; U=UNIX; P=Parallel Scalability (in at least one OS)（并行方式）; A-S=API or SDK available（API或SDK方法可用）; SQL=Uses Special SQL Extensions

三、数据挖掘的实施步骤

前面我们讨论了数据挖掘的定义，方法和工具，现在关键的问题是如何实施，其一般的步骤如下：

问题理解和提出 —> 数据准备 —> 数据整理 —> 建立模型 —> 评价和解释

1．　问题理解和提出：在开始数据挖掘之前最基础的就是理解数据和实际的业务问题，在这个基础之上提出问题，对目标有明确的定义。

2．　数据准备：获取原始的数据，并从中抽取一定数量的子集，建立数据挖掘库，其中一个问题是如果企业原来的数据仓库满足数据挖掘的要求，就可以将数据仓库作为数据挖掘库。

3．　数据整理：由于数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，就要对数据进行初步的整理，清洗不完全的数据，做初步的描述分析，选择与数据挖掘有关的变量，或者转变变量。

4．　建立模型：根据数据挖掘的目标和数据的特征，选择合适的模型。

5．　评价和解释：对数据挖掘的结果进行评价，选择最优的模型，作出评价，运用于实际问题，并且要和专业知识结合对结果进行解释。

以上的步骤不是一次完成的，可能其中某些步骤或者全部要反复进行。

许多研究结构和公司结合自己的数据挖掘软件，提出数据挖掘过程模型，值得借鉴的是SAS研究所和SPSS公司提出的方案。

SAS研究所认为数据挖掘是对数据进行选择，探索，调整和建模来揭示数据中未知的模式，开发了图形界面的SAS/EM来进行数据挖掘：

(1)Sample —— 抽样：从大量的数据中抽取与探索问题有关的数据子集，这个样本应该包含足够的信息，又易于处理。

(2)Explore —— 探索：对数据子集进行探索，寻找出与期望的关系和未知的模式

(3)Modify —— 调整：对数据进行探索后，有了初步的了解，就必须对数据进行增减，选择，转化，量化，保证有效进行

(4)Model —— 建模：应用分析工具，建立模型，进行预测

(5)Assess —— 评价：评价数据挖掘结果的有效性和可靠性

SPSS公司提出了5A的模型，进行数据挖掘，认为任何数据挖掘方法学都由5个基本元素组成：

(1)Assess —— 正确、彻底的了解业务需求及数据

(2)Access —— 获取数据，做适当的调整

(3)Analyze —— 选择适当的分析、验证方法和工具

(4)Act —— 推荐性、有说服力的原型演示

(5)Automate —— 提供优秀的自动化软件。

四、数据挖掘应用现状

数据挖掘所要处理的问题，就是在庞大的数据库中找出有价值的隐藏事件，并且加以分析，获取有意义的信息，归纳出有用的结构，作为企业进行决策的依据。其应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用Mining工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务：

(1)商从顾客购买商品中发现一定的关系，提供打折购物券等，提高销售额

(2)保险公司通过数据挖掘建立预测模型，辨别出可能的欺诈行为，避免道德风险，减少成本，提高利润

(3)在制造业中，半导体的生产和测试中都产生大量的数据，就必须对这些数据进行分析，找出存在的问题，提高质量

(4)电子商务的作用越来越大，可以用数据挖掘对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计

一些公司运用数据挖掘的成功案例，显示了数据挖掘的强大生命力：

美国AutoTrader.com是世界上对大的汽车销售站点，每天都会有大量的用户对网站上的信息点击，寻求信息，其运用了SAS软件进行数据挖掘，每天对数据进行分析，找出用户的访问模式，对产品的喜欢程度进行判断，并设特定服务娶，取得了成功。

Reuteres是世界著名的金融信息服务公司，其利用的数据大都是外部的数据，这样数据的质量就是公司生存的关键所在，必须从数据中检测出错误的成分。Reuteres用SPSS的数据挖掘工具SPSS/Clementine，建立数据挖掘模型，极大地提高了错误的检测，保证了信息的正确和权威性。

Bass Export是世界最大的啤酒进出口商之一，在海外80多个市场从事交易，每个星期传送23000份定单，这就需要了解每个客户的习惯，如品牌的喜好等，Bass Export用IBM的Ineelligent Miner很好的解决了上述问题。

五、数据挖掘中存在的问题

尽管数据挖掘有如此多的优点，但数据挖掘也面临着许多的问题，这也为数据挖掘的未来的发展提供了更大的空间。

1．　数据挖掘的基本问题就在于数据的数量和维数，数据结构也因此显的非常复杂，如何进行探索，选择分析变量，也就成为首先要解决的问题。

2．　面对如此大的数据，现有的统计方法等都遇到了问题，我们直接的想法就是对数据进行抽样，那么怎么抽样，抽取多大的样本，又怎样评价抽样的效果，这些都是值得研究的难题。

3．　既然数据是海量的，那么数据中就会隐含一定的变化趋势，在数据挖掘中也要对这个趋势做应有的考虑和评价。

4．　各种不同的模型如何应用，其效果如何评价。不同的人对同样的数据进行挖掘，可能产生不同的结果，甚至差异很大，这就涉及到可靠性的问题。

5．　当前互联网的发展迅速，如何进行互联网的的数据挖掘，还有文本等非标准数据的挖掘，都引起了极大的兴趣。

6．　数据挖掘涉及到数据也就碰到了数据的私有性和安全性。

7．　数据挖掘的结果是不确定的，要和专业知识相结合才能对其做出判断。

总之，数据挖掘只是一个工具，不是万能的，它可以发现一些潜在的用户，但是不会告诉你为什么，也不能保证这些潜在的用户成为现实。数据挖掘的成功要求对期望解决问题的领域有深刻的了解，理解数据，了解其过程，才能对数据挖掘的结果找出合理的解释。例如曾经用数据挖掘找出的啤酒和尿布的例子，如何去解释这种现象，是应该将两者放在一起还是分开销售，这还需要对消费心理学有所研究才能做出决定，而不是数据挖掘能力所及的了。

来源：情报官世界