重复数据删除驰骋主存储

申请免费试用、咨询电话：400-8352-114

主存储的重复数据删除

在虚拟磁带库、备份、归档等二级存储系统应用中，重复数据删除、压缩等数据缩减或容量优化方法很常见，也很好用。二级存储系统因采用这些方法而获得了降低成本（或至少推迟采购）和节能的好处。不过，现在主存储系统也可以获得同样的好处了，表现最显著的是NAS服务器。

不过在开始评估各种选择之前，就数据缩减而言，很重要的一点是，要注意主存储系统和二级存储系统需求间的差别，其主要差别是性能要求不同。

曾在市场研究与咨询公司Janeja Group任高级分析师兼顾问的Eric Burgener表示:“主存储系统优化（PSO）和二级存储系统优化（SSO）的关键差别在于，对访问时延的要求不同。主存储系统的访问时延要求一般比二级存储系统严格得多。”

存储优化处理确实引起了时延，不过不同的解决方案已经最大限度地减少或消除了对性能的影响。

Burgener说:“与二级存储系统相比，主存储系统中的数据冗余低得多，因此一般情况下人们会发现，主存储系统的压缩比也低得多，而注意到这一点很重要。”

不过，他说，对于主存储系统数据压缩和重复数据删除引起的性能问题，一些厂商正在想办法解决。他认为，用户应该理解，8∶1和20∶1的数据缩减比之间没有很大的不同。

在二级存储系统上进行数据缩减，可能获得20:1或更高的容量优化率，而在主存储系统上进行数据缩减，一般只能获得一位数的容量优化率（尽管根据厂商解决方案和数据类型的不同而不同，这个比率变化很大）。不过，因为所需容量的减少发生在昂贵的主存储系统上，所以，即使3:1的数据缩减比也可能带来极大的成本节省，例如，仅为2∶1或3∶1的比率就可能分别将所需容量降低50%或66%。

对二级存储系统进行数据缩减有各种不同的方法，这些方法之间存在差别，如果比较一下厂商们对主存储系统采用的数据缩减方法就会发现，其差别情况与二级存储系统类似。例如，有些厂商使用在线（in-line）数据缩减的方法（在数据写入磁盘之前进行容量优化，有时是实时的），而其他一些厂商则使用后处理（post-processing）方法（即数据存储到磁盘上以后，再进行数据缩减）。

Burgener表示，一般来说，in-line方法需要较少的原始数据存储容量，但是处理速度可能是个问题，因为应用性能可能受到负面影响。后处理方法一般不会引起可能影响应用性能的附加时延，但是，这种方法确实需要更多的存储容量，究竟要多多少，取决于需要多长时间才能将数据处理成容量优化形式。

IDC公司存储软件研究经理Noemi Greyzdorf表示: “in-line与后处理容量优化方法的优点和缺点取决于你采用的方法，以及所采用的方法对读/写性能和附加容量需求的影响。”

另外，有些厂商采用“通用（generic）”算法（对所有类型的数据都采用相同的算法），而Ocarina Networks公司则针对特定类型的文件，如: jpeg、tiff等，采用“内容识别”算法。

影响数据缩减的关键因素

数据缩减这种技术首次出现时，最终用户并不愿意采用，因为他们担心性能降低（吞吐量和/或时延）、数据可用性和可靠性问题。在主存储系统应用环境中，这些担忧更加重了，因为性能、可用性和可靠性在主存储系统中要关键得多。

不过，厂商们的技术研发已经大大减轻了这些担忧。尽管数据缩减这种技术可能引起时延，但是一般情况下，已经最大限度地降低了时延（在读数据时降至几毫秒），对很多应用来说，时延也许不是个问题了，而且所有厂商都已经提高了吞吐速度。

通过先进的数据指纹和混编算法、字节级验证、校验和以及其他方法，大多数厂商可保证数据可靠性（即检索出的容量优化数据与原来的数据完全相同）。数据可用性问题也已经解决，在有些情况下，是通过采用数据缩减专用设备解决的，这些设备均以镜像配对形式配置。

IDC公司的Greyzdorf说: “对于主存储系统数据缩减而言，很多用户仍在设法了解不同的方法，因为他们必须确保不丢失数据。”

有些最终用户正在计划评估主存储系统数据缩减方法，对他们来说，倒是有一个好消息—数据缩减技术领域的厂商数量相对较少，而且这些厂商大多数都提供工具软件，以供用户了解对于特定的数据集来说，能够实现多高的容量优化率（尽管在这个问题上，分析师们仍然建议要了解一下厂商提供的参考客户的情况）。

对于主存储系统数据缩减来说，尽管在各种不同的方法之间有可能进行一些“苹果对苹果”的比较，但是大部分比较是 “苹果对橘子”的性质，因为解决方案差异很大。不过，目标是相同的: 降低/优化所需容量，这反过来又可极大地节省成本以及降低空间、功耗和冷却要求。

主要厂商及特点

以下简要介绍一下在主存储系统数据缩减领域有哪些主要厂商，以及在分析师的眼中，这些厂商主要的与众不同之处。

NetApp

NetApp也许是重复数据删除领域最热衷的支持者，该公司交付了大量具有重复数据删除功能（用后处理方法实现）的系统，堪称数据缩减市场上的领导者。该公司称，已经交付了3.7万多个具有重复数据删除功能的系统。当然，问题是，实际上有多少客户在使用NetApp的重复数据删除功能。

NetApp公司存储效率高级市场经理Larry Freeman的答案是，客户至少正在使用1.5万个系统的重复数据删除功能，NetApp可以通过自动支持功能跟踪使用情况。据Freeman估计，在这些系统中，“大约有60%正在对至少一个主存储系统应用进行重复数据删除。”

NetApp在其Data ONTAP操作系统中免费集成了重复数据删除技术，因此，该公司所有平台，例如FAS、V-Series、VTL等，都可提供重复数据删除功能。另外，通过V-Series虚拟化网关，NetApp还可以在竞争对手的磁盘阵列上进行重复数据删除，其中包括EMC、惠普、日立数据系统和IBM的阵列。NetApp还保证，在虚拟服务器环境中，第三方磁盘所需容量可减少35%。

与这一领域的其他厂商类似，NetApp专注于虚拟服务器环境，在这类环境中，重复数据删除比率可以相对高一些。Freeman说，实际上在VMware环境中，典型情况下大约可以节省70%的容量。

EMC

今年早些时候，EMC宣布，其Celerra NS系列NAS平台支持重复数据删除和数据压缩（该系列平台也支持光纤通道和iSCSI）。EMC的重复数据删除技术名为EMC Data Deduplication，集成在Celerra Manager软件中，并基于EMC的Avamar（用于重复数据删除）和RecoverPoint（用于压缩）技术。EMC的数据缩减功能免费提供。

EMC称，其重复数据删除技术可以将所需文件系统容量降低多达50%。德国的Karlsruhe Institute of Technology是其早期采用者，其主存储系统数据量降低了25%。

对于虚拟服务器环境来说，EMC的重复数据删除技术可与该公司的VMware View一起使用， VMware View是一个vCenter插件。

最近，EMC又宣布，与Ocarina Networks就产品与技术整合建立合作关系。

Ocarina

除了EMC，Ocarina还与BlueArc、惠普、Isilon、日立数据系统、Nirvanix等厂商有合作关系。

按照Ocarina公司首席执行官Murli Thirumale的说法，Ocarina的关键不同之处在于，其ECOsystem数据缩减平台通过专门的算法，提供内容识别（特定类型文件）优化。ECOsystem采用后处理（或离线，或out-of-band）方法，兼具对象级数据的重复数据删除和压缩功能。“ECO”指的是该系统进行容量优化的“抽取-关联-优化”方法，用这种方法时，数据首先抽取出来，变换成原来的格式（而且如果是压缩数据，还要解压缩），然后再用与特定子文件或对象匹配的算法进行关联（混编）和优化。在某些环境中，这种方法可实现更高级的容量优化，而且由于这种方法是在后处理采用的，所以不会降低主存储系统应用的性能。

ECOsystem中包括一个执行容量优化的Optimizer和一个按需扩充文件的ECOreader。

Ocarina很早就在图像应用环境中取得了成功（尽管该公司的技术不仅限于图像领域），例如，柯达公司用Ocarina的ECOsystem管理超过20PB的照片数据。

Storwize

Storwize是主存储系统数据缩减技术市场的先驱，该公司的技术也可以用于二级存储系统。Storwize的关键不同点是，其in-line方法基于增强的实时压缩（而没有重复数据删除，尽管Storwize的技术可以与重复数据删除一起使用）。

Storwize公司全球市场高级副总裁Peter Smails表示:“我们是惟一一家对优化（压缩）数据提供实时和直接随机存取的公司。”

与后处理数据缩减方法不同，Storwize的STN设备在数据第一次建立时、即在起始点进行优化，在数据写入磁盘时对数据进行压缩。因此，该平台不像后处理方法那样，不需要任何附加磁盘容量。

为了提高设备吞吐量，Storwize最近推出了STN-6000i系列，该系列产品提供高达800MBps的吞吐量，而以前的产品吞吐量为600MBps。

Hifn

今年4月被Exar收购的Hifn公司采用另一种数据缩减方法。该公司向OEM提供兼有重复数据删除、增强压缩和加密功能的板卡和软件。最新的板卡是BitWackr 250和255，这些板卡可以插入任何Windows服务器，价格预计为950美元左右。

与存储网络上基于专用设备的方法不同，与本质上位于主存储系统之后的目标端方法也不同，Hifn的板卡插入服务器，并优化写入本机磁盘的数据。重复数据删除发生在NTFS文件分配单元中。

Exar公司存储系统产品副总裁John Matze解释说:“NTFS先进行重复数据删除，然后我们的板卡和软件再做进一步的重复数据删除和压缩。”

另一个不同之处是，Hifn利用基于ASIC的硬件加速。

尽管相对来说Hifn不那么知名，但是该公司却不是数据缩减领域的新手。配备硬件压缩的大多数虚拟磁带库（VTL）都采用Hifn的板卡，如FalconStor、IBM、Overland Storage、Sepaton以及其他一些厂商的虚拟磁带库。

greenBytes

greenBytes是数据缩减市场的新手，该公司原来预期今年6月开始交付产品。

greenBytes的不同之处是，它捆绑了多种技术，包括压缩、子文件级重复数据删除、海量空闲磁盘阵列（MAID）、固态盘（SSD）驱动器、除了CIFS和NFS还支持iSCSI以及n-to-n复制。另外，greenBytes的软件基于开源代码，尤其是OpenSolaris和一个修改版的ZFS文件系统，以提高可扩展性（按照首席技术官Bob Petrocelli的说法，高达数百TB都不会影响性能）。

greenBytes的专用设备采用源端数据缩减方法，其写速度高达800MBps。

greenBytes的方法采用了一种关键技术，该公司将其称为“基于概率的恒定时间搜索”。在这种方法中，系统可以确定以前在“恒定”时间内是否遇到了一个特定的数据块，而不管系统获得的文件有多大。该技术在固态盘上实现。Petrocelli说，这种技术的好处是高速重复数据删除，而且存储的数据增多时，速度不会受到影响。另外，greenBytes的方法先压缩数据，然后再进行重复数据删除，据称可以支持高达2PB的名字空间。

对于正在考虑主存储系统数据缩减的用户，IDC公司的Greyzdorf提出了以下建议:“首先要了解自己的数据是什么类型的，了解这些数据的存取方式，有多少正在使用的数据和静态数据，要对这些数据做什么，包括备份、复制、快照等，这样才能更好地了解什么类型的容量优化技术最适合自己的特定环境。”