“大”数据中心是未来

02.04.2015  13:45
 全球数据正呈现出惊人的增长态势。根据IBM公司估算,人类自有史以来至2003年所创造的信息量为5EB,而到2011年,人类每两天就产生了5EB的信息量,全球数据量大约每两年翻一番,预计到2020年,全球需要管理的数据量将达到35ZB,是2010年的29倍。全球数据量增长的如此之快,如果管理不好,反而成了沉重的负担。其实和资本、土地、人口、能源等相比,数据也应该被看成是一种资源,水利用好可以供人食用,太阳能利用好可以发电,而对于数据,如果有很好的处理方式,也可以获得更高的收益。大数据就是一种对这些含有意义的数据进行专业化处理的技术,通过大数据技术对数据进行“加工”,通过“加工”实现数据的“增值”。大数据也称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在今年的两会上,大数据成为了广受关注的特点技术,很多提案都引用了不少通过大数据处理而得到的结论,这些通过对海量数据进行分析、预测,才能获得可靠的结果。我们平时天天看的天气预报,就是通过对以往卫星云图的分析而形成对未来天气的预报,所以天气预报大部分的情况下是准确的,也有时会有误差。很多互联网企业都有自己的海量数据采集工具,多用于系统日志采集,如Hadoop的Chukwa,Cloudera的Flume,Facebook的Scribe等,这些工具均采用分布式架构,能满足每秒数百MB的日志数据采集和传输需求。大数据处理的技术有很多种,相同的数据,采用不同的大数据方法得到的结论很可能会存在差异,所以选择哪种大数据技术也非常重要,不同的数据,需要采用不同的大数据技术,以便从海量数据中获得更多的“增值”。如今的大数据已经从国家层面开始重视,准备将大数据提升为国家重大发展战略,这凸显大数据技术对一个国家、一个企业、甚至到个人都是非常重要的。
  大数据具有4V的特点,Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值),海量是大数据的最大特点,只有数据的样本是海量的,分析的结果才有价值,有预测的意义。数据中心是大数据唯一的处理中心,只有通过数据中心才能部署大数据技术。大数据与云计算、数据中心都是紧密相连的技术。云计算曾让很多用户感觉是“晕计算”,数据量的激增也曾让很多用户束手无策,大数据就是来解决这些问题的,是先有了云计算,而后才有的大数据。大数据和云计算一样都要依托数据中心来实现,没有数据中心一切都是空谈。大数据技术说白了,就是一种数据分析的软件技术,在数据中心里,通过大数据软件可以对海量数据进行分析,通过分析得到一些结果,通过这些分析的结果来获得数据之外的“增值”。当然不是只有分析数据中心里的数据技术才是大数据技术,比如我们平时在自己电脑上进行计帐,等到年终时对这一年的花费做个总结,从而为未来一年做好规划,这也是数据分析,和大数据技术的实现目的是相同的,只不过大数据强调的是“”,海量的数据不是靠几台服务器就可以计算的,需要成千上万的计算设备协调运算才能得出的结果,那么只有数据中心能够提供这样的场所,所以说数据中心是大数据唯一的处理中心。
  大数据技术是从海量、不完全的、有噪声的、模糊的、随机的大型数据中发现隐含在其中有价值的,潜在有用的信息和知识的过程,主要基于人工智能、机器学习、模式学习、统计学等。在大数据分析方面已经出现了不少的新技术,Hadoop已被公认是新一代的大数据处理平台,EMC、IBM、Microsoft以及Oracle都纷纷投入了Hadoop的怀抱,对大数据来说,最重要的还是对数据的分析,从里面寻找有价值的数据帮助企业做出更好的商业决策。像Netezza、Greenplum、Aster Data等等公司都是从事大数据分析的公司,这些公司推出了一些数据分析的软件。EMC的数据计算设备(DCA),IBM的BigInsights和BigCloud,惠普的Vertica实时分析平台,甲骨文的大数据机,微软SQL Server里的PDW,并行数据仓库技术等等,都是针对大数据进行分析处理的软件。在我国国内,从事大数据软件设计的公司也如雨后春笋般地出现了,大数据软件企业一时间冒出了数百家之多。这些大数据公司提供的数据分析软件常用的算法主要有:分类、回归分析、聚类、关联规则、神经网络方法、Web数据挖掘等等。目前在很多领域尤其是在商业领域如:银行、电信、电商等,大数据可以解决很多问题,包括市场营销策略制定、背景分析、企业管理危机等。
  大数据的价值和时间密切相关,如果不能及时将大数据快速处理,分析后的结果很可能就成为“事后诸葛亮”,好听好看没用途,数据中心正是可以提供高速计算的场所。部署云计算的数据中心,我们称为云数据中心,而部署了大数据的数据中心,我们叫做大数据中心。这里所说的“”并不是指的规模上的大型数据中心,而是在数据分析上。基于数据中心拥有的海量数据,通过大数据技术,对海量数据进行分析、处理,可以得到一些意料之外的收获。“”数据中心是数据中心的未来,也是全社会的未来。如今全球因为石油能源竞争闹得不可开交,掌握石油命脉的美国,就可以独霸全球,而未来掌握大数据的国家,才是未来的霸主。未来的世界是属于信息数据的时代,大数据必将有更加广阔的发展天地,未来的数据中心都将是“”的数据中心。 来源:企业网D1Net