如何看待hadoop ecosystem的发展及对传统数据仓库的影响

2024-12-25 20:54:17
推荐回答(1个)
回答1:

在这种背景下,我们很自然地要问:Hadoop是否是数据仓库的终结者?

1.为了回答这个问题,我们需要将数据仓库技术与数据仓库部署分开来看。Hadoop(和NoSQL数据库的出现)将预示着数据仓库设备和传统数据仓库单一数据库部署的消亡。

2. 而在这方面就有过实例。Hadoop供应商Cloudera将其平台作为“企业数据枢纽”,这在本质上将传统数据管理解决方案的纳入了需求。ReadWrITe.com在最近发表的一篇题为“为什么专有大数据技术没有希望与Hadoop竞争”的文章中也发表了类似的看法。同样地,最近一篇华尔街日报文章描述了Hadoop如何挑战甲骨文和Teradata。

3.Hadoop或NoSQL生态系统仍将继续发展。很多大数据环境开始选择NoSQL、SQL甚至是NewSQL数据仓库的混合方法。此外,MapReduce并行处理引擎也有变化和改进,例如Apache的Spark项目。虽然这个故事还远远没有结束,但可以说,传统的单一服务器关系型数据库或数据库设备并不是大数据或数据仓储的未来。

4.另一方面,数据仓库技术(包括提取—转换—和—加载、三维建模和商业智能)将会应用到新的Hadoop/NoSQL环境。此外,这些技术也将变身来支持更多的混合环境。主要原则是因为并不是所有数据都是平等的,所以IT经理们应该选择数据存储和访问机制来适应数据的使用。混合环境将包括关键价值存储、关系型数据库、图形存储、文档存储、柱状存储、XML数据库、元数据目录等等。

5. 正如你所看到的,这并不是一个简单的问题,也不可能简单地得出一个答案。然而,一般情况下,虽然大数据在未来五年内将会改变数据仓库的部署,但它不会导致数据仓库的概念和做法过时。