Storm,Spark,Hadoop三个大数据处理工具的区别和联系

2024-12-25 17:52:36
推荐回答(1个)
回答1:

storm是实时处理,spark和hadoop是批处理,两者是互补。
而spark和hadoop比较的话,spark主要是充分利用内存计算并且支持更多的操作而不仅是map/reduce,这样有些迭代密集的算法执行效率会更高。而hadoop可能需要多个mr任务来完成。
在2.0之后,hadoop使用了新的yarn框架,map/reduce只是其中一种默许了,spark也可以在hadoop的yarn框架下运行的,所以2者还会是融合的。