谷歌弃用MapReduce 推云分析系统
- +1 你赞过了
【天极网云计算频道6月27日消息】本周三在旧金山举行的Google I/O大会上,谷歌发布了 Cloud Dataflow,一个用来既可以使用流式处理又可以使用批处理模式的大数据分析服务。
Google技术基础设施部高级副总裁UrsHölzle在大会的主旨演讲上 表示,当数据规模达到数PB级字节,MapReduce处理起来将变得非常困难,他表示Google已经停用MapReduce几年了,他们目前开发并发布了新的超大规模云分析系统Cloud Dataflow。UrsHölzle说道:“Cloudflow 处理整个数据流,而MapReduce 处理单一的流”。
UrsHölzle介绍,Cloud Dataflow是一项自动优化、部署、管理和扩展的全面的管理服务。它允许开发人员使用统一的编程轻松地创建复杂的管道用于批处理和流媒体服务,并且可以迅速抓取任意大型数据集。
Cloud Dataflow能创建数据管道,在批处理和流处理模式下摄取、转变和分析数据。Cloud Dataflow可以降低运营开销,更容易的从数据中获取到可行的见解。据悉,Cloud DataFlow,将作为一项服务提供给使用它们云服务的开发者,这些服务并没有MapReduce的扩展限制。
同时,Google还表示,Cloud Dataflow可以通过动态图显示数据流,Google演示了在本届世界杯上巴西对阵克罗地亚时的Twitter社区讨论追踪,当裁判“误判点球”时,网友的反映变化一目了然。
最新资讯
热门视频
新品评测