阿里重磅开源Blink 新的实时流计算引擎

  12月20日，由阿里巴巴承办的 Flink Forward China 峰会在北京国家会议中心召开。在大会的主题演讲中，阿里巴巴集团副总裁周靖人宣布，阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月正式开源。

  据悉，阿里巴巴自2015年开始改进 Flink，并创建了内部分支 Blink，目前服务于阿里集团内部搜索、推荐、广告和蚂蚁等大量核心实时业务。

  当前，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和 API 诸如 Spark Streaming、Kafka Streaming、Beam 和 Flink 持续火爆。

  随着人工智能时代的降临和数据量的爆发，在典型的大数据业务场景下，数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。在很多的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。但是，用户用于批处理和流处理的两套计算引擎是不同的。

  因此，用户通常需要写两套代码。毫无疑问，这带来了一些额外的负担和成本。

  在阿里看来，能不能有一套统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码。阿里巴巴因此选择了Flink，但此时的Flink还未完全成熟。

  阿里巴巴实时计算团队决定在阿里内部建立一个 Flink 分支 Blink，并对 Flink 进行大量的修改和完善，让其适应阿里巴巴这种超大规模的业务场景。

  目前，阿里巴巴所有的业务，包括阿里巴巴所有子公司都采用了基于Flink搭建的实时计算平台。

  阿里巴巴计算平台事业部研究员蒋晓伟表示，“阿里巴巴实时计算团队不仅对Flink在性能和稳定性上做出了很多改进和优化，同时在核心架构和功能上也进行了大量创新和改进。过去两年多，有很多更新已经推回给社区了，包括Flink新的分布式架构等。”

  谈到下一代实时流计算引擎，他认为，Spark 和 Flink 一开始 share 了同一个梦想，他们都希望能够用同一个技术把流处理和批处理统一起来，但他们走了完全不一样的两条路，前者是用以批处理的技术为根本，并尝试在批处理之上支持流计算;后者则认为流计算技术是最基本的，在流计算的基础之上支持批处理。正因为这种架构上的不同，今后二者在能做的事情上会有一些细微的区别。

  “比如在低延迟场景，Spark基于微批处理的方式需要同步会有额外开销，因此无法在延迟上做到极致。在大数据的低延迟场景，Flink有非常大的优势。对用户来说，多一个选择永远是好的，不同的技术可能带来不同的优势，用户可以根据自己业务场景的需求进行选择。”他说。

  在大数据发展方向上，他指出：机器学习正在逐渐从批处理、离线学习向实时处理、在线学习发展，而图计算领域同样的事情也在发生，比如实时反欺诈通常用图计算来做，而这些欺诈事件都是实时地、持续不断地发生，图计算也在变得实时化。