海量数据时代到来 看亚马逊云科技如何点“数”成金

  随着云计算、大数据、人工智能等新一代信息技术的快速发展，将人类社会带入到全新的数字经济时代。

  在这一时期，数据作为新型生产要素，在经济活动中发挥着举足轻重的作用。《经济学人》于2017年发表的封面文章曾提出，数据已经取代石油成为当今世界最有价值的资源。

  海量数据背后蕴藏的价值如何挖掘？

  6月24日，亚马逊云科技智能湖仓媒体沟通会在北京举行。会上，亚马逊云科技全面展示了在数据和数据分析领域的最新业务进展，以及亚马逊云服务智能湖仓架构如何助力企业充分挖掘数据价值，推动数字化转型的最新成果。

  近年来，数据量呈现指数级增长，据国际数据公司(IDC)发布的白皮书《数据时代2025》预测，到2025年，全球的数据信息总量将达到163ZB。

  实际上，数据虽然有很多，但其价值密度很低，要经过分析和筛选，才能从中获取真正有价值的信息。然而，企业在挖掘数据价值的这一过程中，却面临着多重挑战，这些挑战主要来自三个方面：

  1、数据指数增长。数据规模已经从以前的GB、TB、PB，上升到EB级，数据结构从结构化到非结构化数据再到半结构化。

  2、更为复杂的使用场景。一方面，分析的场景在细分化，无论是对结构化讲究极致性能的传统数仓/云上数仓，还是对目前接受度很高的分布式计算的大数据处理框架，亦或是用于日志分析的Amazon Elasticsearch;另一方面，复杂的应用场景也意味着一家公司在走向数据驱动的路上，不光是决策者，数据开发工程师、数据分析师，甚至是数据科学家都将会利用数据做机器学习，做人工智能场景下的推理。

  3、基于实时数据的快速决策。早期的数仓是根据历史报表进行决策，耗时需要几天的时间，而现在的业务和场景会驱动决策要更加迅速，甚至在一些实时流分析中就要给到决策。

  对此，亚马逊云科技推出了“智能湖仓”架构。亚马逊云科技“智能湖仓”架构以Amazon Simple Storage Service(Amazon S3)为基础，通过商业智能类的数据服务，包括数据仓库、机器学习、大数据处理、日志分析等，同时再利用Amazon Lake Formation、Amazon Glue、Amazon Athena、Amazon Redshift Spectrum等工具，实现数据湖的构建、数据的移动和管理等，帮助用户尽可能最大程度地提高其数据价值。

  据亚马逊云科技大中华区云服务产品部总经理顾凡介绍，亚马逊云科技“智能湖仓”架构五大优势：

  第一，灵活扩展、安全可靠

  作为架构的基础组件，Amazon S3的数据持久性达到99.999999999%(11个9)，可用性可以跨越3个可用区去做数据复制，可扩展性能够做到EB级。更为重要的是，还具有安全性、合规性、审计能力。

  第二，专门构建、极致性能

  任何一个技术都会各有优劣，所以并不存在一个技术，在功能、扩展性上做到一个产品打天下。为满足用户不同的数据分析需求，亚马逊云科技提供全面而深入的、专门构建的数据分析服务，为客户提供了极致性能。

  第三，数据融合、统一治理

  在顾凡看来，在未来的智能湖仓架构中，数据会在各个点之间移动，其移动的方式可归纳为五种，即提取转换加载、可视化数据准备、数据复制、数据仓库出/入数据湖、联合查询。

  亚马逊云科技“智能湖仓”架构不仅打通了数据湖、数据仓库，还进一步将数据湖、数据仓库以及所有其他数据服务组成统一且连续的整体，降低了数据融合与数据共享时统一安全管控和数据治理的难度。

  第四，敏捷分析、深度智能

  如何将数据基础设施现代化、如何从数据中真正产生价值、如何通过机器学习更好地驱动决策成为时下企业在处理数据时面临的主要难点。亚马逊云科技将数据、数据分析服务与机器学习服务无缝集成，为客户提供更智能的服务。

  第五，拥抱开源、开放共赢

  亚马逊云科技“智能湖仓”架构中的关键组件如Amazon EMR、Amazon Elasticserach Service、Amazon MSK的核心都基于开源代码，接口与开源完全兼容，无需改变任何代码就可以实现迁移，也兼容主流的管理工具。OpenSearch基于开放的Apache2.0授权，用户可以自由查看、使用、更改。

  “亚马逊云科技智能湖仓不是一个产品，而是一个架构，这个架构是要应对未来的更多年数据的多维度挑战;智能湖仓不仅仅是湖和仓要打通，还要做到湖、仓和专门构建的服务之间的按需、无缝移动。”顾凡说道。

  智能湖仓赋能用户重塑数据

  据悉，亚马逊云科技诸多生态合作伙伴选择智能湖仓进行数据管理及分析。上海驰骛信息科技有限公司是一家消费者数据营销平台供应商，为企业搭建消费者数据平台(CDP)，以此为基础构建覆盖数字媒体和阵地运营、CRM、智慧导购等场景的全渠道和全链路消费者运营体系。

  在流量红利和人口红利逐渐消退的当下，如何激活老客户、挖掘新客户成为企业面临的最本质的需求。

  在上海驰骛信息科技有限公司创始人兼CEO程华奕看来，新的时代有新的营销需求，具体表现在：1、以数据驱动替代流程驱动的运营模式已经到来;2、以互联网企业为代表的消费者个性化运营模式已经深入人心;3、在拓新的同时，存量维护和挖掘越来越成为时代必需。

  2020年，驰骛科技基于亚马逊云科技“智能湖仓”开发了数据平台。据介绍，亚马逊云科技给企业的价值主要体现在以下三点：

  1、跨组织的数据治理与资产化

  解耦的计算和存储结构、精细化资源权限，解决企业跨组织的数据管理和安全协同难题;

  成熟技术覆盖数据资产化所需：基于3倍性能数据库与自动扩展的IT资源的模块化数据平台。

  2、低成本消费数据分析与计算

  智能湖仓支持高效计算与多维度分析，10倍查询性能响应对用户数据的近实时查询;

  按需可控的成本模型，基于亚马逊云科技新一代计算实例，性价比提升了40%。

  3、高效能的多业务场景快速创新

  高性能敏捷弹性的架构，按需调度，灵活响应消费者个性化需求;

  开箱即用，加速企业创新的产品化过程，如基于AI机器学习的个性化推荐和销量预测。

  “亚马逊云科技给我们提供了很大的帮助，”程华奕表示，“未来，驰骛科技与亚马逊云科技会继续深入合作，首先是双方产品的深入集成和迭代，确保云上产品的成熟度和领先性;其次是我们会共同加深以消费者为中心的技术，持续对客户的业务场景解决方案做创新;最后是拓展到更多的行业，争取用双方能力更好地服务客户。”

  写在最后：

  长期以来，亚马逊云科技用领先的技术赋能合作伙伴，从而提升合作伙伴服务客户的能力。

  数字经济时代，基于数据驱动的应用大规模爆发，数据上云带来的价值越发凸显。亚马逊云科技通过云上数据服务，助力企业从容运用数据资源，在海量的数据中获得业务洞见，很好地诠释了该公司“扶上马并再送一程”的服务理念。