像使用“数据库”一样使用“大数据” 华为启动数据基础设施战略

  随着5G、AI和云的普及，数据量正以惊人的速度增长，全球数据量将从2018年的33 ZB快速增长到2025年的180 ZB。但是，产生的数据中仅有不到2%被保存，而被保存的数据中仅有不到10%被应用。

  如果能像使用“数据库”一样使用“大数据”，那么，数据治理和使用将更简单。11月19日，在2019全球数据基础设施论坛上，华为面向鲲鹏计算产业，宣布全面启动数据基础设施战略，并开源数据虚拟化引擎HetuEngine(河图引擎)。据悉，这是继华为在9月宣布“鲲鹏+昇腾”双引擎的计算战略后，从数据角度对计算战略的再度阐述。据天极网了解，华为数据基础设施战略围绕数据“采-存-算-管-用”的全生命周期，诠释了华为通过提供融合、智能、开放的数据基础设施，使能各行各业客户释放数据价值。

华为Cloud & AI产品与服务总裁侯金龙在大会上发表主题演讲

  华为Cloud & AI产品与服务总裁侯金龙在《打造“融合、智能、开放”数据基础设施，携手迈入智能时代》的主题演讲中表示：“人类正迈入万物互联的智能时代，而数据将成为智能世界的关键生产资料。剧增的数据正在改变我们的生产和生活，但也带来找数难、取数难、用数难等挑战。华为面向鲲鹏计算产业，全面启动数据基础设施战略，提供融合、智能、开放的数据基础设施，对数据的采、存、算、管、用实施端到端的整合和优化，致力于让数据在全生命周期内好用，数据的每比特价值最大，每比特成本最优，让合作伙伴像使用’数据库’一样使用‘大数据’。”

  数据基础设施三大特征

  为实现对数据的采、存、算、管、用实施端到端的整合和优化，让数据在全生命周期内更好用，数据的每比特发挥价值最大，数据的每比特成本最优。华为打造了融合、智能、开放的数据基础设施，华为数据基础设施包括数据存储、数据处理、数据管理系统、数据虚拟化引擎等，它包含以下三大特征：

  ● 融合：基于在存储、数据库、大数据等技术领域的突破，打破“存储内部系统墙”、“数据库与存储链路墙”、“大数据与存储配置墙”、“数据库与大数据协同墙”四堵墙。这四堵墙的打破，让数据融合更彻底，帮助客户实现TCO降低30%以上、据访问和处理性能提升2倍、分析效率提升100%。

  ● 智能：基于AI芯片、存储和华为云的三层架构，通过云上云下结合，云上训练和云下推理，让系统越用越快、越用越省。其中，依托昇腾处理器的AI能力，自动学习和识别IO流，提升Cache预取命中率，系统整体性能提升20%;依托鲲鹏处理器的多核算力，根据不同的数据类型，实时优化数据缩减算法，TCO降低25%;结合华为云自身运大规模维运营经验，当前可以实现提前14天预测硬盘故障，提前60天预测性能瓶颈，提前365天预测容量不足，其中30%的故障可以自我修复。

  ● 开放：针对找数难、取数难、用数难的问题，推出数据虚拟化引擎HetuEngine，屏蔽数据类型差异、地域差异、语法差异，让数据治理、使用简单。HetuEngine拥有“一个入口、一个目录、一份数据、统一安全”四大核心能力，通过屏蔽数据基础设施的复杂度，让伙伴像使用“数据库”一样使用“大数据”，复用现有的生态、工具和技能，提升开发效率2到10倍。

  开源数据虚拟化引擎HetuEngine：从“大数据”走向“大数据库”

华为Cloud & AI产品与服务总裁侯金龙宣布开源数据虚拟化引擎HetuEngine

  “大禹得河图后始见清明”，传说中，大禹通过河图掌握河流山川复杂的地形地貌，顺利完成治水大业。据了解，华为之所以将数据虚拟化引擎命名为”河图“，就是屏蔽数据基础设施的复杂度，让开发者像使用数据库一样使用大数据。华为在会上宣布开源HetuEngine，它具备4个核心能力：

  ● 一个目录：通过元数据在线感知，构建1000+异地异构数据源全局虚拟数据视图，打破数据孤岛，数据全局可视，解决企业找数难问题。

  ● 一个入口：通过开放的连接框架、5000节点SQL引擎，实现30种异地异构数据源统一SQL访问，秒级获取，数据全局可得，解决企业取数难问题。

  ● 一份数据：通过CarbonData技术，实现一份数据多场景分析，多应用共享，数据零搬迁，数据全局可用，解决企业用数难问题。

  ● 统一安全：通过细粒度动态授权、敏感数据自动感知技术，实现异地异构数据源集中式安全配置与管控，数据全局可控，数据授权时间从天到秒，解决企业数据安全与合规问题。

  开源版本的河图引擎叫openHetu，将于2020年6月上线。华为将开源内核，开发者可以基于开源代码进行定制，包括数据源扩展、SQL执行策略等，实现应用快速对接，提升开发效率。