天极传媒:
天极网
比特网
IT专家网
52PK游戏网
极客修
全国分站

北京上海广州深港南京福建沈阳成都杭州西安长春重庆大庆合肥惠州青岛郑州泰州厦门淄博天津无锡哈尔滨

产品
  • 网页
  • 产品
  • 图片
  • 报价
  • 下载
全高清投影机 净化器 4K电视曲面电视小家电滚筒洗衣机
您现在的位置: 天极网 > 云计算>新闻>华为:揭秘 300% 数据库性能提升原理引热议

华为云技术私享会亮相深圳, 揭秘 300% 数据库性能提升原理引热议

天极网云计算频道 2018-08-27 12:20 我要吐槽

    科技改变生活,技术改变世界。8月25日,华为云技术私享会深圳站在南山科技园圆满结束。本次活动围绕数据库展开,分享了以 MySQL 为代表的关系型数据库、以及以 MongoDB 为代表的 NoSQL 数据库技术新趋势,并通过现场实战演练和动手体验,为初秋的深圳技术人员带来一抹亮色体验。

华为云技术私享会亮相深圳, 揭秘 300% 数据库性能提升原理引热议

  本次分享会的讨论包括《 MySQL 云数据库的性能优化和发展趋势》、《华为云原生(Cloud Native)分布式数据库技术》、《MongoDB 在云上的计算与存储分离架构实践》、《华为云数据库体系及优势解读》、《云时代数据库迁移的新挑战与新玩法》等主题,全面介绍了华为云数据库服务及技术全景,并就行业最新动向展开讨论。

  在云时代,企业IT业务走向跨地区、全球化部署,IT应用软件逐渐云化、分布式化,要求数据库也要基于云场景架构设计,具备跨地区分布式部署的能力。华为云技术专家总结了传统数据库上云或云服务化遇到的问题,同时深入介绍了华为云原生分布式数据库的技术原理和最佳实践。

  在《MongoDB 在云上的计算与存储分离架构实践》主题分享中,针对华为云近期推出的 MongoDB 社区增强版,专家团队就如何将其性能提升到 300% 的技术揭秘引人入胜,引发大家热烈讨论。

华为云技术私享会亮相深圳, 揭秘 300% 数据库性能提升原理引热议

  开源 MongoDB 的困境

  众所周知,MongoDB 作为全球流行度最高的 NoSQL 数据库,强大的扩展性使其在流量具有强爆发性的场景使用中如鱼得水。在现今互联网直播、游戏业务、物联网大数据盛行、业务流量峰值波动大的情况下,MongoDB 尤受企业欢迎。

  但是,随着企业发展和数据的不断累积,满足业务性能与数据存储容量的需求也日益增长。在长时间的使用过程中,MongoDB 扩容时性能差、扩容耗时长、扩容成本高、存在资源浪费等缺点也逐渐显现出来。

  究其原因,还是在于传统开源 MongoDB 采用的三副本架构本身。

  首先,开源 MongoDB 集群扩容以 3 节点为单位,扩容成本高,Secondary 节点平时并不处理业务请求,造成资源浪费。此外,固定的节点复制关系,不能容忍任意 2 节点以上的故障,节点故障数据重同步时间长,长时间处于降级状态,故障重构能力差。

  由于存储数据使用本地文件系统,每一个 shard(分片) 节点之间数据是相对独立的。当扩容时,需要将已有节点的数据均衡到新节点;因为数据独立存在,所以要对数据进行网络拷贝;也因此,MongoDB 扩容后性能不能立即得到提升。

  此外,数据拷贝对节点资源消耗很大,出于对整体性能的考虑,MongoDB 限制了数据迁移的速度,导致集群横向扩展不能及时完成;

  以上种种,都在很大程度上限制了 MongoDB 的使用场景范围。

  那么,华为云 MongoDB 社区增强版,是如何从技术上解决这些难题的呢?

  增强版 MongoDB,从内核开始改造

  华为云 MongoDB 社区增强版,完全基于游戏业务、互联网应用、大数据等场景研发,采用计算和存储分离的全新架构,是典型的 Cloud Native (云原生)文档数据库。在技术上,更是通过一系列自研黑科技,将整体性价比提升 3 倍。

   将 MongoDB 的多副本复制功能卸载到分布式存储,使得 Secondary 节点也可以为读写服务,相同成本下获得 3 倍的计算能力,进而获得 300% 的读写性能提升。

   将 MongoDB 数据库节点无状态化,将数据和计算节点分离,去掉数据强归宿某个计算节点的限制,使得横向弹性伸缩性能提升 100 倍以上。

   打破 MongoDB 只在单个 Shard 副本集内节点间复制 3 副本的限制,分布式存储采用分片复制能力,磁盘故障后可以由更多磁盘参与数据重构,10 倍缩短数据重构时间。

   使用分布式存储的快照备份技术,替代 MongoDB 的逻辑备份,10 倍提升备份恢复性能。

   采用存储计算分离架构,扩容步长仅 1 个节点,提升扩容效率,降低扩容成本。

   打破 MongoDB 只在单个 Shard 副本集内支持 HA 高可用的限制,集群内所有 Shard 的所有节点都互为 HA 备份关系,使得可以支持任意 N-1 个节点故障。

华为云技术私享会亮相深圳, 揭秘 300% 数据库性能提升原理引热议

社区版原生集群架构与华为云 MongoDB 社区增强版架构

  目前,华为云 MongoDB 社区增强版处于公测期间,但在性能测评中的表现却相当抢眼。在数据量为1 .6亿文档(160GB)时,2Shard 扩容到 4Shard 时,耗时从原来的 30 小时减少到 2 分钟,不但扩容时间缩短了上百倍,而且扩容期间性能更加平缓。

  华为云数据库依托于华为30多年的技术实力,结合机器学习算法,已为多次大型海量并发交易与金融级数据安全提供坚实的技术支撑。截至目前,华为云已上线 16 大类超过 120 款云服务,涵盖制造、医疗、电商、车联网、SAP、HPC、IoT 等领域60多个解决方案。

  此外,华为的业务性质,决定了其在尊重租户数据主权,坚持中立、客观立场方面的独树一帜。在任何场合,公司也承诺恪守业务边界,不碰租户数据,不会利用租户数据谋取商业价值。

  由此可见,华为云数据库无论在技术底蕴上、生产环境运用上、还是在安全保障方面,均具有得天独厚的优势。

华为云技术私享会亮相深圳, 揭秘 300% 数据库性能提升原理引热议

请关注天极网天极新媒体 最酷科技资讯
扫码赢大奖
评论
* 网友发言均非本站立场,本站不在评论栏推荐任何网店、经销商,谨防上当受骗!
办公软件IT新闻整机