存储与计算分离已经成为分布式数据库的主流方向

admin 3800 0
存储与计算分离已经成为分布式数据库的主流方向

百度网盘课程

通用入口链接!10000G.课程都有!一起学习吧!

立即点击↓ 获取课程!

目前,随着对云诞生的日益重视,存储与计算分离已成为大势所趋。几乎所有知名的云数据库都开始使用存储和计算分离的方式来实现资源价值最大化,比如阿里的PolarDB,AWS的Aurora,华为的MySQL的GaussDB等等。大量企业自建数据中心开始以“开源数据库存储与计算分离”的方式进行部署。

那么,我们来看看这些数字化转型中的先进互联网公司和企业是如何在数据库转型中一步步走向“存储与计算分离”的。

分布式数据库是时代的选择

1970年,IBM的E . F Codd在论文《A Ralational Model of Data for Large Shared Data Banks》中提出的数据库系统关系模型,开创了数据库关系方法和关系数据理论的研究,为数据库技术奠定了理论基础。1977年,Oracle数据库发布,开启了IBM DB2、Oracle等大型商业公司长达20年的数据库市场垄断局面。

直到90年代中期,随着互联网时代的到来,开源数据库MySQL和PostgreSQL的出现,打破了这种垄断现象,以MySQL为代表的开源数据库开始迅速发展。

21世纪10年代,随着数据的快速增长,对横向扩展、大集群规模和高并发性提出了新的要求。然后随着公有云的蓬勃发展,基于云的高可扩展性、高并发性、高可用性的分布式数据库,如Google扳手、雪花、AWS极光等逐渐进入我们的视野。

至此,我们可以看出分布式数据库的诞生顺应了时代的发展,是时代的选择。

分布式数据库改造,存算一体部署之殇

分布式数据库最成功的应用场景是支持早期电子商务业务的快速发展。然而,随着企业数字化转型的深入,数据总量和形式呈现指数级增长,数据库不得不应对业务飙升下的高性能、高可靠性挑战;同时,飙升的业务高峰也要求数据库具有出色的灵活性、持续的服务能力和合理的成本。

而原有的分布式数据库“存算一体”,采用服务器本地盘的部署方式就越发显得力不从心。

比如,由于计算和存储资源的绑定,在处理双11等突发资源峰值时,无法快速扩展计算资源,分布式转换后也无法支持独立的弹性扩展,这与分布式转换的初衷是背道而驰的。同时,亚马逊、阿里等厂商也发现自己在自己使用和云客户中是以服务器本地盘的方式部署的,在存储可靠性、爆炸半径、综合成本等方面存在一些难以解决的问题。

以某运营商为例,在基于MySQL开源软件自行开发的数据库部署在服务器本地磁盘的模式下,计算资源(CPU和内存)与存储资源(SSD磁盘)之间存在不可调和的冲突(使用不均衡、扩展受限、运输管理困难等)。),导致成本增加。

这种问题在一些互联网、金融、运营商的云转型企业中尤为突出:

-可靠性低:“服务器可靠性低,有问题的数据无法访问甚至丢失,可靠性的差距必须通过多从同步来填补”;“服务器网络抖动或磁盘亚健康问题难以监控和处理,影响系统稳定性”;“修复服务器故障需要很长时间,不能放太多实例”。

-运维困难:“设备更换或扩容需要对数据库进行重定位,数据同步总量非常慢”;“以前数据库数量少,现在单个数据库分成10个实例,以后全网整改后,预计几千个实例,操作维护太复杂”;“以前只有两台小型机,现在需要20多台,还有4、5个机柜,机房和用电都不够”。

——成本高:“存储和计算都是绑定的,无法灵活扩展”,“资源闲置,CPU利用率低”,“现有架构成本是原来的1.5倍

分布式数据库架构上服务器本地磁盘部署的一系列问题如何解决?业界一直在不断探索。2014年AWS首次推出极光,2017年阿里推出PolarDB,2020年华为云推出针对MySQL的GaussDB,2021年华为Storage也推出了OceanData分布式数据库存储与计算分离方案,希望解决基于成熟基础设施“云”技术的分布式数据库架构的不足。

; width: 500px;" />

业界云原生实践:“存算分离”,共享存储是分布式数据库的最优选择

没有一个概念和架构是无缘无故凭空冒出来的,存算分离也是业界基于当前分布式改造的现状和本地盘部署的弊端不断探索出来的,更是互联网,数字化转型企业的共同选择。

存算分离带来的四大价值:

-可靠性提升:外置共享存储可靠性结合云原生故障隔离和迁移能力,解决一体化方案可靠性短板,并为降低资源冗余提供基础;

-资源优化:解决数据快速移动,实现计算、存储弹性扩展,按需分配,减少因可靠性、运维能力不足造成的硬件冗余;

-能力复用:使用共享存储成熟的备份恢复、SSD介质延寿、亚健康等能力,快速提升数据库整体解决方案能力,节约开发成本;

-架构先进:基于开放生态存储底座,可快速实现云原生数据库能力,不影响上层应用,实现平滑演进。

各行业在数字化转型中都面临着业务量爆炸性增长,业务互联网化等挑战。为了在新形势下提升服务体验,国内某运营商联合华为开展创新和应用实践,采用分布式数据库存算分离方案构建高效BSS系统,实现了计算、存储资源在线弹性扩容,整体资源利用率从10%提升到50%;数据重建恢复全自动化,恢复时间从3小时缩短至5分钟;共享存储带来设备级6个9高可靠。

总结

随着5G、分布式技术、云计算技术的不断发展,及各行业数字化转型的不断深入,数据库云化、数据库云原生架构已成为趋势,计算、存储分离,采用共享存储的方式是数字化转型的企业共同的选择。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

版权声明:内容来源于互联网和用户投稿 如有侵权请联系删除

本文地址:http://0561fc.cn/37427.html