作者:赵广立 来源:科学网微信公众号 发布时间:2023/9/2 20:29:29
选择字号:
华为新动作!宣布一项重磅开源

 

近日,在2023华为数据存储用户精英论坛上,华为存储宣布,决定将“CANTIAN”引擎的源代码在拥有170多万全球用户的开源社区开放。

“我们把CANTIAN的代码开源到openEular社区,但华为存储的投入不会暂停,还会不断增加,同时也将不断加强与伙伴的合作创新。” 华为闪存存储领域总裁黄涛如是说。

既出力又出资,华为此举何为?这一切要从国产数据库对国外产品的替代说起。

国产数据库的替代之路

出于节约成本、自主可控等因素,国内一直在努力用自主创新产品替代Oracle这样的经典数据库。然而,与Oracle的树大根深相比,国产数据库的建设者们尽管苦心孤诣,但相应标品整体性能仍难与其争锋,国产方案的渗透率一度蹒跚不前。

作为国企,中国电信很早便开始了国产数据库系统的探索,并基于自主研发的相关功能组件构建了TeleDB数据库集群系统。

天翼云资深数据库专家魏兴国介绍说,中国电信最早使用TeleDB主备架构,并通过服务器本地盘存储数据,实现对Oracle的替代,在实践过程中积累了大量经验和教训。

首先,因为中国电信数据量极大,天翼云初期采用分库分表技术路线,导致系统复杂性较高;其次,将小型机改造为PC server后,本地盘的存储可靠性降低,导致时而出现因本地盘故障导致主从切换的情况出现;第三,为了提升可靠性,数据采用三副本模式存储,带来资源利用率降低等缺陷。

北京海量数据总裁肖枫表示,海量数据深耕行业多年,在各行业头部企业和关键系统中,数据库均采用存算分离架构;只有互联网交易这类需要无限扩展且数据重要性不高的场景才会使用存算一体分布式架构。而顶尖的数据库公司,比如Oracle,都是顶尖的存储公司,但国产数据库厂商不可能投入巨额人力研发存储产品。因此国产数据库必须与全球领先的国产存储结合,才能真正打造出让客户核心系统也能放心使用的数据库产品。

开发了万里GreatDB数据库的北京万里开源软件有限公司(以下简称万里开源)对此也感同身受。万里开源副总经理刘俊锋介绍说,目前在国内许多客户在数据量很大或并发业务量很高时,通过分库分表来改造数据库,导致数据库和业务应用耦合性极强,造成改造、运维非常困难——有时可能数据库软硬件采购费用几百万元,应用改造成本高达好几千万元。

但要从根源上解决性能瓶颈问题,刘俊锋认为“一款好的产品是架构决定的”,因此“正在和华为探求基于存算分离和多读多写的数据库3.0架构”,即“多主架构”,借助“世界级的存储能力去整体提升数据库的性能、可靠性等”,让客户能够在不做应用改造的情况下用好国产数据库。

对于国产数据库替代现状,华为闪存存储领域总裁黄涛分析到,当前国内数据库替换进展之所以缓慢,一是由于改造难度太大,开发成本是采购成本的5倍以上;二是数据库能力建设还有待积累,容灾、备份等能力还比较弱;三是国产数据库玩家众多,投资比较分散,商业模式上也难以支撑各玩家打造端到端成熟的产品。未来国产数据库突破的途径,应当是将已有的数据库能力和先进基础设施能力结合起来,大幅提升整系统解决方案能力。

众人拾柴火焰高

业内技术人士指出,多主架构方案在数据库跨节点缓存池化和共享存储技术支持下,能够做到全局表并发读写、事务并发处理能力,真正实现了数据库多读多写,修正国内数据库在架构上的“基因缺陷”。

而从用户视角,在多主架构下,单主架构数据库的性能瓶颈被突破,多副本、跨表操作等影响性能的障碍被逐步消除,且基于高可用的存储能力,企业用户将不必采用可靠性弱的、以服务器为底层的做法,此举也可避免多数据副本导致的资源浪费,和因异步复制导致的数据丢失。此外,过去通过复杂逻辑去判断故障的逻辑也不需要了,节点故障Failover将更快。

国产数据库迈向多主架构,需要数据库和存储充分配合。一方面,数据库可将部分能力下沉到存储上,让数据库和应用逻辑更简单,更加专注于高效处理业务;另一方面,一个高性能、高可靠的共享存储也是实现多主架构的必然前提。

不过,在目前业界,多主架构还处于刚刚起步阶段,并没有形成明显势头。因此不少用户“还很怀疑,不愿尝试”。

“从用户角度来讲的话,他们可能接触多主架构的时间还不长,目前还处于一种观望心态,需要整个产业界共同引导;数据库厂商、存储厂商乃至生态工具之间的兼容适配、性能调优以及测试验证目前还需要不断加强;此外,在实际使用中,客户遇到一些技术挑战,存储厂商和数据库厂商都很难独立解决问题。”魏兴国说,天翼云近年来和华为一直在合作打造TeleDB的多主架构,并在实验室取得了一些进展,但在现网业务验证的过程中还遇到了很多挑战。“数据库厂商和存储厂商应该通过某种机制,加强生态兼容适配和测试验证。”

“多主架构是一个新的方案,势必需要市面上生态伙伴做更紧密的推广和合作。”刘俊锋也提出,多主架构推广有一定难度,需要整个产业界共同推动落地实践,“实践才能检验出真理。多主架构合不合适,要推更多去推动用户,尤其是像金融、运营商行业客户做POC测试,才能验证架构的可行性,确保新方案更可靠的落地。”

不吃“独食”

在华为闪存存储持续耕耘面向国产数据库的存储解决方案,黄涛有切身感受。他看到,近年来国产数据库如雨后春笋般蓬勃发展,先后出现了大大小小数百家厂商,技术路线参差不一,这常让企业用户在选择数据库时陷入迷茫,各个厂商也难以获得商业成功。

“华为存储非常有决心支持好国产数据库的发展,主要的方式就是支持好开源社区的发展。”黄涛说,华为希望通过引导开源技术升级,从根上支持国产商业数据库能力提升,也让客户选择数据库时不再迷茫;另一方面也可让中国IT产业持续向好向善发展,避免盲目的产业兼并。

值得一提的是,Oracle之所以能够做到多节点同时读写数据能力,就与其开放姿态有密切的关系——Oracle的底层,往往接入的是戴尔EMC这样的存储厂商的专业存储。也就是说,Oracle从不“吃独食”,而是充分利用了优质伙伴厂商的能力。Oracle的成功不是一家企业的成功,而是整个市场不同数据库关联主体相互合作的产物。

近年来,华为存储与海量数据、天翼云、万里数据库、南大通用等数据库厂商合作,共同打造基于存算分离和多主架构的先进数据库解决方案;如今,华为正式宣布开源其深耕多年、可帮助数据库升级多主架构的CANTIAN引擎,欲与整个产业界开放合作,加快推动国产数据库升级先进架构。

“开源是产业协同和技术创新的重要模式。华为坚定支持开源社区及相关商业数据库,增强存算分离和多读多写能力。开源‘CANTIAN’引擎,可以让产业伙伴基于开放框架更好更快地推出多主架构数据库,共同促进国产数据库生态的蓬勃发展。”黄涛表示,“我们有信心、有决心帮助我们的伙伴做好商业数据库,一起服务好客户,最终让多主架构数据变成让所有客户认可的主流方案。”

Baidu
 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
《自然》(20241121出版)一周论文导读 清华这位院士搭建了一座室外地质博物园
科学家完整构建火星空间太阳高能粒子能谱 “糖刹车”基因破除番茄产量与品质悖论
>>更多
 
一周新闻排行
 
编辑部推荐博文
 
Baidu
map