经历过银行核心系统分布式改造(银行分布式核心系统重要性)
旧答案分崩离析,新思路已经逐步清晰
阿里云新金融和互联网事业部总经理刘伟光在“核”聚变红宝书发布现场。供图/阿里云
新技术的变化之快,已经把那些技术能力不足以理解其长远影响的国家远远甩在后面。科学发展把人类带入了一些迄今无法解释、不可想象的领域。结果,许多革命性技术只能在有能力、有判断力和技术先机国家得到使用。
——亨利·基辛格《世界秩序》(2015年)
阿里云新金融和互联网事业部总经理刘伟光在今年1月发表了一篇文章,文章中描述了银行核心系统未来的样子。
刘伟光用五个“它”来描述:
- 它是一个能够让内部员工和外部客户都能感受到数字化能力无处不在的平台;
- 它是一个能够快速生成新流程,快速创建和发布新业务新产品,能力单元高度复用的平台;
- 它是一个能够具备移动化、数据化、智能化特征的平台;
- 它是一个分布式基础架构技术支撑的平台,能够以弹性能力应对互联网类型的金融业务的峰值;
- 它是一个融合了云计算中的先进技术生产力去应对开放银行和生态银行时代所有业务的一栈式平台。
银行核心系统,英文表述是CORE Banking, CORE其实不是简单的“核心”意思,它的全称是: Centralized Online Real-time Exchange (集中式在线实时交互)。这里有两个重要的关键词:“集中”、“实时”。
所谓“集中”,指的是外围系统或辅助系统,无论是柜面系统也罢,ATM也罢,网银也罢,它们的业务流程最终都要汇集到核心系统。就像一台计算机的所有的操作最终都要归结到CPU的指令。
所谓“实时”,指的是系统需要即刻做出反应的操作。一个比较直观的例子是,用户在ATM机上取款,取了多少钱,银行系统内的帐户余额马上就要扣掉多少钱;同样,存款,用户在柜面上把钱存进去,账面的数据变化也要马上反应到系统中。
核心系统承载了银行的存款贷款、支付结算、借记卡、贷记卡、投资理财以及所有对公金融服务和监管报送等核心业务,被称为经营的大脑,重要性不言而喻。
阿里云是中国金融云市场上相对领先的一个选手。它的技术动向和战略布局在市场上有一定的风向标意义。
根据阿里云内部数据,它在金融领域的客户中,覆盖了60%保险企业,50%证券公司,以及数百家银行客户。它的银行客户中,既包括中国工商银行、中国农业银行、中国建设银行、中国邮政储蓄银行等国有大行;也包括12家全国性股份制银行;以及全国一半以上的城商行、全国一半以上省级农信机构。另一个阿里云提供的数据显示,已上市50多家城市商业银行中80%都是阿里云的客户。
金融是离数字化最近的行业,也是体量最大、最容易产生倍增效益的行业。这其中,银行又是重中之重。2018年之前,银行和互联网公司的合作,主要都是基于联合贷款类型的消费金融和普惠金融等类型业务的合作。
2018年以后,银行开始在核心系统之外,投入大量预算和精力,利用新技术改造升级基于用户体验、营销和全行风控的升级改造。如手机银行、营销渠道、互联网金融平台,全行级大数据平台等。
在银行业内,这样的做法基于一个传统考量:如果将银行的核心系统和外围服务系统比作两个同心圆的话,位于内部的小圆是核心系统,安全第一,需要用护城河紧密保护好,不能轻易被改变;而位于外部的大圆,则可以充分利用新科技来改善用户体验,把互联网科技最擅长的东西用进来,去解决当下的痛点。
不过,从刘伟光释放的信息显示,阿里云打算在金融数字化市场上再往前走一步——越过外围,让大型银行核心系统向分布式架构转型,让原本在新发展形势下显得不那么“柔软”和“敏捷”的集中式系统变成文首提到的五个“它”的样子。
刘伟光认为,最终没有某个系统叫做“核心系统”,而所有系统都是核心系统,一个基于全新的统一的分布式技术架构搭建的基础技术平台,能够支撑零售和对公的所有业务,具备真正的弹性伸缩和弹性计算的能力。而往前走一步的真正动力并不是技术本身,而是银行全面拥抱数字化,拥抱开放银行和外部生态融合的内生需求。
那么问题来了:
1、为什么要在这个时候做这件事情?现在是重要节点?
2、要翻越护城河,这件事情不容易,遇到的问题和挑战是什么?
3、它将为中国金融业的下一个时代带来什么?
为什么是现在?
金融业核心系统向分布式架构转变,逐步与传统厂商解绑,这个趋势起自2015年。
2015 年,中国人民银行副行长范一飞在当年的“年度银行科技发展奖评审领导小组会议”上提出, 银行业金融机构要高度关注分布式架构未来的发展及应用部署情况。从业务层面上,分布式不仅满足银行服务模式持续演进及跨行业服务融合趋势,更满足了移动互联时代业务快速的增长需求。安全层面上,基于相对低廉通用的计算和存储资源,采用分布式集群部署,不仅帮助银行实现同性能下低成本优势,更可实现对原有“集中式”架构解绑,扫清金融核心系统敏捷可控障碍。
在那之前,中国金融IT建设的核心系统领域的基础技术架构,以IOE(IBM的主机或者小型机、Oracle数据库、EMC存储设备的缩写)为代表的传统厂商产品长期占据主导地位,深度绑定,围绕核心计算、存储及网络环境形成“集中式”IT架构布局。
金融核心系统以IOE为主的“集中式架构”一定程度推动了中国金融信息化的发展,单点技术具备领先性,但弊端也逐渐显现。
其一,深度绑定不利于国内银行对敏感信息保护和关键系统控制。
其二,集中式架构具有一定业务稳定性。但难以有效应对互联网类型业务的高并发、大数据量、业务潮汐等问题。
刘伟光在近四年间走访近千家金融机构,和监管机构也保持密切联系。一些想法各方不谋而合。
“今天谈去IOE,并不是说用另外三个字母ABC就去IOE,而是用一套新的技术体系去替换原来的技术体系。”刘伟光认为,在传统的业务发展模式中,甚至在当下,IOE依然有其明显优势,但今天依然要讨论要不要被替换,有其深层原因。
一方面,中国之外,很少有国家提到要去IOE,为什么只有中国提出去IOE?抛开地缘等非技术因素,刘伟光认为,有一点特别重要:中国的数字化金融水平和互联网金融水平发展远远超前,中国银行业发展具有领先国际的前瞻性。从用户视角来看,人们使用金融、触达金融、运用金融的能力和手段,无论是支付、客户体验,还是在线化业务办理水平以及智能化设备的普及,中国的金融业客户体验和服务水平,已经走在世界前列,甚至局部领跑于世界。而在产业金融,普惠金融和生态金融方面的探索,我们在理念上看不到其他国家的参考。正是这些变革的动力带来了对技术升级换代的新需求。
换言之,中国金融拥抱科技的脚步更加飞快。
IDC 数据显示,2018 年仅中国银行业 IT 解决方案市场的整体规模达到 419.9 亿元,同比增长 23.6%;到 2023 年市场规模将达到 1071.5 亿元,年均复合增长率为 20.8%。
中国银行业 IT 解决方案市场规模
另一方面,中国发展金融业务的手段和渠道已经十分多元化,比如,人们打开抖音、头条、小红书和B站,这些公司走到最后,都和电商相关联。电商本质是交易,交易的本质是金融,互联网企业在用更多手段拥抱金融,它不是完全以过去互联网消费贷款的方式拥抱金融,它用电商等很多新的方式拥抱金融,这就让今天的金融行业与泛互联网的生态产生了广泛的链接,互联网渠道也成为金融的重要展业和获客营销渠道。
也就是说,金融的新科技平台和金融结合的脚步也飞快。
从业务角度来看,银行金融科技发展已经进入了更加务实的阶段,各银行将金融科技基础技术的研究和建设落地 ,致力于将金融科技与业务紧密结合,促 进业务增长,提升客户体验。各银行加强顶层设计,提出业务和金融科技双轮驱动的发展战略,明确发展方向。
此外,中国金融机构,尤其大型金融,承担一些普惠角色。如数字化扶贫、绿色金融等服务实体经济的使命,这些角色要求金融机构服务其他产业,如服务于工业制造业时,要用数字化连接,而不是单纯贷款和理财,要用更多数字化手段,服务和链接这些实体经济的代表。
刘伟光常年奔波在金融机构之间,他发现,最近有越来越多来自银行的需求项目,是过去从来没有的。比如,一些银行开始做“生态云”。所谓“生态云”,区别于银行过去单纯改造银行内部系统的云,核心本质是通过一朵更大的云,把银行的上下游生态链上的公司和机构连接起来,实现数字连接从而提供精准的金融服务。
“这是一个很大的变化。”他评论,银行正在以数字化手段去连接每一个实体经济,而不是过去用纯人工交互式方式。
另一个变化是,银行的渠道正在超出柜面、营业厅、手机银行、网银和客服电话这几种传统渠道,所有渠道都可以变成金融服务渠道。
一些较为激进的银行开始提出“开放银行”,所谓“开放银行”,指的是银行和产业能力的相互开放融合,云计算提供多方位数字化能力可能是银行数字化平台的最佳介质之一。
结合以上诸方面因素,中国银行业有动力去做核心系统升级,不是单纯因为其他原因,而是业务的发展和对发展速度的预期倒逼技术升级。“这才是深层次的动力。”
技术带来业务发展的新可能性,可能性又催生了新的技术需求。
国内某大行的一位信息领域高管对我们说,从长远发展来看,重构是大家面临的迟早问题。大部分银行的核心系统都是若干年之前的核心系统,支撑长久不变的传统金融业务是问题不大,但金融业务的模式无论从内容上还是从形式上都会逐渐发生颠覆性的变化。而且随着新的业务形态不断出现,核心系统之外的外挂系统层出不穷,技术栈越来越多,维护难度越来越大。
“你不下决心变,你的业务增长速度就会拉跨。你可能就会输给大盘增长。”他说,总有一天,这种矛盾会严重到必须改变的程度。究竟选择什么样的时机去做这个事情,这是大家面临的问题。另外,究竟是全部改造还是部分模块儿改造,这个问题取决于现有核心系统架构的灵活性或者模块化程度如何。而重构核心系统的最重要内在动力之一,是对业务支撑的敏捷能力和金融产品上线的效率的更高追求,而非单纯的技术先进性。
回到最初问题的答案,金融领域因历史技术原因构建了非常多的集中式竖井式应用,但随着业务的飞速发展、全球化进程加速、客户需求更加复杂多元、跨界竞争不断加剧,如何快速响应业务的变化,让系统之间相互协同,资源共享等问题,金融系统面临着严峻的挑战。
从目前技术的成熟度与发展趋势看,分布式技术架构,以及云原生技术能力的加持的确能够较好地解决上述问题。
刘伟光强调,金融机构采用分布式架构等云原生技术,并不是将应用上公有云,而是将金融对安全合规、交易强一致性、单元化扩展、容灾多活、全链路业务风险管理、运维管理等行业要求与云原生技术进行深度融合,发展为一套既符合金融行业标准和要求、又具备云原生技术优势的金融级云原生架构。
啃最难啃的骨头
四川农信的数字化转型就是一个典型样本。
四川农信创办于1951年,是四川省内目前业务规模最大、服务网络最广,员工数量最多的银行业金融机构。到2020年12月,四川农信有5182个营业网点,近4万名从业人员,资产规模达1.6万亿元,各项存款1.3万亿元,各项贷款7755亿元,这些数据在四川省的银行中,均位于第一梯队。
四川农信的一个特殊点在于,它此前是中国仍然使用大型主机核心系统的11家大型金融机构之一。是刘伟光团队最早推广核心系统分布式改造升级的一个重点对象。
有银行业人士给我们提供的统计数据显示,新一代核心系统筹备与在建的银行中,城商行占比约为四分之三,是这一阶段的核心参与群体。阿里云更加看重大型银行的标杆效应。
从技术角度分析,他们也是最难啃的骨头。
2018年1月刘伟光团队开始与四川农信接触。四川是劳务输出大省,四川农信是服务四川人民的大行,每年的返乡潮,给四川农信带来巨大的潮汐业务压力。这样的情况,类似双十一的爆发式增长。
要解决这个压力,比较彻底的办法是,换一套更加有弹性技术能力的核心业务系统,具备更先进的技术架构去拥抱更多新的业务。
淘宝天猫能用有弹性的云分布式系统扛过双十一的洪峰,这是刘伟光和他的团队的优势,但当时金融核心未来主流技术架构是不是分布式?互联网行业沉淀的技术能力能否复制到银行,这是他在四年前面临的不确定性。
“现在回想起来,那是一段曲折痛苦的历程。”刘伟光回忆,从2018年年初到2019年上半年,刘伟光团队花了整整一年半时间,向四川农信论证分布式技术是不是主流,给他们各级领导去阐述分布式架构是未来的趋势。期间,仅刘伟光自己,十次入川。
第一个转机发生在2018年年底,刘伟光和四川农信的核心系统负责人,做了一次深聊。这位负责人问刘伟光,“我准备把我的职业生涯赌在这场大机下移,你愿不愿意跟我一起赌?”
刘伟光打算一起赌。
2019年,阿里云中标四川农信云平台项目。中标之后第一件事,是把四川农信所有的外围系统,如智能贷款、手机银行等非大机部署的应用一步步迁到分布式云平台上,用了一年时间的平稳运行证明这件事可行,同时帮助行里专家形成使用新的技术体系进行开发和运维的习惯。
变化是很直观的。这些经过重构并迁移到云分布式架构的应用确实做到了更敏捷、更快捷,使资源使用更加简单,不用独立性去扩容,这是第一个变化。但刘伟光更看重另一个变化——让更多四川农信的员工去了解、使用和习惯这套新系统,哪怕只是外围系统的变化。
“集中化不是一个技术,已经成为一种思维模式,所有人一想到配什么软件、配什么硬件、配什么服务器,已经变成一种固有的思维模式,”刘伟光说,“当时需要去打破这种思维模式,告诉他们,你不用想这些不存在的障碍,云架构一定可以帮你解决。”
2021年11月30号,经过将近一千天的准备,四川农信核心系统分布式改造正式开始,也就意味着真正主机下移的帷幕徐徐拉开。
2021年12月,公开新闻报道,四川农信、阿里云在成都召开项目启动会,宣布四川农信分布式核心系统设计及验证项目正式启动。
这是国内首个银行核心系统从传统大型主机向分布式云平台 分布式数据库 单元化架构 异地多活的全新架构开始全量迁移的战略性项目。
至此,一千四百多天过去了,在那个项目的启动会上,刘伟光说了一句话:“梦想照进现实到底需要多久,答案是四年。”
阿里云新金融事业部金融核心部负责人陈威评价,四川农信虽然不是国内资产体量最大的银行,但非常有代表性,整个升级改造的思路和架构参考了阿里的最佳实践来做的,未来它能够拥有像网商银行、支付宝这种级别的弹性能力与业务敏捷能力。
这个判断有其现实依据。有银行业人士告诉我们,银行业核心系统分布式云原生改造还未大面积铺开,近5年来约100家银行进行了新一代核心系统改造(部分银行核心系统是分模块、分期建设),而且这部分改造的银行,根据自身体量与业务差异,核心系统升级改造的节奏和范围也不一样。
刘伟光的评价是:“它(四川农信)已经在实践和趟过最难的路,就像造汽车一样,最开始是手工造车和造生产线一起干,现在把所有新一代生产线基本上搭建了全行的云原生工场,也就是全局的技术架构中台和业务能力中台,接下来只需要在云原生工场这条生产线上批量生产应用模块。”
刘伟光啃的另一块硬骨头,是一家头部大型银行。到了双方开始接触的2020年,到了这个时候,分布式核心系统是不是主流系统这个问题,已经不需要去论证。双方的探讨直奔主题,如何把护城河内的核心系统一步步迁移到分布式技术架构平台上。
时间非常赶。从2021年4月中标,倒推时间表是今年的四月上线,选择的第一个应用就是超大型的卡核心系统,时间周期很快短;大行对技术抠得细,最紧张的时候,阿里云超过200号人驻场。数据中心办公区容不下那么多人,一拨人在办公区,一拨人在办公区走廊的乒乓球桌上工作,另一拨人在机房门口的沙发上工作,还有一拨人在门口的咖啡馆里随时待命。有问题大家到门口去接头。
刘伟光几乎把所有精兵强将都投入到了这场战斗中,把阿里云的信誉压在这个在阿里云内部被认为是“史诗级的项目”上。
和四川农信项目不一样的是,阿里云要在很短的时间内把所有的能力全部投进去,要在很短时间内整合好阿里云的大量技术栈。另一个挑战是,要协同其他应用开发商适配阿里云的技术栈。
“谁都不服谁,说服大家不容易。”刘伟光回忆。
数据迁移是改造的重难点,需要各部门通力协作。核心系统从集中式到分布式的迁移,具有一定挑战,改造任务量大,横跨多部门多系统,安全、正确迁移不易。但是改造量必须可控,如若工作量超过规划与预期,很大程度降低了核心系统建设的成功率。
下一个时代
去IOE进程中,核心数据库的替代最难,也是最为必要。
今年3月,Gartner首次发布数据库中国市场指南报告。报告指出,中国数据库行业将加速增长并逐步向云端迁移,未来四年,中国数据库行业向公有云迁移的速度将超过全球平均水平。2020 年数据显示,云数据库已占据整体数据库市场份额的 40% ,据 Gartner 预测,2022 年云数据库营收数据将占据数据库整体市场的半数以上。
随着国外数据库厂商的退出以及国家发展战略,中国企业正逐步迁移至国产数据库,这也市场增长的重要驱动因素。
Gartner预测,到2025年,中国分析型数据库市场来自海外厂商的将只剩下30%,交易型数据库市场海外厂商市场也只会剩下50%左右。
Gartner认为,国内数据库厂商有着不同的成熟水平,能有效满足中国市场特有的需求。Gartner发现银行、零售和快消品等超大规模 B2C 组织都遇到了性能瓶颈和维护成本的问题,数据库和数仓上云似乎成了技术投资的最优解。
刘伟光啃下的两根硬骨头接下来将面临下一个现实挑战:迁移之后能不能保证系统平稳运行,会不会出现一些无法预见的适配问题而导致系统故障,业务宕机?
业务敏捷是面对不确定性的制胜法宝。这也是核心转型的最大动因之一。但前提是保证可靠性和稳定性以及高可用,没有稳定,就没有金融安全,没有金融安全一切都是空中楼阁,没有高可用性,就没有金融级的服务水准。
新的战役才刚刚开始。
有资深银行人士向我们指出,国产化替代在近几年将加快脚步,但新的挑战也是目视可见的。比如,运维复杂程度更高、数据一致性风险、和人才需求的量级提升。
分布式架构部署的应用服务器数量大大高于集中式架构。不仅要面对分布式存储后的多数据管理,还需要处理微服务架构下服务相互调用带来的一系列故障排查与服务治理。传统的运维手段很难满足其运维需求,而智能化运维时代将很快到来。
此外,分布式数据库需要进行分布式事务管理。微服务与数据分布式存储的跨应用、跨数据库的分布式事务,需要对不同类型的分布式场景进行相应的应对管理。
分布式架构对运维人员的技术要求有所提高,对运维人员的工作量也逐步加大。部分银行分布式架构采用了开源软件高于集中式架构,需要投入的精力与对开源软件的掌控能力大大提高。
关于未来,“坚持正确的方向去做,保持定力。”刘伟光说。
阅读 301
赞在看
写下你的留言
:30382
版权声明:本文内容由网友提供,该文观点仅代表作者本人。本站(http://www.tengzhuan.com/)仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3933150@qq.com 举报,一经查实,本站将立刻删除。