var值计算性能千倍提升——某头部外资银行实例分享

author author     2023-03-22     451

关键词:

随着政策的推进、技术的迭代以及市场需求的逐步扩大,采用安全可控的金融科技产品渐渐成为热潮,国内众多金融政企机构纷纷开始改造升级原有IT系统,对老旧系统的国产化替换需求日益强烈。

但“替换”不应该是简单的更换产品,而是根据业务发展需要,选择一套更优秀的解决方案,为企业实现“降本增效”。

这里,我们为大家介绍一个外资银行金融市场数据集市国产替换的成功案例。

在这个案例中,该外资银行使用 DolphinDB 从底层完美替换了 Oracle,不仅成功解决了兼容性、海量数据迁移问题,更实现了对原有金融市场数据集市所面向业务的全面升级:

  • IRS VaR 业务的每日平均处理时长由40分钟降至3.5秒,提升近千倍;
  • CMDS 实时数据接口延时由300-500毫秒降至10毫秒以下;
  • 整体报表查询速度提升近5倍。

打破性能瓶颈,释放业务潜力


IRS VaR 计算:从40分钟至3.5秒

VaR 值是银行风险控制中最基础的风险度量指标之一,可以用来度量在一定时间区间内,某个投资组合或资产价值可能出现的最大亏损,帮助投资者了解自己的风险承受能力,制定风险控制策略,降低投资风险。

提升 VaR 值计算的性能不仅能提高风险控制能力,还可以实现对资本分配和决策的优化。

在本案例中,该银行原有系统使用老牌传统数据库 Oracle 来存储和处理 IRS VaR 业务数据。具体来说,通过上游交易系统日终文件交换获取当日 IRS 交易明细、中债估值、曲线等相关业务数据,存储在 Oracle 中,生成金融市场数据集市内部模型数据,并根据下游 Risk Matrix 所需要的 VaR 报表计算逻辑生成供数文件。

然而,随着数据量的不断增加和业务优化,处理IRS VaR 业务的每日平均时长最高达到了40分钟。

为了进一步缩短耗时,提升效率,经过多轮对比测试,他们最终选择了DB-Engines 时序数据库榜单上国内排名第一的 DolphinDB,实现对系统和业务的全面升级。

通过 DolphinDB 语法,可以在低资源成本下实现业务目标。根据当前生产运行情况统计,该计算任务的每日平均处理时长由原来的40分钟降至3.5秒,提升近千倍。

逐笔数据实时处理:从上百毫秒至10毫秒以下

除了对 IRS VaR 业务的改造升级,DolphinDB 还帮助用户大幅降低了逐笔数据处理的延时。

该银行业务需要根据外汇交易中心数据接口技术规范,通过 API 形式获取 CMDS 利率互换实时逐笔行情及成交数据并落库。根据当前生产运行情况监测,该接口逐笔数据处理延迟约300-500毫秒。

经过 DolphinDB 改造升级后,在 TPS 1000笔的实时流数据吞吐量压力下,整体延时少于10 毫秒,CPU使用率低于20%,内存使用率低于60%,实时流处理队列没有堆积。

DolphinDB:强大的计算与流计算性能

在计算 VaR 值的过程中,需要用到大量的历史数据,这些数据往往可能分散在不同的系统或数据库中;同时,VaR 计算需要对多维度、大规模的数据进行数值计算,因此对多数据源的采集处理能力和复杂计算能力是提升 VaR 值计算性能的关键。

此外,该银行需要获取 CMDS 利率互换实时逐笔行情及成交数据并落库,这就要求具备高吞吐、低延时的流数据服务支持。

作为一个基于数据库管理系统,支持数据分析、流数据处理的低延时平台,DolphinDB 不仅在存储、查询拥有领先性能,还有强大的计算和流数据实时分析功能,被广泛应用于行情数据存储、量化策略研发和生产环境交易场景中,满足了用户从存储到反控决策的全流程需求。


  • 存储与查询:支持 OLAP/TSDB 存储引擎,海量数据高性能读写;
  • 海量数据计算:1400+ 内置函数,满足各类指标的复杂计算;强大的向量化和函数化编程,帮助用户享受极速性能体验;
  • 实时流数据处理:封装流数据处理引擎,用更少的步骤实现增量计算,降低计算时延。

而在以银行为代表的传统金融机构领域,除了数据存储、查询与计算,数据安全与系统运维成本也至关重要,对此 DolphinDB 同样拥有亮眼表现——

原生的分布式架构具备较强的可扩展性,满足海量数据高并发低延时处理需求;具备数据备份和恢复功能,可以有效分散单点故障带来的数据安全风险,保障了金融业务的持续进行;此外,完全国产自研,掌握所有核心技术。

在完成了对业务的提速升级之后,DolphinDB 的上述特点,让该外资银行看到了更多的可能性,尝试从底层用 DolphinDB 替换 Oracle,以解决老旧系统对海量数据支撑乏力、业务连续性难保障和安全可控性较低的问题。


从改造升级到全面替换

Oracle 拥有独特的生态系统,其中包含数据类型、语法结构、函数功能、客户端支持等多个方面,并可支持程序化脚本以及批量任务的运行。此外,Oracle 现存数亿级别关键市场数据,包含 YDM/TDM 等多个数据集市的数据资源,拥有完善的数据模型,对数据的平迁与迭代均需保证准确性、完整性。在银行现有的报表业务下,还要保证上游系统的与下游系统的正常使用。

这些难题,在该外资银行携手第三方服务商 Tracade 共同推进了基于 DolphinDB 的数据基础服务系统后,都迎刃而解。


对 Oracle 生态系统的兼容

无论是常用数据类型、语法、函数,或是客户端等,DolphinDB 对 Oracle 的生态系统都具备非常好的支持。其中,对常用数据类型和语法的覆盖率均达到98%以上,常用函数兼容性高达96%以上。相较于Oracle,DolphinDB 的语法不存在明显差异,常用语法不需要进行改造即可使用。

此外,DolphinDB 支持多种语言的 API 和多种应用插件,对各种报表软件与其他类型数据库都具有良好支持。


数据迁移与迭代

Oracle 现存数亿级别关键市场数据,针对这些现有数据的平迁与新业务数据迭代,该银行在第三方服务商 Tracade 团队的帮助下,完成了全量数据迁移。通过业务测试数据的对比,数据结构兼容性为100%,数据一致性为100%。

在这个过程中,依托 DolphinDB 灵活的数据分区控制、高覆盖的数据类型和语法兼容性,数据查询速度得到了提升,性能优化了5倍左右。

VaR值计算性能千倍提升——某头部外资银行实例分享_DolphinDB

多数据源支持

VaR值计算性能千倍提升——某头部外资银行实例分享_数据库_02

标准的数据迁移流程

报表平台兼容

DolphinDB 完美兼容了 SmartBI、Birt 报表平台,实现了2000多张报表的平迁,并通过 API 支持了银行业务系统的调用。

以 SmartBI 报表平台为例,该平台原本通过 Oralce 数据库生成银行业务所需报表,而替换成 DolphinDB 后,仅通过切换数据源,即可保障相关系统业务报表的正常使用,实现报表的批量平迁。

测试指标

平迁前

平迁后

备注

运行时间

8.2s

1.6s

相同条件下,报表运行20次的平均值

数据完整性

100%

相同条件下,报表运行20次完整性校验

本案例中,该银行面临日益增长的数据量和不断升级的数据安全要求,并且需要支撑低延时的报表分析业务,因而传统老牌数据库 Oracle 已逐渐难以满足需求。在 Tracade 的帮助下,该银行用国产自研产品 DolphinDB 替换了 Oracle。

作为一个基于数据库管理系统,支持数据分析、流数据处理的低延时平台,DolphinDB 不仅帮助用户快速实现了全量数据的平迁和迭代,还显著提升了原有业务的效率。可以说,该银行从 Oracle 到 DolphinDB 的实践,不仅是一次成功的国产替换,更是从存储、查询到实时流数据处理性能的全方位升级。

数智化案例展某头部股份制银行总行——“数字化投顾”工作台

...,构建以“资产配置”为核心的服务体系,有效提升营销工具效能、串联各项营销链路,赋能理财经理展业,提升全行理财服务整体能力。新的资产配置平台依托先进的金融理论模型,结合某头部股份制银行... 查看详情

银行委外资金“大撤退”金融“去杠杆”进入下半场

银行委外资金“大撤退”金融“去杠杆”进入下半场 作者:来源:经济参考报2017-05-2207:49   自金融“去杠杆”以来,银行委外资金大规模抽离股债市场导致部分资管公司出现被动甚至赔本卖资产现象。而作为委外资金... 查看详情

性能提升1400+倍,快来看mysqlvolcano模型迭代器的谓词位置优化详解(代码片段)

摘要:性能提升1400+倍,快来看MySQLVolcano模型迭代器的谓词位置优化详解。本文分享自华为云社区《华为云数据库内核专家为您揭秘MySQLVolcano模型迭代器性能提升千倍的秘密》,作者:GaussDB数据库。20年以上数... 查看详情

提升exadata计算节点本地io性能

1、问题概述某客户有一台ExadataX2-2,每个计算节点是4块普通的本地SAS硬盘做成的RAID5,然后在RAID5的本地硬盘上创建了一个文件系统来存放DSG数据同步软件,在后续的运维过程中,发现DSG数据同步软件在进行数据同步时的延时非... 查看详情

gaussdb(forredis)新特性发布:前缀搜索千倍提升与集群版多租隔离

...Redis协议,提供丰富的数据类型,基于云原生存储计算分离架构,在成本、可靠性等方面为企业带来全新价值。本次GaussDB(fo 查看详情

efcore相关的千倍性能之差:automapperprojecttovsmapsterprojecttotype

在前两天遇到.NETCore中EFCore的异步与同步查询的百倍性能之差(详情之前的博文)之后,这两天又遇到了AutoMapperProjectTo<T>与MapsterProjectToType<T>的千倍性能之差。问题是在昨天发现的,使用AutoMapperProjectTo<T>+EFCore从数... 查看详情

某外资摩托车零部件生产商

某外资摩托车零部件生产商该公司是一家日本某株式会社在中国广州投资设立的一家海外工厂,公司成立于1994年6月,总投资额1000美元,该公司引进日本先进的生产技术,生产设备及质量管理方法,采用国际通用的检查标准,使... 查看详情

安全有保障,效率大提升|超千点麒麟信安云在长沙某银行稳定运行!

...极速提升在国家加快信息技术应用创新的背景下,云计算作为各行业数字化转型发展的有力支撑,成为金融行业IT架构转型和金融信 查看详情

观察甲骨文:筑牢金融专有云坚实底座,重塑外资金融企业竞争力

...,都意味着中国金融市场对外资的吸引力进一步得以提升,外资银行也迎来了非常友好的发展环境。但另一方面,在中国数字金融、移动金融、金融科技发展迅猛的当下,外资金融行业如何更好地利用数字化技术... 查看详情

遭遇automapper性能问题:映射200条数据比100条慢了近千倍

今天遇到了AutoMapper的一个性能问题,使用的是AutoMapper的Project特性,AutoMapper版本是3.3.0,代码如下:returnawait_repository.GetByStartId(startIngId,itemCount).Project().To<TDto>().ToListAsync();当获取包含200条数据的列表时,竟然超过5秒。GetDoc 查看详情

如何使用modelbox快速提升ai应用性能?

...Box快速提升AI应用性能​​》,作者:panda。随着AI技术和计算能力的发展,越来越多的开发者学会用tensorflow、pytor 查看详情

让你的javascript计算性能提升70%

...orker也仅仅是解决了阻塞主线程的问题,但是对于JavaScript计算性能慢的问题并没有解决。这里对一些需要密集计算的场景我给大家推荐一个神器——WebAssembl 查看详情

架构师提升篇:分布式系统中,如何提升系统性能?

在分布式系统中,平衡业务计算的压力分布,减少网络上的数据流动,是一种提升性能的手段,请看下面的例子。1)案例背景某“机械设计研究所”历史上在管理模式上采用传统的层次化垂直结构。但是近年来,随着用户对产... 查看详情

案例分享:巧用各种工具提升无源码系统的性能和稳定性

案例分享:巧用各种工具提升无源码系统的性能和稳定性导读:在没有核心系统源码的情况下,修改源码打印耗时的方法无法使用,通过tcpdump、wireshark、gdb、010editor、火焰图、ida、数据库抓sql耗时语句、oracleash报告、loadrunner等... 查看详情

搭载第四代自研神龙架构阿里云发布rdma增强型实例等多款新品

...21日消息,阿里云发布多款基于自研神龙架构的弹性计算新品,包括RDMA增强型实例、800GGPU超算实例、FPGA计算型实例、GPU图形计算型实例等,在性能方面大幅提升,同时增加了多种服务形态,将计算延伸至客户... 查看详情

阿里云服务器ecs第7代实例规格性能强劲安全加码!

...存储IO性能大范围提升全量搭载安全芯片:叠加可信计算与加密计算能力,为云上业务提供金融级的安全可信环境神龙架构:超高可用性架构,软硬 查看详情

阿里云服务器ecs第7代实例规格性能强劲安全加码!

...存储IO性能大范围提升全量搭载安全芯片:叠加可信计算与加密计算能力,为云上业务提供金融级的安全可信环境神龙架构:超高可用性架构,软硬 查看详情

某大型银行电子渠道报表系统ssisetl优化报告

...rverIntegrationServices)进行数据服务平台的ETL数据抽取时出现性能问题。在初期使用过程中出现了数据抽取速度过慢和系统资源占用过高的问题,除数据库基础架构建设存在优化可能外,SSIS参数未做面向生产环境硬件的优化也是一... 查看详情