提升var值计算的性能对银行机构有重要的意义,不仅能够帮助机构提高风险控制能力,同时还可以实现对资本分配和决策的优化。
某头部银行机构的原有系统,处理irs var 业务的每日平均时长高达40分钟,随着数据量的不断增加和业务优化,该银行急需对原有系统进行改造升级。经过多轮对比测试,他们最终选择了db-engines 时序数据库榜单上国内排名第一的dolphindb,实现对系统和业务的全面升级。
irs var 业务性能提升千倍
在计算var值的过程中,需要用到大量的历史数据,这些数据往往可能分散在不同的系统或数据库中;同时,var计算需要对多维度、大规模的数据进行数值计算,因此对多数据源的采集处理能力和复杂计算能力是提升var值计算性能的关键。
通过dolphindb语法对irs var任务进行改造,该任务通过上游交易系统日终文件交换获取当日irs交易明细、中债估值 、曲线等相关业务数据,生成金融市场数据集市内部模型数据,并根据下游risk matrix所需要的var报表计算逻辑生成供数文件。根据当前生产运行情况统计,该计算任务的每日平均处理时长由原来的40分钟降至3.5秒,提升近千倍。
逐笔数据处理延时由300-500毫秒降至10毫秒以下
除了对 irs var 业务的改造升级,dolphindb还帮助用户大幅降低了逐笔数据处理的延时。该银行业务需要根据外汇交易中心数据接口技术规范,通过 api 形式获取 cmds 利率互换实时逐笔行情及成交数据并落库。根据当前生产运行情况监测,该接口逐笔数据处理延迟约300-500毫秒。
经过 dolphindb 改造升级后,在 tps 1000笔的实时流数据吞吐量压力下,整体延时少于10 毫秒,cpu使用率低于20%,内存使用率低于60%,实时流处理队列没有堆积。
用 dolphindb 实现底层替换
在对上述两项业务改造升级的过程中,dolphindb在存储、查询方面展现出的领先性能和强大的计算和流数据实时分析能力,让该头部外资银行看到了更多的可能性。为了实现更多业务面的提升和降本增效,该银行决定选择 dolphindb 从底层对原有的oracle进行替换。
1.对原有系统的生态兼容
无论是常用数据类型、语法、函数,或是客户端等,dolphindb 对 oracle 的生态系统都具备非常好的支持。其中,对常用数据类型和语法的覆盖率均达到98%以上,常用函数兼容性高达96%以上。相较于oracle,dolphindb 的语法不存在明显差异,常用语法不需要进行改造即可使用。
此外,dolphindb 支持多种语言的 api 和多种应用插件,对各种报表软件与其他类型数据库都具有良好支持。
2. 保证现存数据的顺利迁移和迭代
oracle 现存数亿级别关键市场数据,针对这些现有数据的平迁与新业务数据迭代,该银行在第三方服务商 tracade 团队的帮助下,完成了全量数据迁移。通过业务测试数据的对比,数据结构兼容性为100%,数据一致性为100%。
在这个过程中,依托 dolphindb 灵活的数据分区控制、高覆盖的数据类型和语法兼容性,数据查询速度得到了提升,性能优化了5倍左右。
3. 对现有 smartbi、birt 报表平台的兼容
dolphindb 完美兼容了 smartbi、birt 报表平台,实现了2000多张报表的平迁,并通过 api 支持了银行业务系统的调用。
以 smartbi 报表平台为例,该平台原本通过 oralce 数据库生成银行业务所需报表,而替换成 dolphindb 后,仅通过切换数据源,即可保障相关系统业务报表的正常使用,实现报表的批量平迁。
总结
本案例中,该银行面临日益增长的数据量和不断升级的数据安全要求,并且需要支撑低延时的报表分析业务,因而传统老牌数据库 oracle 已逐渐难以满足需求。在 tracade 的帮助下,该银行用国产自研产品 dolphindb 替换了 oracle。
作为一个基于数据库管理系统,支持数据分析、流数据处理的低延时平台,dolphindb 不仅帮助用户快速实现了全量数据的平迁和迭代,还显著提升了原有业务的效率:
·irs var 业务的每日平均处理时长由40分钟降至3.5秒,提升近千倍。
·cmds 实时数据接口延时由300-500毫秒降至10毫秒以下
·整体报表查询速度提升近5倍
可以说,该银行从 oracle 到 dolphindb 的实践,不仅是一次成功的国产替换,更是从存储、查询到实时流数据处理性能的全方位升级。