当前位置: 首页 > news >正文

时序数据库 TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了

小T导读:在金融市场飞速发展的当下,行情数据的处理与分析已成为金融机构高效决策的关键支撑。华锐技术推出了华锐新一代历史行情中心——D5 平台,全面支持信创环境下的时序型历史行情数据库,具备海量数据存储能力,显著提升数据提取效率。相比传统方案,历史行情数据查询性能实现数倍提升本文将深入解析 TDengine 在 D5 平台中的应用实践,展示其在数据建模、性能优化、成本控制、运维简化等方面带来的核心优势。

作为分布式低时延技术的引领者,华锐技术致力于为金融机构提供高性能行情解决方案。在传统的行情处理中,传统数据库面临着数据量大、处理效率低、存储成本高等诸多挑战。面对日益增长的市场数据,金融机构亟需一种具备高并发处理、高可扩展性和低运维成本的新一代行情数据库,以应对更严苛的数据挑战。

TDengine 的落地实践

在 D5 平台中,时序数据库TDengine 作为历史行情数据库 HDB 的核心组件,与行情持久化适配器 DPS、历史行情服务 HQS 等模块深度协同。凭借 TDengine 的产品优势,D5 平台显著提升了客户在历史行情数据获取方面的体验,有力支撑了历史查询、行情回放、证券信息检索等关键服务。

平台架构如下图所示:

  历史行情中心——D5 平台架构图

历史行情建模

D5 平台的历史行情数据覆盖了沪深交易所、中金所、大商所、郑商所、上期所、上海能源所、北交所、港交所、外汇交易中心本币市场等主要交易场所,涵盖现货、固收债券、基金、衍生品等多种品类,实现对国内主要交易市场和品种的全行情支持。这类数据组织结构复杂,若采用传统关系型建模方式,管理难度高、维护成本大。

基于 TDengine“一个设备一张表”的建模理念,D5 平台在构建历史行情数据模型时,按证券市场和证券代码进行分类,将每支证券简化为一张子表,实现对全市场各类证券的统一管理和高效存储,大幅降低了数据建模和运维复杂度,同时显著提升查询性能。

如图所示,平台将证券市场和证券代码抽象为 TAG,在一张超级表下统一管理所有市场的 K 线数据。每支证券作为子表,记录其在每个时点的开盘价、最高价、收盘价、成交量、成交额等关键指标。

借助 TDengine 的时序数据特性,平台可通过 TAG 标签组织管理不同市场和品种的数据,同时通过数据分区分片机制,实现按市场、品种、证券维度的高效检索。

从这一机制出发,平台按不同 K 线周期(1 分、3 分、5 分、10 分、15 分、30 分、60 分、120 分、日、周、月、年)分别建立超级表,覆盖各类时间粒度的查询需求,从而实现全市场的 K 线极速查询。

纳秒级大规模数据存储与检索

以 Level-2 行情数据为例,D5 平台借助 TDengine 强大的存储与计算能力,构建了纳秒级快照超级表,用于存储全市场行情数据,单表数据量超百亿条。

在传统关系型数据库中,查询一天沪深全品种的历史快照数据往往需要长达 50 分钟;而基于 TDengine解决方案,最快仅需 17 秒即可完成同等查询,效率提升超过百倍

凭借极高的压缩比和卓越的查询性能,TDengine 显著提升了历史行情服务的存储和访问效率,为投研人员提供了更快速、更便捷的数据支持,加速策略开发与决策过程。

超大数据量导入

在项目落地过程中,华锐技术团队也曾面临挑战。例如,项目初期在进行历史数据迁移时,由于数据量大且格式复杂,使用 taosdump 命令导入 CSV 格式的历史数据时出现了部分数据导入速度较慢的问题。通过与 TDengine 开发团队紧密协作,我们对数据格式进行了优化调整,并完善了数据质检与回补机制,在保证导入性能的基础上,也确保了数据的完整性和准确性。

批量导入性能对比

批量导入是行情数据库的主要指标,本表为对比数据库下的批量导入速度

数据库

测试场景

导入耗时

TDengine 数据库

多线程导入一天的快照、逐笔的行情数据

74

某国产时序数据库

多线程导入一天的快照、逐笔的行情数据

111

某非时序数据库

多线程导入一天的快照、逐笔的行情数据

500

成本优势

在资源成本方面,得益于 TDengine 的架构优势、高压缩比和高效的资源利用能力,我们存储 10 年规模的历史数据,服务器数量大幅减少,硬件采购与运维成本也大幅降低。同时,TDengine 的简单易用性也降低了开发和运维的难度,进一步提升了团队的工作效率。

下一步规划

华锐技术计划进一步拓展 TDengine 在更多业务场景中的应用,尤其是在构建全栈信创体系、全面支持国产化方面发力。近年来,随着国家对网络与信息安全的高度重视,信创产业已上升为国家战略重点,信息化发展环境也在持续演进。利用TDengine 的高性能优势与国产化能力,华锐技术将为客户提供更加完备的信创解决方案。同时,公司也在积极探索 TDengine 在金融其他领域的应用潜力,推进复杂衍生指标计算、多维度数据挖掘等行情分析功能的开发,持续丰富产品能力,助力客户实现更全面的数据价值挖掘。

关于华锐技术

华锐技术创立于 2016 年,拥有世界领先的分布式低时延技术,是中国领先的分布式基础技术公司和资本市场核心业务平台提供商。公司总部位于深圳,在北京、上海、长沙设有子公司,业务网络覆盖全国。

华锐 AMD 行情产品部是华锐众多产线之一,致力于打造公司级新一代高速行情服务平台,提供行情极速分发、多数据中心行情传输、实时行情加工、历史行情服务等综合解决方案。平台具备高性价比,能够满足公司各类系统对行情数据的不同需求,现已在多家头部券商、银行理财子公司及私募基金稳定运行多年,持续为各类行情消费系统提供超高可用、超低时延的优质行情服务。

http://www.lqws.cn/news/524161.html

相关文章:

  • 以太坊执行客户端和共识客户端各自的作用及意义
  • java 对接ETH(以太坊) 交易相关资料
  • 区间求最值问题高效解决方法
  • Linux下使用docker nginx部署vue前端项目工程
  • vue2 使用el-form中el-form-item单独绑定rules不生效问题
  • IoT/HCIP实验-5/基于NB-IoT的智慧农业实验(平台侧开发+端侧编码+基础调试分析)
  • LOOP如何让长周期交互LLM代理在复杂环境中实现突破?
  • 正则表达式匹配实现
  • Boosting:从理论到实践——集成学习中的偏差征服者
  • Prompt:面向目标的提示词
  • WeakAuras Lua Script [ICC BOSS 12 - The Lich King]
  • Objective-C面向对象编程:类、对象、方法详解(保姆级教程)
  • 自动驾驶数据特征提取实战:用Python打开智能驾驶的新视角
  • 深入理解残差网络(ResNet):原理与PyTorch实现
  • Mysql数据库操作大全万字详解
  • 【Redis】Redis的下载安装和配置
  • 检查StringBuilder是否包含字符串
  • ARM内核之CMSIS
  • 【机器学习】非参数贝叶斯回归方法 GPR
  • ipfs在windows下载和安装
  • JSON框架转化isSuccess()为sucess字段
  • C++(智能指针)
  • Liunx操作系统笔记2
  • linux-修改文件命令(补充)
  • IT运维效率提升: 当IT监控遇上3D可视化
  • 三步实现B站缓存视频转MP4格式
  • 记一次AWS 中RDS优化费用使用的案例
  • Postman鉴权动态传参?对比脚本变量vs环境变量!
  • 理论加案例,一文读懂数据分析中的分类建模
  • 通过pyqt5学习MVC