当前位置: 首页 > news >正文

SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升

在海量数据分析中,追求高性价比已成为各大企业的主流趋势。ARM 架构凭借其高能效和低成本的特点,逐渐在数据中心崛起,成为理想的高性价比选择。基于 ARM 架构的 AWS Graviton 系列处理器,正是这一趋势的典型代表。Graviton 处理器不仅在计算性能上表现优异,同时显著降低了运行成本,尤其在数据密集型任务中展现出明显优势。与传统的 x86 架构处理器相比,Graviton 提供更高的每瓦性能,使其愈发成为极具吸引力的选择。

Apache Doris 是基于 MPP 架构的高性能、实时的分析型数据库,能够对大规模实时数据进行极速分析,满足报表分析、即席查询、统一数仓构建、湖仓一体等多种使用场景数据处理及分析需求,SelectDB 是飞轮科技基于 Apache Doris 打造的现代化实时数据仓库,通过实时、统一、弹性、开放的核心能力,为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 及 Apache Doris 现已支持 AWS Graviton,结合 ARM 处理器的低能耗及高性能特点,使其在处理大规模数据时,不仅能提供强劲的性能,还能保持较低的能耗,极大提升了性价比。

SelectDB 与 AWS Graviton 的适配

SelectDB 针对 ARM 架构做了进一步的深入优化,通过精细化的内核调度和内存管理调整,显著提升了在 ARM 处理器上的查询处理速度。具体优化措施如下:

  • 全面支持 ARM 下算子向量化。 在数据处理过程中,利用 CPU 的 SIMD(向量化)指令,能够提升单位时间的数据吞吐量,尤其在 OLAP 负载场景下更为明显。我们将 x86 下 SSE、AVX 指令迁移到 ARM 的 NEON 向量化指令,使得 SelectDB 在 ARM 下具备同样极致的数据处理能力。目前还在基于 SVE 对 ARM 的 SIMD 指令进行更深度的适配,预期将实现进一步的性能提升。
  • 高效的多线程同步方式。 与 x86 架构相比,ARM 架构具备更宽松的内存序实现,使得多线程能够更加充分地并行执行。SelectDB 在执行过程中充分利用 ARM 的多线程能力,能够根据具体的性能瓶颈准确选择线程同步方式,将多线程的同步负担降至最低,确保 CPU 时间能够更有效地投入到核心数据处理任务中。
  • 高效的任务调度模型。 SelectDB 具备高负载下处理大量并行任务的能力,这源于其高效率查询执行引擎。该引擎能够完全释放现代 CPU 的多核并行能力,在调度过程中充分将查询分解、并行。结合 ARM 架构的低能耗、低成本特点,用户可以在工作负载上部署更多的 CPU 核心,SelectDB 完全有能力充分利用多核 CPU 提升 SQL 执行速度。

SelectDB 在 ARM 架构上的性能表现

为直观表现 SelectDB 的在各机器上的性能表现,我们在 AWS EC2 云服务器上分别搭建了 x86 和 ARM 集群,并使用业界主流性能测试集对 SelectDB 进行了评估。

从下方测试数据汇总可知:在五个测试集的测试中,SelectDB 在 AWS EC2 ARM(c7g.4xlarge) 集群上的性能表现,均明显优于同等规格的 x86 (c6i.4xlarge)集群。 此外,综合 AWS Graviton 机器更低的使用成本,ARM 的 c7g.4xlarge 相较于 x86 的 c6i.4xlarge 也表现出了更高的性价比,在 Clickbench 测试集中甚至达到了 36% 的提升。

SelectDB 在 ARM 架构上的性能表现.PNG

SelectDB 在 ARM 架构上的性能表现-2.PNG

01 集群配置

我们在 AWS EC2 云服务器服务中,分别选取 x86 和 ARM 机器搭建 SelectDB 集群进行测试,集群配置均为 1FE + 3BE。

  • x86 架构:c6i.4xlarge 机型,搭载 Ice Lake 8375C 处理器;
  • ARM 架构: c7g.4xlarge,搭载 AWS 专属的 Graviton3 处理器。

具体配置如下:

集群配置.PNG

02 测试方法及数据集

使用 5 个最具代表性的性能测试集(如下表),全面测试 SelectDB 在各场景下的性能表现:

测试方法及数据集.PNG

在每个测试集中,顺序执行测试集中的所有 SQL,每条 Query 连续执行 4 次(1 次冷查和 3 次热查)。在热查中,取最快的一次查询作为该 SQL 的实际耗时,并汇总得出最终结果。

**详细测试步骤, 可参考文档

03 ARM 与 x86 在各测试集下的性能比较

  • Clickbench
    ARM 与 x86 在各测试集下的性能比较-Clickbench.PNG

  • SSB 100G
    ARM 与 x86 在各测试集下的性能比较-SSB100G.png

  • SSB-FLAT 100G
    ARM 与 x86 在各测试集下的性能比较-SSB-FLAT-100G.png

  • TPC-H 100G
    ARM 与 x86 在各测试集下的性能比较-TPCH100G.png

  • TPC-DS 100G
    ARM 与 x86 在各测试集下的性能比较-TPC-DS-100G.png

结束语

综上所述,SelectDB 在 AWS Graviton 上的性能表现展现了其作为高性价比数据分析解决方案的巨大潜力。结合 ARM 处理器的低能以及 SelectDB 的高性能特点,满足了企业对高效、低成本数据处理的需求。随着数据量的不断增长,这种融合将成为未来企业数据分析的关键趋势。

http://www.lqws.cn/news/456481.html

相关文章:

  • 代码随想录day10栈和队列1
  • Java 通过QQ邮箱发送邮件(包括附件) 直接可以使用
  • Postman接口测试完整版
  • Docker 容器技术入门与环境部署
  • 运算放大器
  • 应用层协议HTTP
  • shell脚本--变量
  • GNU Octave 基础教程(2):第一个 Octave 程序
  • 碳中和时代的家电革命,从华为智选IAM看科技企业的环保担当
  • conda导出环境文件requirements.txt
  • 解决 Conda 玑境激活问题:缺少 `bin/activate` 文件的应对方法
  • react 面试题
  • 信创 CDC 实战|国产数据库的数据高速通道:OceanBase 实时入仓 StarRocks
  • flask静态资源与模板页面、模板用户登录案例
  • 服务网格安全(Istio):用零信任架构重构微服务通信安全
  • 【系统规划与管理师第二版】1.3 新一代信息技术及发展
  • 三维视频融合怎么弄?三步实现精准投射与自由修剪
  • 如何在服务器终端下载百度网盘数据
  • Spring 的IoC 和 AOP
  • Git 查询与切换分支的完整指南
  • 语音相关-浏览器的自动播放策略研究和websocket研究
  • OCR大模型,破解金融文档处理困境,从文字识别到文字理解
  • 【国产化-k8s】超混合架构-x86+arm64+欧拉+麒麟V10部署k8s1.32+kubesphere4.1
  • Ubuntu 下安装配置和调优 Oh-my-fish
  • 日志监控与日志分析工具:ELK栈、Fluentd
  • PowerShell批量处理文件名称/内容的修改
  • 局域网文件共享及检索系统
  • 云祺容灾备份系统公有云备份与恢复实操-AWS
  • Rust使用tokio(二)HTTPS相关
  • day03-微服务01