当前位置: 首页 > news >正文

Datax报错:在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数

文章目录

  • 一、背景
  • 二、报错内容
  • 三、解决方法
  • 四、参数说明

一、背景

linux安装datax后,执行数据迁移任务报错。

datax自定义json内容如下:

{"job": {"setting": {"speed": {"channel": 3,"byte": 1048576},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "root","column": ["`id`","`app_name`","`title`","`order`","`address_type`","`address_list`"],"splitPk": "","connection": [{"table": ["job_group"],"jdbcUrl": ["jdbc:mysql://localhost:3306/dataxweb?useUnicode=true&characterEncoding=utf-8&useSSL=false"]}]}},"writer": {"name": "streamwriter","parameter": {"print": false,"encoding": "UTF-8"}}}]}
}

二、报错内容

2025-06-26 14:32:37.377 [job-0] ERROR JobContainer - Exception when job run
com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .].  - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:30) ~[datax-common-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.job.JobContainer.adjustChannelNumber(JobContainer.java:430) ~[datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.job.JobContainer.split(JobContainer.java:387) ~[datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:117) ~[datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.Engine.start(Engine.java:86) [datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.Engine.entry(Engine.java:168) [datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.Engine.main(Engine.java:201) [datax-core-0.0.1-SNAPSHOT.jar:na]
2025-06-26 14:32:37.383 [job-0] INFO  StandAloneJobContainerCommunicator - Total 0 records, 0 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 0.00%
2025-06-26 14:32:37.383 [job-0] ERROR Engine - 经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .].  - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:30)at com.alibaba.datax.core.job.JobContainer.adjustChannelNumber(JobContainer.java:430)at com.alibaba.datax.core.job.JobContainer.split(JobContainer.java:387)at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:117)at com.alibaba.datax.core.Engine.start(Engine.java:86)at com.alibaba.datax.core.Engine.entry(Engine.java:168)at com.alibaba.datax.core.Engine.main(Engine.java:201)

三、解决方法

删除运行json中的job.setting.speed.byte属性

删除后如下:

{"job": {"setting": {"speed": {"channel": 3},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "root","column": ["`id`","`app_name`","`title`","`order`","`address_type`","`address_list`"],"splitPk": "","connection": [{"table": ["job_group"],"jdbcUrl": ["jdbc:mysql://localhost:3306/dataxweb?useUnicode=true&characterEncoding=utf-8&useSSL=false"]}]}},"writer": {"name": "streamwriter","parameter": {"print": false,"encoding": "UTF-8"}}}]}
}

四、参数说明

关键参数

  • job.setting.speed.channel : channel并发数
  • job.setting.speed.record : 全局配置channel的record限速
  • job.setting.speed.byte:全局配置channel的byte限速
  • core.transport.channel.speed.record:单个channel的record限速
  • core.transport.channel.speed.byte:单个channel的byte限速
http://www.lqws.cn/news/526609.html

相关文章:

  • Flutter 多平台项目开发指南
  • 使用Charles中文版抓包工具进行高效的API调试与性能优化
  • openharmony 性能检测工具
  • [架构之美]Spring Boot 3.5.3新特性解析及JDK21集成
  • Socket 编程 TCP
  • 小程序入门:理解小程序页面配置
  • ZYNQ GP总线深度实战:智能灯光控制器的PS-PL交互艺术
  • 128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
  • 如何解决本地DNS解析失败问题?以连接AWS ElastiCache Redis为例
  • 华曦达港股IPO递表,AI Home生态构建智能生活新蓝图
  • dockercompose快速安装ELK
  • 设计模式 | 原型模式
  • 分布式I/O在风电行业的应用
  • 向量数据库milvus中文全文检索取不到数据的处理办法
  • Python 惰性求值实战:用生成器重构 Sentence 类
  • Milvus中 Collections 级多租户 和 分区级多租户 的区别
  • kubernetes架构原理
  • 【Docker基础】Docker容器管理:docker rm及其参数详解
  • Axure版TDesign 组件库-免费版
  • Ubuntu中使用netcat发送16进制网络数据包
  • android 11.0 打开ALOGV ALOGI ALOGD日志输出的方法
  • git 多用户管理 跨平台
  • 远程玩3A大作要多少帧?ToDesk、向日葵、UU远程性能对决
  • mysql 安装vc++2013 没有权限问题。
  • 使用 DHTMLX Gantt 添加迷你地图:提升大型项目可视化与导航体验
  • 996引擎-假人系统
  • el-select封装下拉加载组件
  • 《量子计算对加密体系的降维打击:RSA2048在Shor算法下的生存时间预测》的终极解析,结合量子算法推演/后量子加密实战/蒙特卡洛预测模型
  • 编程语言与认知科学:构建理解机器与人类共同语言的桥梁
  • Rust 中的时间处理利器:chrono