当前位置: 首页 > news >正文

电力监控/能耗/云平台的数据集采、处理方式的浅析与展望

文章目录

  • 前言
  • 一、常见的数据通讯协议
    • 1.645 协议发展
    • 2.Modbus 协议发展
    • 3.两者在发展中的联系
  • 二、数据采集的时间精度
    • 1.协议通讯层面:
    • 2.硬件层面:
  • 三、数据集采的质量
    • 1.现以某能耗网关的技术指标为例做简单讨论:
    • 2.结合实际项目中的应用
  • 四、智能网关对于数据质量的影响
  • 五、未来展望


前言

自从仪表从机械表升级到电子计量表也称为智能表计之后,数据的集采方式也有很大的不同。电力监控/能耗/云平台系统的产生,对接智能表计,组成完整的系统,实现用户的数据管理需求。先就智能表计相关的协议、数据集采的网关的变化,简单讨论当期软硬件变化带来的数据采集,处理方式,以及数据精度的变化。


一、常见的数据通讯协议

关于不同的智能表计,通讯协议多种。现在就常见的645协议和modbus协议为例,做简单介绍。

1.645 协议发展

诞生背景:
随着电力系统发展,对电力计量准确性和数据传输及时性、可靠性要求提高,传统通信方式难以满足需求,1997 年中国推出 DL/T 645-1997 多功能电能表通信规约,以统一电力仪表和数据采集设备之间的通信规范。

改进升级:
为进一步提高通信效率和兼容性,在 2007 年发布了 DL/T 645-2007 协议,对数据格式、通信规程等方面进行了优化。

应用范围:
DL/T 645 协议主要应用于电力系统中低压配电系统的电子式电能表与外部设备如抄表系统、数据采集器等的数据交换。

当下645协议还在国网盘表中有一定规模的使用。

2.Modbus 协议发展

诞生:
1979 年,Modicon 公司为实现工业环境中可编程逻辑控制器(PLC)之间的通信开发了 Modbus 协议。

扩展:
1997 年施耐德电气收购 Modicon 公司后,扩展了 Modbus 协议来支持 TCP/IP 通信协议,后来也出现了在 UDP/IP 通讯协议栈上使用 Modbus 协议的应用。从最古老的 RS232/RS485 串行总线发展到了 Modbus TCP 和透明就绪工业以太网,形成了 Modbus RTU、Modbus ASCII、Modbus TCP 等多个版本。

当下市场上大部分的智能表计都是使用的Modbus协议。

3.两者在发展中的联系

在电力行业等领域,早期使用 645 协议进行电能表等设备通信。但随着工业自动化和电力系统智能化发展,设备种类和数量增加,对通信协议的开放性、兼容性和扩展性要求提高。Modbus 协议作为工业领域通信协议的业界标准,具有公开发表且无版权要求、易于部署和维护、能实现不同厂商设备互联互通等优点。因此,在一些场景中,会通过协议转换网关等设备将 645 协议数据转换为 Modbus 协议,以便更好地实现电力设备的远程监控和管理,融入更广泛的工业自动化系统或物联网系统中。

二、数据采集的时间精度

关于数据采集的时间精度,这是由协议的格式,以及实际配置的采集设备的性能所决定的。以 Modbus 协议为例,从数据测试的协议通讯层面、网关硬件配置层面做相关技术性讨论。

1.协议通讯层面:

一、基础参数
波特率(Baud):单位 bit/s,如 9600、19200。
单个字符时间:1 字节(11 位)传输时间 = 11 / 波特率(秒)。
帧间隔:至少3.5 个字符时间。

二、单个数据采集(读 1 个寄存器)
帧结构:
请求帧:8 字节(地址 1 + 功能码 1 + 起始地址 2 + 寄存器数 2+CRC2)。
响应帧:7 字节(地址 1 + 功能码 1 + 数据长度 1 + 数据 2+CRC2)。
总时间:
总时间 = (3.5+8+7+3.5) × 单个字符时间 = 22×(11/波特率)

示例(波特率 9600):
22×(11/9600)≈25.2ms。

三、多个数据采集(读 N 个寄存器)
帧结构:
请求帧:固定 8 字节(同单个)。
响应帧:(4+2N) 字节(地址 1 + 功能码 1 + 数据长度 1 + 数据 2N+CRC2)。
总时间:
总时间 = (7+8+4+2N) × 单个字符时间 = (19+2N)×(11/波特率)

示例(波特率 9600,N=10):
(19+20)×(11/9600)≈44.7ms。

四、关键结论
批量读取更高效:读 N 个寄存器比逐个读取节省时间(如 N=10 时,单个平均时间从 25ms 降至 4.5ms)。
波特率影响显著:波特率越高,时间越短(如 19200 波特率下时间约为 9600 的 50%)。
优化建议:优先批量读取(N≤125),提高波特率,减少从机数量。

五、举例类比
简单理解就是 从鸡窝里拿鸡蛋:
1、单枚多次重复拿取:拿起母鸡,拿一枚鸡蛋,放回母鸡,重复此动作。
2、多枚多次重复拿取:拿起母鸡,拿多枚鸡蛋,放回母鸡,重复此动作。

在上述动作中,拿起母鸡,放下母鸡占用大部分时间,所以多枚多次就节省了大部分时间。

2.硬件层面:

数据的集采早期使用的是串口服务器,到现在的智能网关。两者在数据采集上的区别和速度差异如下:

一、核心功能
串口服务器:单纯实现串口与 IP 网络协议转换,仅透传数据,适用于单台串口设备联网。
智能网关:具备协议转换、数据处理、存储等能力,支持多协议,用于复杂物联网场景数据预处理。
二、采集流程
串口服务器:接收串口数据后直接转为 IP 数据上传,无处理环节,依赖上位机解析。
智能网关:接收数据后进行协议解析、清洗聚合等处理,转换为标准协议上传,支持断网缓存。
三、速度差异
因素 串口服务器 智能网关
单次延迟 低(10-100ms) 中高(50-500ms)
并发能力 单或少量串口 多串口、多协议并发采集
适用场景 小数据、低频采集 大数据、高频采集
四、选择建议
单设备联网选串口服务器,追求低成本与低延迟。
多设备协议整合、需边缘计算,优先选智能网关 。

总结:纯传输时串口服务器更快;涉及数据处理,智能网关综合效率更高,还可以减轻系统后台的运算压力。

三、数据集采的质量

随着当前云数据模式的不断发展,大家对于数据实时的要求提升,以及人力成本,时间成本,运维成本的不断增加。高效的,能够具有一定的数据处理的能力设备市场需求就显现出来。随之而来的就是智能网关。

1.现以某能耗网关的技术指标为例做简单讨论:

数据采集:
支持协议:能兼容多种通信协议,如 Modbus、MQTT、OPC、BACnet、DL/T 645 等,以适配不同品牌和类型的能耗监测设备,如智能电表、水表、气表、PLC 等。
采集精度:对采集的能耗数据,如电压、电流、功率、电量等,有较高的测量精度,一般要求电流测量精度达到 0.5% - 1%,电压测量精度达到 0.2% - 0.5%。
采集频率:可根据需求灵活配置采集频率,从秒级到分钟级甚至小时级,以满足不同场景对实时性的要求。
数据接口:具备丰富的硬件接口,如 RS485、RS232、以太网口、USB 口、模拟量输入输出接口(AI/AO)、数字量输入输出接口(DI/DO)等,便于连接各类设备。

通信传输:
通信方式:支持多种通信方式,如 5G/4G、Wi-Fi、以太网、ZigBee、NB - IoT 等,可根据现场环境和需求选择合适的通信网络。
传输速率:保证数据能够快速、稳定地传输,5G 通信速率可高达 1Gbps 以上,4G 通信速率一般在 100Mbps 左右,Wi-Fi 和以太网的传输速率通常在 100Mbps - 1000Mbps。
可靠性:支持断点续传、数据缓存等功能,在网络故障或中断时,能暂存数据,待网络恢复后自动上传,确保数据不丢失。

数据处理:
边缘计算能力:具备数据清洗、过滤、聚合、分析等边缘计算功能,可在本地对采集的数据进行预处理,减轻云端服务器的负担,提高数据处理效率和实时性。
数据存储:拥有一定的本地存储容量,如 4GB - 32GB 的闪存或硬盘,可存储历史能耗数据,方便本地查询和分析,同时也为断网情况下的数据保存提供保障。

设备管理:
远程管理:支持远程配置、升级、监控等管理功能,方便运维人员通过网络对网关进行操作和维护,降低维护成本。
设备接入数量:单台网关可接入的能耗监测设备数量有一定限制,一般从几十台到数百台不等,如支持连接 100 - 500 台智能电表等设备。

安全性能:
数据加密:采用数据加密技术,如 AES、SSL/TLS 等,对传输的数据进行加密,防止数据被窃取或篡改。
身份认证:支持设备身份认证和用户身份认证,确保只有授权的设备和用户能够访问和操作网关及相关数据。

环境适应性:
工作温度:通常能在较宽的温度范围内稳定工作,一般为 - 40℃ - 85℃。
湿度:适应不同的湿度环境,一般要求湿度范围在 5% - 95% RH(无凝结)。
防护等级:具备一定的防尘、防水等防护能力,如达到 IP54 或更高的防护等级,以适应不同的工业现场或户外环境。
性能指标:
CPU 性能:采用高性能的处理器,如工业级的 ARM 芯片或其他专用芯片,以保证网关能够快速处理大量的能耗数据和各种任务。
内存容量:配备足够的内存,如 1GB - 8GB 的 RAM,以支持网关的稳定运行和数据处理。

2.结合实际项目中的应用

关于边缘计算能力是指具备数据清洗、过滤、聚合、分析等边缘计算功能。在实际的工程应用中一般可以分为以下几点:
1.异常数据过滤:日常数据集采的过程中会发生数据突变,对于某些数据直接过滤,不进行上传工作,例如数据突变9999999,0000000等。

2.数据的实时判断上传:工会中的数据告警一般是采集到数据主站之后,在通过数据主站后台通过逻辑判断其是否过载,失压,并给出告警信息。智能网关就可以在本地直接对数据进行不间断轮询,发现其过载、失压之后,直接上传告警的具体数值,时间,以及相应的设备信息等内容。通过网关的数据处理,极大的缓解了主站后台的数据运算压力。通过此配置,实现十万级数据集采项目的实时告警。

3、数据分析:将数据按照要求分类分项,按照编码要求,配置相应的数据编码。求和,损耗计算等。

4、数据压缩:在数据传输上,为了实现数据的快速传输,以及流量消耗问题。智能网关将数据聚合,打包,压缩。降低数据包的大小,提升数据传输的速度,从成本,速度,以及后台资源消耗等方面,取得一个中间平衡方式方法。降本增效。

5、数据接口:为了实现多平台,多方面的数据需求,智能网关还开发了多平台,多接口同步数据上传功能。满足一机多主的实际需求。

6、断点续传:数据的连续性,是管理方重点关注的对象。普通的串口服务器,实时上传,长传数据失败,数据即丢失,断点续传就可以解决这个问题。在网络堵塞,数据上传通道中断的情况下,自我采集存储数据。网络恢复后,数据按照时间节点,继续上传,保证数据的连续性。

四、智能网关对于数据质量的影响

原本的常规配置,在硬件稳定的情况下。中间网络的稳定与否就会直接影响到数据的连贯性,稳定性,全面性。项目中经常遇到的中间网络链路中断,数据丢失的情况。对于日常的管理,设备全生命周期画像的绘制,无疑是致命。网关的自带数据存储功能,也就应运而生,解决了此问题。
还有就是边缘计算的能力,解决了海量数据,简单计算的算力占用问题。在一个系统平台中,以一万台智能仪表计算,刷新时间精度到秒。一台智能表计的数据采集两为20个,如此基础的判断计算,一秒就要执行20万次。如果将此数据的判断分摊到各个智能网管处,单个网关执行的数据判断也就处于两三万以内。此种方式在分摊了系统平台的压力的同时,还能保证数据告警的实时性。

五、未来展望

随着智慧网关的出线,通4G网络传输的方式也逐步被大家接受。同时各大通讯商推出的便宜的流量卡套餐,使得4G网络的传输模式,在经济可行性上得以实现。后续4G表计,也在市场上有了一定量的应用。按照的当前的发展模式,简单的数据处理,可能通过智能仪表直接完成,在配合云平台技术,虚化后台的硬件配置。未来或许随安、随用、随查、随控成本智能仪表的标配技术。数据在通过云平台,对接至APP,小程序,网页等各种网络端口、移动端口。在配合物联网等技术,配置个性化的、定制化的生活,生产控制模式,成为大家日常工作、生活密不可分的一部分。当然以上的控制内容,除了上文所说的内容,还有一个最重要的、需要解决的问题,就是数据安全。这又是另一个层面的问题,以后有机会再讨论。

http://www.lqws.cn/news/131383.html

相关文章:

  • 使用 useSearchParams 的一个没有触发控制台报错的错误用法
  • Ros(俩不同包的节点 交流 topic message)
  • 蚂蚁森林自动收能量助手:Ant_Forest_1_5_4_3绿色行动新选择
  • Excel高级函数使用FILTER、UNIQUE、INDEX
  • selenium学习实战【Python爬虫】
  • 【仿生机器人】刀剑神域——爱丽丝苏醒计划,需求文档
  • DAY 21 常见的降维算法
  • 极速唤醒:高通平台 Android15 默认跳过锁屏,秒启主界面!
  • Java面试专项一-准备篇
  • 目标检测任务的评估指标mAP50和mAP50-95
  • 【推荐算法】Embedding+MLP:TensorFlow实现经典深度学习推荐模型详解
  • 网络编程之网络基础
  • (1-6-3)Java 多线程
  • .Net Framework 4/C# 面向对象编程进阶
  • 从上下文学习和微调看语言模型的泛化:一项对照研究 -附录
  • AI基础知识(LLM、prompt、rag、embedding、rerank、mcp、agent、多模态)
  • 【ArcGIS微课1000例】0148:Geographic Imager6.2使用教程
  • OpenCV CUDA模块图像处理------创建一个模板匹配(Template Matching)对象函数createTemplateMatching()
  • Fullstack 面试复习笔记:Java 基础语法 / 核心特性体系化总结
  • python爬虫:Newspaper3k 的详细使用(好用的新闻网站文章抓取和解析的Python库)
  • x86 汇编逻辑运算全解析:从【位操作】到实际应用(AND,OR,NOT,XOR,TEST)
  • 基于Gemini 2.5 Pro打造的AI智能体CanvasX上线,绘制常见图表(折线图、柱状图等),国内直接使用
  • 如何从零开始建设一个网站?
  • 【计算机网络】HTTPS
  • 网络各类型(BMA,NBMA,P2P)
  • 信息学奥赛一本通 1569:【 例 1】石子合并 | 洛谷 P1880 [NOI1995] 石子合并
  • 【网络安全】漏洞分析:阿帕奇漏洞学习
  • Java观察者模式深度解析:构建松耦合事件驱动系统的艺术
  • OffSec 基础实践课程助力美国海岸警卫队学院网络团队革新训练
  • ArcGIS计算多个栅格数据的平均栅格