当前位置: 首页 > news >正文

logstash拉取redisStream的流数据,并存储ES

先说结论, window验证logstash截至2025-06-06 是没有原生支持的。

为啥考虑用redisStream呢?因为不想引入三方的kafka等组件, 让服务部署轻量化, 所以使用现有的redis来实现, 为啥不用list呢? 已经用stream的框架书写了相关的业务处理, 所以更改为list成本太高。

我们有一个服务单独读取redisStream的数据并且写入es。 现在我的日志体系也要接入这套体系中。为了保证后续支持kafka,MQ等消息组件, 我肯定期望是用现有框架,比如logstash来进行支持的。毕竟没啥复杂业务,支持从A的数据源转换为了B的数据源。
以下是试错:

首先服务器使用的jdk1.8 下载了1.8支持的logstash版本。logstash-6.8.23 解析报错。

再下载jdk1.8版本支持的最高版本,logstash-7.9.3报错。

最终下载官网最新版本logstash-9.0.2 还是报错。https://www.elastic.co/downloads/logstash

logstash-9.x版本
因为没有配置文件pipelines.yml 所以 .\bin\logstash.bat --version 并不能查看版本。
使用 .\bin\logstash.bat -e "input { stdin { } } output { stdout {} }" 验证服务是否正常启动。
安装redis的支持:
bin/logstash-plugin install logstash-input-redis (当前插件3.7.1)
执行报错:
This setting must be a ["list", "channel", "pattern_channel"]
data_type只支持list和channel。 没有stream的支持,

使用deepseek、豆包、文心一言等多种大数据检索,都告诉我支持stream. 结果我的本地项目愣是没有跑起来, 不确定是否是因为我用window跑的原因, 下次用linux跑以下试试,再来更新结论。 

http://www.lqws.cn/news/190819.html

相关文章:

  • Python读取阿里法拍网的html+解决登录cookie
  • 宁乡地-气-碳-水相互作用综合观测数据集
  • 概念理解篇:线程同步之【互斥】
  • 《0/1背包》题集
  • 飞马LiDAR500雷达数据预处理
  • AOSP (Android11) 集成Google GMS三件套
  • 大模型时代的“思考“与“行动“:人工智能的认知革命
  • STM32标准库-TIM输出比较
  • iview Switch Tabs TabPane 使用提示Maximum call stack size exceeded堆栈溢出
  • 《深度体验 Egg.js:打造企业级 Node.js 应用的全景指南》
  • ardupilot 开发环境eclipse 中import 缺少C++
  • Splash动态渲染技术全解析:从基础到企业级应用(2025最新版)
  • 麒麟v10系统的docker重大问题解决-不支持容器名称解析
  • 【机械视觉】Halcon—【八、形态学调整和生成棋盘格】
  • MDP的 Commands模块
  • MS31912TEA 多通道半桥驱动器 氛围灯 照明灯 示宽灯 转向灯驱动 后视镜方向调节 可替代DRV8912
  • 在 Caliper 中执行不同合约的方法
  • 应用分享 | 精准生成和时序控制!AWG在确定性三量子比特纠缠光子源中的应用
  • Java学习——正则表达式
  • 09.三数之和
  • vm虚拟机添加虚拟机无反应,获取所有权
  • 在WPF项目中集成Python:Python.NET深度实战指南
  • 无人机定位系统技术设计与难点突破!
  • 接口限频算法:漏桶算法、令牌桶算法、滑动窗口算法
  • 智能生成完整 Java 后端架构,告别手动编写 ControllerServiceDao
  • 如何实现安卓端与苹果端互通的多种方案
  • 好子集的数目概念及表达形式
  • 每次clone都会有:Enter passphrase for key ‘/Users/xxx/.ssh/id_rsa‘:
  • [蓝桥杯]迷宫与陷阱
  • 排序算法总结(C++)