当前位置：首页 > news >正文

Canal环境搭建并实现和ES数据同步

news 2025/6/28 14:35:08

作者：田超凡

日期：2025年6月7日

Canal安装，启动端口11111、8082：

安装canal-deployer服务端：

https://github.com/alibaba/canal/releases/1.1.7/canal.deployer-1.1.7.tar.gz

cd /opt/homebrew/etc

mkdir canal-deployer

tar -zxvf canal.deployer-1.1.7.tar.gz

修改配置文件：

vi conf/canal.properties

canal.ip = 127.0.0.1

vi example/instance.properties

# 需要同步数据的MySQL地址

canal.instance.master.address=127.0.0.1:3306

canal.instance.master.journal.name=

canal.instance.master.position=

canal.instance.master.timestamp=

canal.instance.master.gtid=

# 用于同步数据的数据库账号

canal.instance.dbUsername=账号

# 用于同步数据的数据库密码

canal.instance.dbPassword=密码

# 数据库连接编码

canal.instance.connectionCharset = UTF-8

# 需要订阅binlog的表过滤正则表达式

canal.instance.filter.regex=.*\\..*

启动canal-deployer

到 bin 目录下，执行命令：./startup.sh

日志：logs/canal

踩坑：

1 canal-deployer启动报错

canal/logs/canal/canal_stdout.log 报错：

Unrecognized VM option 'AggressiveOpts'Error: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.

Plain Text

解决方案：

修改canal/bin/startup.sh：

移除AggressiveOpts、UseBiasedLocking 等 JDK 21中已经不在支持的配置，重新启动.

2 安装canal-adapter客户端：

https://github.com/alibaba/canal/releases/1.1.7/canal.adapter-1.1.7.tar.gz

cd /opt/homebrew/etc

mkdir canal-adapter

tar -zxvf canal.adapter-1.1.7.tar.gz

修改配置文件：

vi conf/application.properties

port:8082

踩坑：hosts要配置成：http://127.0.0.1:9200，不然会报错

java.lang.RuntimeException: java.lang.IllegalArgumentException: Illegal character in scheme name at index 0: 127.0.0.1:9200

继续修改es8配置文件：

vi conf/es8/mytest_user.yml

dataSourceKey: defaultDS

destination: example

groupId: g1

esMapping:

_index: nfturbo_users

_id: _id

# upsert: true

# pk: id

sql: "select t.id as _id, t.nick_name as nick_name, t.state as state,t.telephone as telephone from users as t"

# objFields:

# _labels: array:;

#etlCondition: "where a.c_time>={}"

commitBatch: 3000

修改bin/start.sh

移除AggressiveOpts、UseBiasedLocking 等 JDK 21中已经不在支持的配置，重新启动.

启动canal-adapter客户端：

cd canal-adapter/bin

./startup.sh

日志目录：logs/adapter/adapter.log

踩坑：必须先启动mysql8和es8，否则无法启动canal-deployer和canal-adapter

canal-deployer服务端(Canal Server)运行端口：11111

canal-adapter客户端(Canal Client)运行端口：8082

测试同步mysql到es8：

登录Kibana，DevTool:

PUT nfturbo_users

{

"mappings": {

"properties": {

"nickname": {

"type": "text"

"telephone": {

"type": "text"

"state": {

"type": "text"

}

nfturbo.user表插入一条数据:

INSERT INTO `nfturbo`.`users` (`id`,`gmt_create`,`gmt_modified`,`nick_name`,`password_hash`,`state`,`telephone`,`user_role`) VALUES (14,'2024-04-18 17:47:40','2024-04-18 17:47:42','test11111','c2975f0faec10adca0ecd729c8cbc0aa','INIT','13000000000','CUSTOMER')

GET nfturbo_users/_search

{"_source": ["nick_name","telephone","state"],

"query": {

"match": {

"nick_name": "test11111"

}