参考资料
- 官网地址:http://maxwells-daemon.io/
- 下载地址:https://github.com/zendesk/maxwell/releases/download/
- 文档地址:
- 实时读取MySQL 二进制日志 Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka:https://zhuanlan.zhihu.com/p/566352183?utm_id=0
maxwell 安装步骤
* 参考网址 http://maxwells-daemon.io/, https://github.com/zendesk/maxwell
* 版本 maxwell-1.27.1
* 下载 https://github.com/zendesk/maxwell/releases/download/v1.27.1/maxwell-1.27.1.tar.gz
前置要求
1 业务mysql数据库
开启 binlog_format=ROW 模式的binlog
2 maxwell 数据库用户
业务mysql需建立具相应权限的数据库用户:
CREATE USER 'maxwell'@'%' IDENTIFIED BY '${密码}';
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';
部署步骤
- 解压maxwell-1.27.1.tar.gz 至 /opt/maxwell/maxwell-1.27.1
- cd /opt/maxwell/maxwell-1.27.1/
- cp config.properties.example config.properties
- vim config.properties && save
```
host=${业务数据库主机}
port=${业务数据库主机端口}
${业务数据库maxwell用户} ,以前置要求中的 maxwell 用户为例
user=maxwell password=${业务数据库maxwell用户密码}
生产模式
producer=kafka kafka.bootstrap.servers=${kafka:host:port} kafka_topic=maxwellbinlog kafka_version=1.0.2 #kafka_topic=%{database}_%{table}
filter = exclude: ., include:db_test.t_user,include:db_test.t_org ```
-
启动
sh bin/maxwell
maxwell 未提供 启动停止脚本, 停止脚本可使用 kill -9 -
通过 日志 和 检查业务数据库中是否生成 maxwell 数据库 以判定maxwell是否启动成功
问题记录
1.maxwell :Could not find first log file name in binary log index file
删maxwell.positions表记录:https://blog.csdn.net/aaaaaxss/article/details/128318137
Post Directory
扫码关注公众号:暂无公众号
发送 290992
即可立即永久解锁本站全部文章