maxwell部署

2021/03/22

参考资料

  • 官网地址:http://maxwells-daemon.io/
  • 下载地址:https://github.com/zendesk/maxwell/releases/download/
  • 文档地址:
  • 实时读取MySQL 二进制日志 Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka:https://zhuanlan.zhihu.com/p/566352183?utm_id=0

maxwell 安装步骤

* 参考网址 http://maxwells-daemon.io/,  https://github.com/zendesk/maxwell 
* 版本  maxwell-1.27.1
* 下载 https://github.com/zendesk/maxwell/releases/download/v1.27.1/maxwell-1.27.1.tar.gz

前置要求

1 业务mysql数据库
    开启 binlog_format=ROW 模式的binlog

2 maxwell 数据库用户
    业务mysql需建立具相应权限的数据库用户:

    CREATE USER 'maxwell'@'%' IDENTIFIED BY '${密码}';
    GRANT ALL ON maxwell.* TO 'maxwell'@'%';
    GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

部署步骤

  • 解压maxwell-1.27.1.tar.gz 至 /opt/maxwell/maxwell-1.27.1
  • cd /opt/maxwell/maxwell-1.27.1/
  • cp config.properties.example config.properties
  • vim config.properties && save
host=${业务数据库主机}
port=${业务数据库主机端口}
# ${业务数据库maxwell用户} ,以前置要求中的 maxwell 用户为例
user=maxwell
password=${业务数据库maxwell用户密码}

# 生产模式
producer=kafka
kafka.bootstrap.servers=${kafka:host:port}
kafka_topic=maxwellbinlog
kafka_version=1.0.2
#kafka_topic=%{database}_%{table}

filter = exclude: *.*, include:db_test.t_user,include:db_test.t_org
  • 启动 sh bin/maxwell
    maxwell 未提供 启动停止脚本, 停止脚本可使用 kill -9

  • 通过 日志 和 检查业务数据库中是否生成 maxwell 数据库 以判定maxwell是否启动成功

问题记录

1.maxwell :Could not find first log file name in binary log index file
删maxwell.positions表记录:https://blog.csdn.net/aaaaaxss/article/details/128318137

Post Directory

扫码关注公众号:暂无公众号
发送 290992
即可立即永久解锁本站全部文章