maxwell部署

2021/03/22

参考资料

  • 官网地址:http://maxwells-daemon.io/
  • 下载地址:https://github.com/zendesk/maxwell/releases/download/
  • 文档地址:
  • 实时读取MySQL 二进制日志 Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka:https://zhuanlan.zhihu.com/p/566352183?utm_id=0

maxwell 安装步骤

* 参考网址 http://maxwells-daemon.io/,  https://github.com/zendesk/maxwell 
* 版本  maxwell-1.27.1
* 下载 https://github.com/zendesk/maxwell/releases/download/v1.27.1/maxwell-1.27.1.tar.gz

前置要求

1 业务mysql数据库
    开启 binlog_format=ROW 模式的binlog

2 maxwell 数据库用户
    业务mysql需建立具相应权限的数据库用户:

    CREATE USER 'maxwell'@'%' IDENTIFIED BY '${密码}';
    GRANT ALL ON maxwell.* TO 'maxwell'@'%';
    GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

部署步骤

  • 解压maxwell-1.27.1.tar.gz 至 /opt/maxwell/maxwell-1.27.1
  • cd /opt/maxwell/maxwell-1.27.1/
  • cp config.properties.example config.properties
  • vim config.properties && save ``` host=${业务数据库主机} port=${业务数据库主机端口}

    ${业务数据库maxwell用户} ,以前置要求中的 maxwell 用户为例

    user=maxwell password=${业务数据库maxwell用户密码}

生产模式

producer=kafka kafka.bootstrap.servers=${kafka:host:port} kafka_topic=maxwellbinlog kafka_version=1.0.2 #kafka_topic=%{database}_%{table}

filter = exclude: ., include:db_test.t_user,include:db_test.t_org ```

  • 启动 sh bin/maxwell
    maxwell 未提供 启动停止脚本, 停止脚本可使用 kill -9

  • 通过 日志 和 检查业务数据库中是否生成 maxwell 数据库 以判定maxwell是否启动成功

问题记录

1.maxwell :Could not find first log file name in binary log index file
删maxwell.positions表记录:https://blog.csdn.net/aaaaaxss/article/details/128318137

Post Directory

扫码关注公众号:暂无公众号
发送 290992
即可立即永久解锁本站全部文章