快速,持续,稳定,傻瓜式
支持Mysql,Sqlserver数据同步

利用Binlog和Kafka实时同步mysql数据到SQL SERVER三-Binlog日志生产消息到Kafka

在线QQ客服:1922638

专业的SQL Server、MySQL数据库同步软件

1、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(一)-开启Binlog日志
2、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(二)-安装并运行Kafka
3、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(三)-Binlog日志生产消息到Kafka
4、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(四)-消费Kafka消息同步数据到ES


-项目模块

BinlogMiddleware

1、binlog中间件,负责解析binlog,把变动的数据以json形式发送到kafka队列。

KafkaMiddleware

2、kafka中间件,负责消费kafka队列中的Message,把数据写入Elasticsearch中。

-基础服务

(1)Mysql
(2)Kafka(用于存放mysql变动消息,存放于Kafka队列)
(3)Elasticsearch

-项目源码

码云:https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch

BinlogMiddleware服务主要负责监听Binlog日志,并将其发送到Kafka队列(及Kafka生产者)。

  • 本示例模拟监听teemoliu数据库的user、role表。为了方便表结构设计的很简单,均只含有id、name两个属性。
  • 中间件写进Kafka队列的消息格式如下:

  • 项目结构如下:

    利用Binlog和Kafka实时同步mysql数据到SQL SERVER三-Binlog日志生产消息到Kafka
    image.png
利用Binlog和Kafka实时同步mysql数据到SQL SERVER三-Binlog日志生产消息到Kafka
image.png





		

相关推荐

咨询软件
 
QQ在线咨询
售前咨询热线
QQ1922638