快速,持续,稳定,傻瓜式
支持Mysql,Sqlserver数据同步

[oracle数据库实时同步到redis]使用DataBus将数据从Oracle同步到Redis

在线QQ客服:1922638

专业的SQL Server、MySQL数据库同步软件

读取数据源变更行(ROW),并将变更行数据序列化到内存缓冲区。
监听客户端请求并传输缓冲区的数据。

检查Relay端的数据变更,并同步数据。
如果与Relay之间数据变更相差太大、会执行追溯功能。
注:单个客户端既可以处理全部Databus数据流,也可以作为集群的一部分处理一小部分数据流。

1.这是一个特殊客户端,用于将Relay上的变更数据存储到Mysql数据库。
2.Mysql数据库用于追溯数据。

1.监听Client端执行追溯的功能请求。

先上图:
在这里插入图片描述
在这里插入图片描述

这里记录运行databus自带的person的example的过程。
1.首先准备Oracle环境,这里我安装的oracle-xe 11g 。管理员person,密码person,sid:ORCL,端口1521。
2.databus是用gradle构建的java应用,所以本地首先需要安装gradle环境和java环境。gradle版本>=1.8即可。java版本>=1.6即可。
3.在github上下载databus源代码,解压解压好目录是databus-master。
4.在oracle官网下载ojdbc6.jar重命名放到如下目录:


注:其实做好如上操作即可开始编译了,databus wiki是这么介绍了,不过看有人编译会指定utf-8编码,其实不需要,因为这里不涉及中文。

5.关于gradle版本,如果本地的gradle环境是5以前的,那么无所谓,如果是gradle5需要更改build.gradle文件。
文件所在路径:cd databus-master/
task wrapper(type: Wrapper) {
gradleVersion=‘1.8’
}
注:改为如下,否则编译的时候会报错:Cannot add task ‘wrapper’ as a task with that name already exists
wrapper {
gradleVersion=‘1.8’
}
tasks.withType(JavaCompile) { options.encoding=”UTF-8″ }
本次编译使用版本是gradle5.4
效果图1:
在这里插入图片描述
6.在com.linkedin.databus2.core.container.netty.ServerContainer的initializeContainerJmx()方法中添加如下内容。这里如果不更改在运行relay的时候会产生Cannot bind to URL rmi://localhost:1099 ServiceUnavailableException错误。
文件路径:


添加:



注意首行导包:import java.rmi.registry.LocateRegistry;
效果图2-1:
在这里插入图片描述
效果图2-2:
在这里插入图片描述
7.修改reateUser在第51行
文件路径:



效果图3:
在这里插入图片描述
8.修改sources-person.json,更改第4行,改为我们要连接的数据源信息。这里如果写错了那么运行clien的时候会报数据库连接错误。
文件路径


注:如果最后发现relay启动后,client连接不上,这里的localhost最好改为ip地址


效果图4:
在这里插入图片描述
9.以上都操作好了即可编译了:


注:java是向下兼容的,我用的jdk8,编译的时候只是会警告有些方法过期而已,是可以成功编译的。编译好了会在build文件夹下生成很多编译后的文件。
效果图5:


在这里插入图片描述
10.在运行实例之前先要执行数据库脚本以及生成AVRO序列化文件

此处是为了添加用户,以及表空间。tbs_databus,对应的是/home/databus-master/databus2-example/database/person/中tablespace文件的值


注:该sh脚本中有一些适应性参数需要调整,比如脚本里默认的临时表空间为tmp1。本人设置的临时表空间是tmp。故需要修改:
效果图6:
在这里插入图片描述

此处是为数据库添加package、index、主键、procedure、trigger


如 com.linkedin.events.example.person.Person.1.avsc com.linkedin.events.example.person.Person_V1.java
这步可以省略 官方的例子已经给你生成好了
avroOutDir javaOutDir 自定义 不需要太准确 生成好之后 拷贝到相应的目录就可以了


接下即可运行测试了。
运行relay


运行client


开始测试,登录Oracle的person用户执行插入或者更新语句:


可以在clien.log看到捕获的信息
效果图7:
在这里插入图片描述

DataBus该项目是使用gradle构建的,其需要导入redis的依赖,此处使用简单的例子演示:
1、下载redis,配置redis.conf,使得redis可以后台运行,并把bind配置为本机ip
2、在databus-master\下的subprojects.gradle中添加jedis的依赖:
效果图8如下:
在这里插入图片描述
3、进入cd/home/databus-master/databus2-example/databus2-example-client/,编辑build.gradle,引用redis依赖
效果图9如下:
在这里插入图片描述
4.进入
/home/databus-master/databus2-example/databus2-example-client/src/main/java/com/linkedin/databus/client/example,编辑PersonConsumer.java,在processEvent方法中写业务逻辑:
在这里插入图片描述
5.最终编译,重复操作8-10
在person表中插入数据,最终可以在redis中看到变化的值:
在这里插入图片描述

相关推荐

咨询软件
 
QQ在线咨询
售前咨询热线
QQ1922638