快速,持续,稳定,傻瓜式
支持Mysql,Sqlserver数据同步

Logstash6.2.4实现同步mysql数据到Elasticsearch

请联系QQ:1793040 索取软件

Logstash是开放源代码服务器端数据处理管道。它可以同时从多个来源收集数据,转换数据,然后将数据发送到Elasticsearch以创建索引。当然,它也可以导出到其他库。本文介绍了如何使用Logstash将MySQL中的数据纳入ES索引。

2.1安装JDk1.8

2.2安装Elasticsearch

2.3安装Logstash

1)下载Logstash-6.2.4,并且Elasticsearch的版本一致。

描述

2)解压

3)检查插件

说明

要收集mysql数据,您需要使用logstash-input-jdbc插件,但是在某些版本的Logstash6中,该插件默认情况下不可用,您需要手动安装它,请参见步骤2.4。

2.4安装Ruby和jdbc插件

如果logstash-input-jdbc插件已经存在,则可以跳过此步骤。由于此插件是使用ruby开发的,因此您需要先下载并安装ruby。

1)下载ruby安装包

2)安装Ruby

zz

安装完成后,单击”完成”以启动程序。

查看安装是否成功

在此处插入图片描述

3)安装logstash-input-jdbc插件

进入logstash的bin目录,打开命令行,执行命令,输出结果表明安装成功。

在此处插入图片描述

3.1创建测试表

 

3.2创建模板文件

Logstash的工作是从MySQL读取数据并创建ES的索引。在这里,您需要预先创建一个映射模板文件以供Logstash使用。

在logstach配置目录中创建article_template.json,内容如下:

 

3.3配置mysql.conf

在logstash的config目录中配置mysql.conf文件以供logstash使用。logstash将根据mysql.conf文件的配置地址从MySQL读取数据,并将索引写入ES。请参见配置输入数据源和输出数据源。

 

说明:

1.ES使用的UTC时区比北京时间早8个小时,因此ES读取数据时,让最后更新时间加上8个小时,其中timestamp> date_add(:sql_last_value,INTERVAL 8 HOUR)

2.每次执行logstash都会在D中记录执行时间:\\\\ Elastic \\\\ logstash-6.2.4 \\\\ config \\\\ logstash_metadata。下次将用于下次将数据增量同步到索引数据库。

3.4启动logstash

输入bin目录以执行命令

 

可能的错误1:此文件可以是UTF8

在此处插入图片描述

可能的错误2:主要使用utf8 bom格式,可以将其替换为utf8(无bom)

在此处插入图片描述

成功启动

执行同步任务

在此处插入图片描述

成功后,您可以通过邮递员或head插件查看同步的索引数据

相关推荐

咨询软件
 
QQ在线咨询
售前咨询热线
QQ1793040