正文

架构师成长记_第八周_22_logstash数据同步(代码片段)

_大木_  _大木_  2023-03-01  212

关键词：

文章目录

1. logstash 简介
- PS:
2. logstash 安装
PS:

1. logstash 简介

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。
Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，最喜欢的是Elasticsearch）

PS:

数据采集: 可以从数据库中采集到 Elasticsearch
以自增id(不建议, 会无法识别修改的数据) 或者 update_time 作为同步的边界
可以通过新版 Elasticsearch 所集成的插件 logstash-input-jdbc 直接使用
使用logstash时候要与 Elasticsearch 的版本号保持一致

2. logstash 安装

2.1 (前提是安装好jdk)上传logstash, mysql驱动

2.2 logstash 同步配置

1 解压logstash: tar -zxvf logstash-6.4.3.tar.gz
2 移动 logstash: mv logstash-6.4.3 /usr/local/
3 进入该目录: cd /usr/local/logstash-6.4.3/

4 创建文件夹sync, 将相关的同步配置放在该文件夹下: mkdir sync
5 创建配置文件(后面会进行编辑, 这里进行创建): vim logstash-db-sync.conf

6 将数据库驱动进行拷贝到当前的目录下: cp /home/software/mysql-connector-java-5.1.41.jar .
7 创建sql存储文件: foodie-items.sql

SELECT
		i.id AS itemId,
		i.item_name AS itemName,
		i.sell_counts AS sellCounts,
		ii.url AS imgUrl,
		tempSpec.price_discount AS price,
		i.updated_time AS updated_time

FROM items i
LEFT JOIN
		items_img ii
ON
		i.id = ii.item_id
LEFT JOIN
		 (SELECT item_id,MIN(price_discount) as price_discount
				FROM items_spec
				GROUP BY item_id
		 ) tempSpec
ON i.id = tempSpec.item_id
WHERE
		ii.is_main = 1
		AND 
		i.updated_time >= :sql_last_value

8 进行修改配置文件 logstash-db-sync.conf: vim logstash-db-sync.conf

input 
    jdbc 
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.92.1:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "q210374520"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    

output 
    elasticsearch 
        # es地址
        hosts => ["192.168.92.148:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 设置_docID和数据库中的id保持相同
        document_id => "%id"
        # document_id => "%itemId"
    
    # 日志输出
    stdout 
        codec => json_lines

2.3 启动logstash

进入bin目录: cd /usr/local/logstash-6.4.3/bin
启动logstash: ./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf
ps: 1 分钟后进行打印日志: 即数据同步成功

PS:

logstash 只对新增和修改的数据可以进行同步, 而对于数据库中删除的数据是不会进行同步到es中的.
所以数据库中删除的数据, 它在es中只是通过更新时间的方式进行逻辑上的删除.

架构师成长记_第八周_18_es-滚动搜索(代码片段)

ES-滚动搜索PS:滚动搜索是基于快照的方式,所以在搜索的时候,如果用户进行更新数据,数据是不会被滚动搜索加载到的.1.首次滚动搜索.POST:http://192.168.92.140:9200/shop/_search?scroll=1m"query":"match_all":,"sort":["_doc"... 查看详情

架构师成长记_第八周_18_es-滚动搜索(代码片段)

架构师成长记_第八周_17_es-深度分页

ES-深度分页PS:因为使用from+size的方式只可以搜索小于等于10000的数据,这个是ES做的一个性能防护,防止用户搜索过深而导致的系统性能下降.1.查看深度分页设置2.修改深度分页设置,提升搜索量3.再次搜索之前的9999的分类搜索量查看详情

架构师成长记_第八周_06_es-文档的基本操作

文章目录ES-文档的基本操作:添加文档与自动映射1.添加文档2.添加多个文档ES-文档的基本操作:添加文档与自动映射1.添加文档2.添加多个文档查看详情

架构师成长记_第八周_18_es-批量查询(代码片段)

文章目录ES-批量查询1.之前使用的批量查询方式2.使用_mget进行批量查询3.二者的区别ES-批量查询1.之前使用的批量查询方式GET:http://192.168.92.140:9200/shop/_doc/_search"query":"ids":"type":"_doc","values":["100 查看详情

架构师成长记_第八周_18_es-批量查询(代码片段)

架构师成长记_第八周_05_mappings自定义创建映射(代码片段)

文章目录mappings自定义创建映射1.创建索引如下2.测试我们的索引是否可以分词(标准分词器不识别中文)进行内容分析3.为该索引新增数据类型1.新增id和age字段(long类型和integer类型,==没有int哦==)2.新增money1和money2字段(dou... 查看详情

架构师成长记_第八周_07_es-文档的基本操作(代码片段)

文章目录ES-文档的基本操作:新增与修改1.删除2.修改方式一:局部修改方式二:全量修改3.证明删除操作不是物理删除ES-文档的基本操作:新增与修改1.删除数据库中是根据主键进行删除,ES中也是一样,他可以根据我们的_id进行操作.这... 查看详情

架构师成长记_第八周_20_elasticsearch集群构建(代码片段)

文章目录Elasticsearch集群构建1.先进行克隆三台服务器2.搭建es集群2.1分别对三台服务器(es01,es02,es03)做如下操作2.2操作三台服务器(es01,es02,es03节点)3.查看配置信息`moreelasticsearch.yml|grep^[^#]`4.启动ES集群Elasticsearch集群构建1.先进... 查看详情

架构师成长记_第八周_20_elasticsearch集群构建(代码片段)

架构师成长记_第八周_01_分布式搜索引擎elasticsearch快速入门(代码片段)

文章目录分布式搜索引擎ElasticSearch快速入门1.搜索引擎的对比(LucenevsSolrvsElasticsearch)1.1Lucene1.2Solr1.3Elasticsearch([官网描述](https://www.elastic.co/cn/what-is/elasticsearch))2.ES核心术语2.1索引库index(相当于数据库中的表)2.2类型type(相当于数据查看详情

架构师成长记_第八周_21_springboot整合elasticsearch(代码片段)

文章目录Springboot整合elasticsearch1.创建es模块2.在es的模块下引入依赖PS:改版本对应的es是6.4.3,故我们集群ES的配置需要下调为6.4.3.(或者提升这里的版本)3.创建yml配置文件4.创建启动类5.运行报错(是由于无netty配置引起的错误)6.解决... 查看详情

架构师成长记_第八周_21_springboot整合elasticsearch(代码片段)

架构师成长记_第八周_19_es-批量操作bulk(代码片段)

文章目录ES-批量操作bulk1.bulk之create(批量新增)1.1第一种写法1.2第二种写法PS:批量新增注意:2.bulk之index(覆盖新增)3.bulk之update(批量更新)4.bulk之delete(批量删除)5.bulk之批量操作综合PS:ES-批量操作bulk1.bulk之create(批量新增)1.1第一种写法... 查看详情

架构师成长记_第八周_19_es-批量操作bulk(代码片段)

架构师成长记_第八周_13_dsl搜索-查询所有内容与分页查询(代码片段)

文章目录DSL查询所有内容与分页查询1.DSL查询所有内容2.DSL查询部分字段内容2.DSL查询进行分页查询前7条数据查询第10条之后的10条数据DSL查询所有内容与分页查询1.DSL查询所有内容"query":"match_all":2.DSL查询部分字段内容... 查看详情

架构师成长记_第八周_08_es-文档的基本操作(代码片段)

文章目录ES-文档的基本操作:查询方式一:根据_id进行查询方式二:_serach查询所有记录方式三:定制查询某些字段方式四:查询该索引下所有字段的定制的字段高效查询某个文档是否存在(这里只占用了87B传输大小)ES-文档的基本操作:查... 查看详情

架构师成长记_第八周_10_es-分词与五种内置分词器(代码片段)

文章目录ES-分词PS:1.全局分析方式(_analyze)2.指定字段分析方式(索引名/_analyze)ES-五种内置分词器介绍1标准分词器standard2非字母分词器simple3空格拆分分词器whitespace4智能化分词器(会去掉英文中无意义的词a/an/is/the等)stop5关键字分词... 查看详情