关键词：
参考技术A Logstash这东西就是正则表达式匹配，不过由于日志太大了，如果你这个正则从头写到尾估计写一半人就没了，所以人家预定义好了许多的正则表达式，那些%xxx本质上就是那些正则，一样的替代一下。
内置的那些预定义好的正则表达式，在github上的地址：
https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
这里直接粘过来省的去找
不过grok这东西神烦，不能自定义提取，放两个案例。
成功案例：
\[%TIMESTAMP_ISO8601:timestamp\]\s+(GatewayMessage:\s+)(\|)%DATA:url(\|)%DATA:methodvalue(\|)%DATA:queryParams(\|)%DATA:remote(\|)%DATA:statusCode(\|)%DATA:time(\|)%DATA:response
魔改案例：
\[%TIMESTAMP_ISO8601:timestamp\]\s+(GatewayMessage:\s+)(\|)(.*?)(\|)%DATA:methodvalue(\|)%DATA:queryParams(\|)%DATA:remote(\|)%DATA:statusCode(\|)%DATA:time(\|)%DATA:response
魔改案例里面，把第一个DATA改成了 .*? ，这样的确可以起到占位符的作用，直接把这一个跳过去，不过如果想把自定义的这些正则表达式匹配的值，输入到一个键值对里输出出来，那是不成的。
如果要输出出来，只能把自己定义的正则表达式命好名字，然后输入到一个文件里面，然后把这个文件告诉给Logstash，这样才能用自定义输出json键值对。
最开始的写法是%DATA:response，用一个DATA指代后面GatewayMessage那一部分，这个在Kibana调试的时候没任何问题，不过在docker里面一跑就是json解析出错。
改成%GREEDYDATA:response之后就没问题了。
DATA对应的是 .*?
GREEDYDATA对应 .*
总结就是：DATA出错的地方改成GREEDYDATA。
这也就是filebeat的日志结构
在没写出gork正则的前提下，先别到docker里面去改配置文件调试，那样有够慢的，先在kibana下面调试一下，这个比较方便。
大的正则表达式已经写完了，剩下一点小语法修修改改的，就可以去docker里面改配置文件去调试了。
顺便记另一个，tail看文件
首先split可以保证这个不出错，因为有几个|这个都可以商量。
不过上场就用grok的话，如果|对不上，就解析错误了。
幸运的是logstash解析错误不报bug，只是那条日志的输出会带上logstash错误这样的标签，所以尽情grok吧。
最终的logstash配置
输出到es的索引，是按照天来更改的，所以在es里面就每天建立一个索引，方便删除往期的数据，以及这样可以保证一个索引不会太大，能提高一点搜索效率。
https://www.cnblogs.com/FengGeBlog/p/10305318.html
https://www.cnblogs.com/dyh004/p/9699813.html
https://blog.csdn.net/wfs1994/article/details/80862952
logstash笔记----input插件
...p; 在"hello World" 示例中,我们已经见到并介绍了Logstash 的运行流程和配置的基础语法。 请记住一个原则：Logstash配置一定要有一个input和一个output。在演示过程中，如果没有写明input，默认就会使用"helloworld"里我... 查看详情
logstash使用笔记
参考技术ALogstash这东西就是正则表达式匹配，不过由于日志太大了，如果你这个正则从头写到尾估计写一半人就没了，所以人家预定义好了许多的正则表达式，那些%xxx本质上就是那些正则，一样的替代一下。内置的那些预定义... 查看详情
elk学习笔记之logstash之inputs配置
Logstash之inputs配置： inputplugindoc：https://www.elastic.co/guide/en/logstash/current/index.html插件很多，选两个常用的使用下。1.stdininputplugin参数：建立stdin-sample.conf：input{ stdin{}}output{ stdout{}}执行：. 查看详情
elk学习笔记之logstash安装
Logstash安装： https://www.elastic.co/downloads/logstash下载解压：tar–zxvflogstash-5.6.1.tar.gz在/usr/local/logstash-5.6.1/bin下编辑conf：(因为配置了输出到es和console上，所以必须先启动es。)vilogstash-simple.confinput{stdin{}}ou 查看详情
logstash笔记
（一）含义： logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日... 查看详情
logstash解析日志实例
配置Filebeat输出到LogstashLogstash中配置Filebeat输入使用GrokFilter插件解析日志使用Geoip插件丰富数据将数据索引到Elasticsearch多个输入输出插件配置介绍来自为知笔记(Wiz) 查看详情
elk学习笔记之logstash基本语法
Logstash基本语法： 处理输入的input处理过滤的filter处理输出的output 区域数据类型条件判断字段引用 区域：Logstash中，是用{}来定义区域区域内，可以定义插件一个区域内可以定义多个插件 数据类型：条件判断：字... 查看详情
elk学习笔记之logstash之codec
Logstash之codec： Logstash处理流程：input=》decode=》filter=》encode=》output 分类： Plain编码： input{ stdin{ codec=>plain& 查看详情
logstash笔记----output插件
（一）,标准输出 和之前 inputs/stdin 插件一样，outputs/stdout 插件也是最基础和简单的输出插件。同样在这里简单介绍一下，作为输出插件的一个共性了解配置事例：output { stdou... 查看详情
elk学习笔记之logstash之filter配置
Logstash之filter： jsonfilter：input{ stdin{ }}filter{ json{ &nb 查看详情
logstash笔记-----grok插件的正则表达式来解析日志
（一）简介： 丰富的过滤器插件的存在是logstash威力如此强大的重要因素。名为过滤器，其实提供的不单单是过滤的功能，它们扩展了进入过滤器的原始数据，进行复杂的逻辑处理，甚至可以无中生有的添加新的logs... 查看详情
mysql数据同步至elasticsearch的相关实现方法
...步到ES集群(MySQL数据库与ElasticSearch全文检索的同步)通过logstash将mysql数据同步至es中Springboot+ElasticSearch构建博客检索系统-学习笔记01Springboot+ElasticSearch构建博客检索系统-学习笔记02P43 43.新闻案例-数据库数据导入到ES中 13:46... 查看详情
elk学习笔记a
一、基本操作1、命令行运行 bin/logstash-e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘#bin/logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘Logstash startup compl 查看详情
elk学习笔记之elasticsearch环境搭建
...副本机制，restful风格接口，多数据源，自动搜索负载等Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用Kibana是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供的日志分析友好的... 查看详情
logstash过滤器插件
过滤器插件：grokmutatesplit编码插件：jsonmultiline输出插件：stdoutfile输入插件：stdinfile来自为知笔记(Wiz) 查看详情
logstash使用介绍
Logstash介绍Logstash是一个数据收集处理转发系统，是Java开源项目。它只做三件事：数据输入数据加工（不是必须的）：如过滤，改写等数据输出 下载安装logstash是基于Java的服务，各操作系统安装Java环境均可使用。 Jav... 查看详情
使用filebeat和logstash集中归档日志
方案Filebeat->Logstash->FilesFilebeat->Redis->Logstash->FilesNxlog(Rsyslog、Logstash)->Kafka->Flink(Logstash->ES-Kibana)其他方案(可根据自己需求，选择合适的架构,作者选择了第二种方案)注释: 由于Logstash无法处理输出到文 查看详情
logstash使用操作部分
1.logstash的概念及特点。概念：logstash是一个数据采集、加工处理以及传输(输出)的工具。特点： -所有类型的数据集中处理 -不同模式和格式数据的正常化 -自定义日志格式的迅速扩展 -为自定义数据源轻松添加插件... 查看详情