关键词:
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。
1、logstash基本语法组成
logstash主要由三部分组成:input、filter、output。而filter就是过滤器插件,这个组件可以不要,但是这样子就不能体现出logtash的强大过滤功能了。
input
输入插件
filter
过滤器插件
outer
输出插件
下面我们依次对各个插件进行介绍
1.1、logstash输入插件(input)
Logstash的输入插件主要用来接收数据,Logstash支持多种数据源,常见的有读取文件、标准输入、读取syslog日志、读取网络数据等,这里分别介绍下每种接收数据源的配置方法
我们先来看个例子:
input
file
path => ["/var/log/messages"]
type => "system"
start_position => "timestamp"
output
stdout
codec => rubydebug
这时我们有几个小疑问:
1、logstash的input是怎么样接收日志的呢?
logstash使用一个名为filewatch的ruby gem库来监听文件变化,并通过一个叫.sincedb的数据库文件来记录被监听的日志文件的读取进度(时间戳)。这个sincedb数据文件的默认路径在 <path.data>/plugins/inputs/file下面,文件名类似于.sincedb_452905a167cf4509fd08acb964fdb20c。而<path.data>表示logstash插件存储目录,默认是LOGSTASH_HOME/data。(rpm包安装则是在/usr/share/logstash目录下)。
2、logstash的input技术跟Linux的那个比较像呢?
input就跟Linux的管道右侧内容一样,在Linux管道中,左侧的输出传给管道的右侧接收机制。而input就是如此,当他监听一个文件时,会以tail -f命令的形式逐行获取数据。不过input可以指定从哪个地方(某一时间戳)开始读取,而start_position就是指定时间戳。如果不指定则从头开始读取。type则是用来标记时间类型。
下面举个例子来看:
1.2、标准输入
stdin是从标准输入获取信息的。这里我们看一个稍微复杂一点的例子:
input stdin add_field => "key"=>"apple" tags => ["add1"] type => "test1" output stdout codec => rubydebug
然后我们启动一下终端,大家要注意,我这里没有指定输入文件,而指定的是stdin,表示标准输入,意思就是交互式输入数据。
[[email protected]::172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l1.conf Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties hello word #手动输入此信息 "type" => "test1", "@version" => "1", "message" => "hello word", "@timestamp" => 2019-01-22T05:42:08.340Z, "tags" => [ [0] "add1" ], "host" => "ip-172-31-22-29.ec2.internal", "key" => "apple"
type和tags是logstash的两个特殊字段, type一般会放在input中标记事件类型, tags主要用于在事件中增加标签,以便在后续的处理流程中使用,主要用于filter或output阶段。
2、logstash编码插件(Codec)
前面的例子中,其实我们就已经用过编码插件codec了,就是这个rubydebug,它就是一种codec。
编码插件(codec)可以在logstash输入或输出时处理不同类型的数据,同时,还可以更好更方便的与其他自定义格式的数据产品共存,比如:fluent、netflow、collectd等通用数据格式的其他产品。因此,logstash不只是一个input-->filter-->output的数据流,而且是一个input-->decode-->filter-->encode-->output的数据流。
codec支持的编码格式常见有plain、json、json_lines等,下面依次介绍:
1、codec插件之plain
plain是最简单的编码插件,你输入什么信息,就返回什么信息,诸如上面的例子中的timestamp、type等都不会带有:
修改一下配置文件:
input stdin output stdout codec => plain
现在我们启动一下:
[[email protected]::172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l1.conf Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties2019-01-22T06:10:14.161Z ip-172-31-22-29.ec2.internal hello word #在此输入信息 2019-01-22T06:10:19.382Z ip-172-31-22-29.ec2.internal hello word
2、codec插件之json、json_lines
有时候logstash采集的日志是JSON格式,那我们可以在input字段加入codec => json来进行解析,这样就可以根据具体内容生成字段,方便分析和储存。如果想让logstash输出为json格式,可以在output字段加入codec=>json。下面是一个包含json编码的时间配置文件:
input stdin output stdout codec => json
启动一下:
[[email protected]:172.31.22.29 /etc/logstash/conf.d]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/l1.conf Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties hello word #输入此行信息 "host":"ip-172-31-22-29.ec2.internal","@version":"1","message":"hello word","@timestamp":"2019-01-22T06:27:27.191Z"
你会发现插件是json的时候,。他会自带一些信息,诸如host、@version、@timestamp。json的每个字段都是key:value格式,多个字段之间通过逗号分隔。这种输出比较长,因此我们采用json_lines编码格式稍微好一点。
日志分析系统elk之logstash(代码片段)
Logstash什么是ELKLogstash简介Logstash组成1、输入2、过滤器(可选)3、输出Logstash安装与配置通过命令行运行Logstash参数-e参数-f日志输出到文件日志上传到elasticsearchLogstash伪装为日志服务器grok过滤插件分割命令行的信息输出... 查看详情
elk学习笔记之logstash之codec
Logstash之codec: Logstash处理流程:input=》decode=》filter=》encode=》output 分类: Plain编码: input{ stdin{ codec=>plain& 查看详情
elk学习笔记之logstash之inputs配置
Logstash之inputs配置: inputplugindoc:https://www.elastic.co/guide/en/logstash/current/index.html插件很多,选两个常用的使用下。1.stdininputplugin参数:建立stdin-sample.conf:input{ stdin{}}output{ stdout{}}执行:. 查看详情
elk学习笔记之logstash安装
Logstash安装: https://www.elastic.co/downloads/logstash下载解压:tar–zxvflogstash-5.6.1.tar.gz在/usr/local/logstash-5.6.1/bin下编辑conf:(因为配置了输出到es和console上,所以必须先启动es。)vilogstash-simple.confinput{stdin{}}ou 查看详情
elk学习笔记之logstash基本语法
Logstash基本语法: 处理输入的input处理过滤的filter处理输出的output 区域数据类型条件判断字段引用 区域:Logstash中,是用{}来定义区域区域内,可以定义插件一个区域内可以定义多个插件 数据类型:条件判断:字... 查看详情
elk学习笔记之logstash之filter配置
Logstash之filter: jsonfilter:input{ stdin{ }}filter{ json{ &nb 查看详情
elk搭建实时日志分析平台之二logstash和kibana搭建(代码片段)
...时日志分析平台之一ElasticSearch》文:铁乐与猫四、安装Logstashlogstash是一个数据分析软件,主要目的是分析log日志。1)下载和解压logstash下载地址:https://www.elastic.co/cn/downloads/logstash上传到服务器/usr/ELK目录后,解压:sudotar-zxvflog... 查看详情
elk日志分析平台之logstash数据采集(代码片段)
目录logstash简介数据采集三要素:输入,过滤和输出一Logstash安装与配置二Logstash的输入输出1命令行方式:标准输入到标准输出2conf文件方式:标准输入,输出到文件3conf文件方式:标准输入,输出到ES和... 查看详情
elk日志分析平台之logstash数据采集(代码片段)
目录logstash简介数据采集三要素:输入,过滤和输出一Logstash安装与配置二Logstash的输入输出1命令行方式:标准输入到标准输出2conf文件方式:标准输入,输出到文件3conf文件方式:标准输入,输出到ES和... 查看详情
elk之logstash系统日志和nginx日志收集-4(代码片段)
logstash常用参数 1path 是必须的选项,每一个file配置,都至少有一个path 2exclude 是不想监听的文件,logstash会自动忽略该文件的监听。配置的规则与path类似,支持字符串或者数组,但是要求必须是绝对路径。 3start_... 查看详情
elk之logstash(代码片段)
1、logstash简介?logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格... 查看详情
elk之filebeat结合logstash过滤出来你想要的日志(代码片段)
...lasticsearch是原始格式,乱的让人抓狂,这个时候你会发现Logstashfilter的可爱之处,它很像一块橡皮泥,如果我们手巧的话就会塑造出来让自己舒舒服服的作品,but如果你没搞好的话那就另说了,本文的宗旨就是带 查看详情
海量日志下的日志架构优化:filebeat+logstash+kafka+elk(代码片段)
...构。但是如果业务每天会产生海量的日志,就有可能引发logstash和elasticsearch的性能瓶颈问题。因此改善这一问题的方法就是filebeat+logstash+kafka+ELK,也就是将存储从elasticsearch转移给消息中间件,减少海量数据引起的宕机,降低elast... 查看详情
elk系列-elasticsearch+logstash+kibana+log4j2快速入门与搭建用例(代码片段)
前言最近公司分了个ELK相关的任务给我,在一边学习一边工作之余,总结下这些天来的学习历程和踩坑记录。首先介绍下使用ELK的项目背景:在项目的数据库里有个表用来存储消息队列的消费日志,这些日志用于开发者日后的维... 查看详情
elk学习笔记之elasticsearch环境搭建
...副本机制,restful风格接口,多数据源,自动搜索负载等Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用Kibana是一个开源和免费的工具,它可以为Logstash和ElasticSearch提供的日志分析友好的... 查看详情
日志分析系统elk之logstash(代码片段)
Logstash什么是ELKLogstash简介Logstash组成1、输入2、过滤器(可选)3、输出Logstash安装与配置通过命令行运行Logstash参数-e参数-f日志输出到文件日志上传到elasticsearchLogstash伪装为日志服务器grok过滤插件分割命令行的信息输出... 查看详情
elk简单学习(代码片段)
...https://www.elastic.co/cn/downloads/Elasticsearch搭建Elasticsearch集群Logstash搭建因为没有真实的环境的,我就手动上传了两个log日志文件做测试使用在Logstash/config下面新增一个配置文件config-log-1.confinput#从文件读取日志信息输送到控制台filepa... 查看详情
elk之logstash配置文件详解(代码片段)
Logstash是一个开源的数据收集引擎,它具有备实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。它以插件的形式来组织功能,通过配置文件来描述需要插件做什么,配置文件... 查看详情