关键词：
Logstash之filter：
json filter：
input{
stdin{
}
}
filter{
json{
source => "message"
}
}
output{
stdout{
codec => json
}
输入：
{"name": "CSL", "age": 20}
输出：
Grok filter:
pattern：
https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
创建一个测试log：
[sky@hadoop1 bin]$ cat spark-test-log.log
05/30/17 17:13:24 INFO StartingSparkmasteratspark
05/30/17 17:13:24 INFO RunningSparkversion1
05/30/17 17:13:25 INFO jetty
创建conf：
input{
file{
path => "/usr/local/logstash-5.6.1/bin/spark-test-log.log"
type => "sparkfile"
start_position => "beginning"
}
}
filter{
grok{
match => ["message", "%{DATE:date} %{TIME:time} %{LOGLEVEL:loglevel} %{WORD:word}"]
}
}
output{
stdout{
codec => rubydebug
}
}
运行结果：
自定义正则表达式：
[sky@hadoop1 patterns]$ cat selfpattern
SKYTIME (?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])
修改conf:
input{
file{
path => "/usr/local/logstash-5.6.1/bin/spark-test-log.log"
type => "sparkfile"
start_position => "beginning"
}
}
filter{
grok{
patterns_dir => '/usr/local/logstash-5.6.1/patterns/selfpattern'
match => ["message", "%{DATE:date} %{SKYTIME:time} %{LOGLEVEL:loglevel} %{WORD:word}"]
}
}
output{
stdout{
codec => rubydebug
}
}
输出结果：
定义多个match：使用，分隔。
测试正则表达式网址：
https://grokdebug.herokuapp.com/
elk学习笔记之logstash之inputs配置
Logstash之inputs配置： inputplugindoc：https://www.elastic.co/guide/en/logstash/current/index.html插件很多，选两个常用的使用下。1.stdininputplugin参数：建立stdin-sample.conf：input{ stdin{}}output{ stdout{}}执行：. 查看详情
elk学习笔记之logstash基本语法
Logstash基本语法： 处理输入的input处理过滤的filter处理输出的output 区域数据类型条件判断字段引用 区域：Logstash中，是用{}来定义区域区域内，可以定义插件一个区域内可以定义多个插件 数据类型：条件判断：字... 查看详情
elk学习笔记之logstash安装
Logstash安装： https://www.elastic.co/downloads/logstash下载解压：tar–zxvflogstash-5.6.1.tar.gz在/usr/local/logstash-5.6.1/bin下编辑conf：(因为配置了输出到es和console上，所以必须先启动es。)vilogstash-simple.confinput{stdin{}}ou 查看详情
elk学习笔记之elasticsearch环境搭建
...副本机制，restful风格接口，多数据源，自动搜索负载等Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用Kibana是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供的日志分析友好的... 查看详情
elk之logstash学习(代码片段)
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。1、logstash基本语法组成logstash主要由三部分组成：in... 查看详情
elk学习笔记之elasticsearchelasticsearch.yml配置概述
elasticsearch.yml配置概述： 设置集群名字cluster.name 定义节点名称node.name 节点作为master，但是不负责存储数据，只是协调。node.master:truenode.data:false 子节点，存储数据node.master:falsenode.data:true 该节点是一个负载均... 查看详情
elk之logstash配置文件详解(代码片段)
Logstash是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。它以插件的形式来组织功能，通过配置文件来描述需要插件做什么，配置文件... 查看详情
elk学习笔记之elasticsearchhead插件安装
elasticsearchhead插件安装： 准备工作：安装nodejs和npm https://nodejs.org/en/download/ node-v6.11.2-linux-x64.tar.xz由于是xz压缩文件，所以要先安装yum-yinstallxz$xz-d***.tar.xz$tar-xvf ***.tar配置环境变量#setn 查看详情
日志分析系统elk之logstash(代码片段)
Logstash什么是ELKLogstash简介Logstash组成1、输入2、过滤器（可选）3、输出Logstash安装与配置通过命令行运行Logstash参数-e参数-f日志输出到文件日志上传到elasticsearchLogstash伪装为日志服务器grok过滤插件分割命令行的信息输出... 查看详情
[转]elk之logstash
...m】 https://blog.csdn.net/iguyue/article/details/77006201 ELK之Logstash简介:ELK之LogstashLogstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。在一个典型的使用场... 查看详情
elk学习笔记之kibana入门使用
Kibana入门使用： 第一次导入索引：修改展示时间，不然查不到数据：点Discover，查阅数据:如果要添加新的index：点击Visualize,创建chart：点击Dashboard,布局：DashBoard完工啦！！！嘿嘿嘿 查看详情
elk学习笔记之elasticsearchbulk操作:
Bulk操作: Bulk操作用于批量插入数据：请求体格式：编辑一个文件：（插入2个新的文档）curl-XPOST‘http://192.168.1.151:9200/library/books/_bulk‘--data-binary@requests用mget查询文档:已经成功插入。 查看详情
elk学习笔记之elasticsearchmget操作
Mget操作: 查询多个文档：curl-XGET‘http://192.168.1.151:9200/_mget‘-d‘{"docs":[{"_index":"library","_type":"books","_id":"1"},{"_index":"library","_type":"books","_id":"2"}]}‘curl-XGET‘http://192.168.1.151 查看详情
elk之logstash(代码片段)
1、logstash简介?logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格... 查看详情
elk学习笔记之kibana安装
Kibana安装： 安装地址：https://www.elastic.co/downloads/kibana安装：tar-zxvfkibana-5.6.1-linux-x86_64.tar.gz非常不开心的是，安装报错：只能重新下载安装5.5.2版本：https://www.elastic.co/downloads/past-releases/kibana-5-5-2安装运行Kibana 查看详情
elk之logstash的输入输出-4(代码片段)
logstash的标准输入输出[[email protected]logstash]#./bin/logstash-e‘inputstdinoutputstdoutcodec=>rubydebug‘hellowword"message"=>"hellow","host"=>"elk-node01","@version"=>"1","@timest 查看详情
elk学习笔记之elasticsearch版本控制
版本控制： elasticsearch 版本控制：内部版本控制外部版本控制 内部版本控制：内部版本会检查你提供的版本值和文档的版本值是否一致，如果不一致就报错，一致则可以更新。curl-XPUT‘http://192.168.1.151:9200/library/books/8... 查看详情
elk之logstash系统日志和nginx日志收集-4(代码片段)
logstash常用参数 1path 是必须的选项，每一个file配置，都至少有一个path 2exclude 是不想监听的文件，logstash会自动忽略该文件的监听。配置的规则与path类似，支持字符串或者数组，但是要求必须是绝对路径。 3start_... 查看详情