关键词：
一、基本操作
1、命令行运行 bin/logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘
#bin/logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘
Logstash startup completed
hello world
{
"message" => "hello world",
"@version" => "1",
"@timestamp" => "2017-03-22T01:34:46.013Z",
"host" => "0.0.0.0"
}2、加载配置文件运行 bin/logstash -f log.conf
input {
stdin { }
}
output {
stdout {
codec => rubydebug {}
}
elasticsearch {
embedded => true
}
}3、语法
a、区段
logstash 用{} 定义区域，区域内可以包括插件区域定义，一个区域内可以定义多个插件 如：
input {
stdin { }
syslg { }
}b、数据类型
支持字符串、数值、数组、哈希
二、命令行参数
1、-e “执行”参数的默认值：
input {
stdin { }
}
output {
stdout { }
}2、--config 或-f : 用来指定启动加载的配置文件
bin/logstash -f log.conf （读取单个配置文件） bin/logstash -f /etclogstash.d/ （读取目录下所有的配置文件）
3、--configtest 或-t : 测试配置文件是否能正常解析，如果错误，会有提示
4、--log 或-l: 用于指定输出日志（logstash默认输出日志到标准错误）
bin/logstash -l /tmp/logstash.log
5、--filterworkers 或 -w :指定工作线程
bin/logstash -w 5
6、--pluginpath 或-P 指定插件
7、--verbose 输出一定的调试日志
8、--debug 输出更多的调试日志
三、插件
列出 bin/plugin list
安装 bin/plugin install logstash-output-webhdfs
升级 bin/plugin update logstash-input-tcp
四、启动方式 nohup bin/logstash -f log.conf &
建议启动方式 daemontools,如supervisord
本文出自 “jinm的Linux成长记录” 博客，请务必保留此出处http://jinmlinux.blog.51cto.com/9269834/1909103
elk学习笔记---安装elk5.x版
ELK日志平台是一个完整的日志分析系统，有三个开源工具构建组成，分别是：Elasticsearch、Logstash和Kibana。Elasticsearch用于数据分析和深度搜索；Logstash作用是从其他服务器上传输和转发日志，对其集中管理，进行分析；Kibana则是提... 查看详情
elk学习笔记之kibana入门使用
Kibana入门使用： 第一次导入索引：修改展示时间，不然查不到数据：点Discover，查阅数据:如果要添加新的index：点击Visualize,创建chart：点击Dashboard,布局：DashBoard完工啦！！！嘿嘿嘿 查看详情
elk学习笔记之elasticsearchbulk操作:
Bulk操作: Bulk操作用于批量插入数据：请求体格式：编辑一个文件：（插入2个新的文档）curl-XPOST‘http://192.168.1.151:9200/library/books/_bulk‘--data-binary@requests用mget查询文档:已经成功插入。 查看详情
elk学习笔记之elasticsearchmget操作
Mget操作: 查询多个文档：curl-XGET‘http://192.168.1.151:9200/_mget‘-d‘{"docs":[{"_index":"library","_type":"books","_id":"1"},{"_index":"library","_type":"books","_id":"2"}]}‘curl-XGET‘http://192.168.1.151 查看详情
elk学习笔记之logstash基本语法
Logstash基本语法： 处理输入的input处理过滤的filter处理输出的output 区域数据类型条件判断字段引用 区域：Logstash中，是用{}来定义区域区域内，可以定义插件一个区域内可以定义多个插件 数据类型：条件判断：字... 查看详情
elk学习笔记之logstash安装
Logstash安装： https://www.elastic.co/downloads/logstash下载解压：tar–zxvflogstash-5.6.1.tar.gz在/usr/local/logstash-5.6.1/bin下编辑conf：(因为配置了输出到es和console上，所以必须先启动es。)vilogstash-simple.confinput{stdin{}}ou 查看详情
elk学习笔记之kibana安装
Kibana安装： 安装地址：https://www.elastic.co/downloads/kibana安装：tar-zxvfkibana-5.6.1-linux-x86_64.tar.gz非常不开心的是，安装报错：只能重新下载安装5.5.2版本：https://www.elastic.co/downloads/past-releases/kibana-5-5-2安装运行Kibana 查看详情
elk学习笔记之elasticsearch环境搭建
ELK概述：ElasticSearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等Logstash是一个完全开源的工具，它可以对你的日志进行收集、... 查看详情
elk学习笔记之logstash之codec
Logstash之codec： Logstash处理流程：input=》decode=》filter=》encode=》output 分类： Plain编码： input{ stdin{ codec=>plain& 查看详情
elk学习笔记之elasticsearch版本控制
版本控制： elasticsearch 版本控制：内部版本控制外部版本控制 内部版本控制：内部版本会检查你提供的版本值和文档的版本值是否一致，如果不一致就报错，一致则可以更新。curl-XPUT‘http://192.168.1.151:9200/library/books/8... 查看详情
elk学习笔记之logstash之inputs配置
Logstash之inputs配置： inputplugindoc：https://www.elastic.co/guide/en/logstash/current/index.html插件很多，选两个常用的使用下。1.stdininputplugin参数：建立stdin-sample.conf：input{ stdin{}}output{ stdout{}}执行：. 查看详情
elk学习笔记之logstash之filter配置
Logstash之filter： jsonfilter：input{ stdin{ }}filter{ json{ &nb 查看详情
elk学习笔记之elasticsearchhead插件安装
elasticsearchhead插件安装： 准备工作：安装nodejs和npm https://nodejs.org/en/download/ node-v6.11.2-linux-x64.tar.xz由于是xz压缩文件，所以要先安装yum-yinstallxz$xz-d***.tar.xz$tar-xvf ***.tar配置环境变量#setn 查看详情
elk学习笔记之elasticsearchshard和segment概念
Shard和segment概念： 转载： http://blog.csdn.net/likui1314159/article/details/53217750Shard（分片）一个Shard就是一个Lucene实例，是一个完整的搜索引擎。一个索引可以只包含一个Shard，只是一般情况下会用多个分片，可以拆分索引到不... 查看详情
elk学习笔记之elasticsearchelasticsearch.yml配置概述
elasticsearch.yml配置概述： 设置集群名字cluster.name 定义节点名称node.name 节点作为master，但是不负责存储数据，只是协调。node.master:truenode.data:false 子节点，存储数据node.master:falsenode.data:true 该节点是一个负载均... 查看详情
elk学习笔记之elasticsearch启动时warning解决办法
elasticsearch启动时Warning解决办法： 转载：http://www.dajiangtai.com/community/18136.do?origin=csdn-geek&dt=1214问题一： [2016-11-06T16:27:21,712][WARN][o.e.b.JNANatives]unabletoinstallsyscallfilter:&n 查看详情
elk学习笔记安装elasticsearchkibanalogstash和x-pack
最近在学习ELK的时候踩了不少的坑，特此写个笔记记录下学习过程。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常... 查看详情
elk学习笔记：3-pythonapi&pyspark读取es中filebeat收集的日志数据-2023-2-11(代码片段)
ELK学习笔记：3-pythonapi&filebeat收集的日志数据-2023-2-111-pythonAPI1、安装2、简单使用连接创建、删除索引插入数据查询match_all、term、termsrange2-pyspark读取ES中的日志数据代码问题'message'字段不显示1-pythonAPI课程链接：h... 查看详情