关键词：
一、简介
Logstash 是开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。）可以用三个词来概括Logstash：集中、转换和存储数据
输入
采集各种样式、大小和来源的数据
数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
过滤器
实时解析和转换数据
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
整体处理不受数据源、格式或架构的影响
我们的过滤器库丰富多样，拥有无限可能。
输出
选择您的存储库，导出您的数据
尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。
Logstash的特性：
即插即用
使用 Elastic Stack 加速洞察时间
Logstash 模块通过流行的数据源（如 ArcSight 和 Netflow ）呈现瞬间可视化的体验。通过立即部署摄入管道和复杂的仪表板，您的数据探索将以几分钟而不是几天的时间开始。
可扩展
以您自己的方式创建和配置管道
Logstash 采用可插拔框架，拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排，让它们在管道中和谐地运行。
您是从自定义应用程序采集数据？没有看到所需的插件？Logstash 插件很容易构建。我们有一个极好的插件开发 API 和插件生成器，可帮助您开始和分享您的创作。
可靠性
构建可信的交付管道
假如 Logstash 节点发生故障，Logstash 会通过持久化队列来保证运行中的事件至少一次被送达（at-least-once delivery）。那些未被正常处理的消息会被送往死信队列（dead letter queue）以便做进一步处理。由于具备了这种吸收吞吐量的能力，现在您无需采用额外的队列层，Logstash 就能平稳度过高峰期。
监控
全方位监视您的部署
Logstash 管道通常服务于多种用途，会变得非常复杂，因此充分了解管道性能、可用性和瓶颈异常重要。借助 X-Pack monitoring 功能，您可以轻松观察和研究处于活动状态的 Logstash 节点或整个部署。
安全
从头至尾，确保管道安全
无论您运行几十个还是几千个 Logstash 实例，我们都能让您充分保障采集管道的安全。来自 Beats 以及其他输入选择的输入数据可以在传输途中加密，并且与受保护的 Elasticsearch 集群完全集成。
其他：
支持多数据获取机制，通过TCP/UDP协议、文件、syslog、windows EventLogs及STDIN等；获取到数据后，它支持对数据执行过滤、修改等操作
二、LogStash的安装
LogStash的安装依赖java环境，所以我们要安装配置java环境。
1.安装并配置java环境
yum install java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64.rpm vim /etc/profile.d/java.sh
添加:
export JAVA_HOME=/usr/bin/java
注：我的java在/usr/bin下,可以通过which命令查找下确切位置。
2.安装LogStash
yum install logstash-1.5.4-1.noarch.rpm
未完待续...
官方网站：https://www.elastic.co/cn/
本文出自 “Hello,World!” 博客，请务必保留此出处http://bovin.blog.51cto.com/7402899/1965851
elk之logstash的输入输出-4(代码片段)
logstash的标准输入输出[[email protected]logstash]#./bin/logstash-e‘inputstdinoutputstdoutcodec=>rubydebug‘hellowword"message"=>"hellow","host"=>"elk-node01","@version"=>"1","@timest 查看详情
elk学习笔记之logstash之inputs配置
Logstash之inputs配置： inputplugindoc：https://www.elastic.co/guide/en/logstash/current/index.html插件很多，选两个常用的使用下。1.stdininputplugin参数：建立stdin-sample.conf：input{ stdin{}}output{ stdout{}}执行：. 查看详情
elk之logstash长久运行
今天介绍一下关于logstash的启动方式，以前说的都是使用/usr/local/logstash-f/etc/logstash.conf方式启动，这样就有一个麻烦，当你关闭终端，或者ctrl+c时logstash就会退出。下面介绍几种长期运行的方式。1、service方式使用rpm方式安装的，... 查看详情
elk之logstash
一、简介 Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的“存储库”中。（我们的存储库当然是Elasticsearch。）可以用三个词来... 查看详情
elk学习笔记之logstash安装
Logstash安装： https://www.elastic.co/downloads/logstash下载解压：tar–zxvflogstash-5.6.1.tar.gz在/usr/local/logstash-5.6.1/bin下编辑conf：(因为配置了输出到es和console上，所以必须先启动es。)vilogstash-simple.confinput{stdin{}}ou 查看详情
日志分析系统elk之logstash(代码片段)
Logstash什么是ELKLogstash简介Logstash组成1、输入2、过滤器（可选）3、输出Logstash安装与配置通过命令行运行Logstash参数-e参数-f日志输出到文件日志上传到elasticsearchLogstash伪装为日志服务器grok过滤插件分割命令行的信息输出... 查看详情
elk学习笔记之logstash之filter配置
Logstash之filter： jsonfilter：input{ stdin{ }}filter{ json{ &nb 查看详情
elk学习笔记之logstash基本语法
Logstash基本语法： 处理输入的input处理过滤的filter处理输出的output 区域数据类型条件判断字段引用 区域：Logstash中，是用{}来定义区域区域内，可以定义插件一个区域内可以定义多个插件 数据类型：条件判断：字... 查看详情
elk之数据收集传输过滤filebeat+logstash部署
...我们需要安装数据采集工具filebeats和数据过滤机运输工具Logstash，一般情况我们都使用filebeats用来收集日志文件,我自定义了一个log文件，文件内容如下：55.3.244.1GET/index.html158240.04355.3.244.1GET/index. 查看详情
elk日志平台之logstash
一、ELKStack简介Elstaicsearch:存储和搜索logstash：收集kibana：展示650)this.width=650;"src="http://s2.51cto.com/wyfs02/M02/86/A1/wKioL1fGN-_z8_S3AABPgVmad_U461.jpg-wh_500x0-wm_3-wmp_4-s_606178705.jpg"title="QQ图片20160 查看详情
elk搭建实时日志分析平台之二logstash和kibana搭建(代码片段)
...时日志分析平台之一ElasticSearch》文：铁乐与猫四、安装Logstashlogstash是一个数据分析软件，主要目的是分析log日志。1）下载和解压logstash下载地址：https://www.elastic.co/cn/downloads/logstash上传到服务器/usr/ELK目录后，解压：sudotar-zxvflog... 查看详情
elk日志分析平台之logstash数据采集(代码片段)
目录logstash简介数据采集三要素：输入，过滤和输出一Logstash安装与配置二Logstash的输入输出1命令行方式：标准输入到标准输出2conf文件方式：标准输入，输出到文件3conf文件方式：标准输入，输出到ES和... 查看详情
elk日志分析平台之logstash数据采集(代码片段)
目录logstash简介数据采集三要素：输入，过滤和输出一Logstash安装与配置二Logstash的输入输出1命令行方式：标准输入到标准输出2conf文件方式：标准输入，输出到文件3conf文件方式：标准输入，输出到ES和... 查看详情
elk之logstash6.5
...stic.co/GPG-KEY-elasticsearch 创建repo文件:[[email protected]logstash]#cat/etc/yum.repos.d/logstash.repo[logstash-6.x]name=Elasticrepositoryfor6.xpackagesbaseurl=https://artifacts.elastic.co/packages/6.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1aut... 查看详情
elk之logstash系统日志和nginx日志收集-4(代码片段)
logstash常用参数 1path 是必须的选项，每一个file配置，都至少有一个path 2exclude 是不想监听的文件，logstash会自动忽略该文件的监听。配置的规则与path类似，支持字符串或者数组，但是要求必须是绝对路径。 3start_... 查看详情
elk之logstash(代码片段)
1、logstash简介?logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格... 查看详情
elk之logstash学习(代码片段)
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。1、logstash基本语法组成logstash主要由三部分组成：in... 查看详情
elk之filebeat结合logstash过滤出来你想要的日志(代码片段)
...lasticsearch是原始格式，乱的让人抓狂，这个时候你会发现Logstashfilter的可爱之处，它很像一块橡皮泥，如果我们手巧的话就会塑造出来让自己舒舒服服的作品，but如果你没搞好的话那就另说了，本文的宗旨就是带 查看详情