正文

logstash安装介绍

epir  epir  2023-03-13  227

关键词：

前言

logstash是ELK日志系统中的一部分，主要承担将收集完成日志进行过滤，并且输出到es的职责。

logstash本身也可以作为客户端部署到应用系统的服务器上进行日志收集，但是由于资源开销占用过大，所以客户端的收集工作交给了beats进行，logstash专心在独立的服务器上完成日志解析处理的工作。

官方文档说明：https://www.elastic.co/guide/en/logstash/

这里比较建议直接看英文的说明文档，找到你对应的版本，别的文档感觉都不如它靠谱（血与泪的教训??）。

ELK的组件版本建议保持一致，这里我采用的是5.6.10的版本，也就是beats、logstash、kibana和es都是这个版本。

系统结构

技术图片

Logstash的事件（logstash将数据流中等每一条数据称之为一个event）处理流水线有三个主要角色完成：inputs –> filters –> outputs：

inpust：必须，负责产生事件（Inputs generate events），常用：File、syslog、redis、beats（如：Filebeats）
filters：可选，负责数据处理与转换（filters modify them），常用：grok、mutate、drop、clone、geoip
outpus：必须，负责数据输出（outputs ship them elsewhere），常用：elasticsearch、file、graphite、statsd

其中inputs和outputs支持codecs（coder&decoder）在1.3.0 版之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入期处理不同类型的数据，所以完整的数据流程应该是：input | decode | filter | encode | output；codec 的引入，使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存，比如：graphite、fluent、netflow、collectd，以及使用 msgpack、json、edn 等通用数据格式的其他产品等。

下载安装

这边介绍下我的安装方式，我是在linux centos6.5的操作系统上进行安装的。

第一步，安装JDK1.8，这里不做过多介绍了。

第二步，去官网下载logstash安装包，地址：https://www.elastic.co/cn/downloads/past-releases/logstash-5-6-10，替换后面的版本号找到对应的版本就行。

我下载的tar压缩包logstash-5.6.10.tar.gz，解压完后进入目录。

tar -zxvf logstash-5.6.10.tar.gz -C /usr/
cd /usr/logstash-5.6.10
#在目录下随便建个文件夹用存放conf文件
[[email protected] logstash-5.6.10]# mkdir logstash.conf

第三步，编写一个简单的conf文件测试功能。

[[email protected] logstash-5.6.10]# vi logstash.conf/stdin.conf
#下面是conf文件示例，只构造了标准输入和输出
input 
	stdin 
        add_field => "key" => "value"
        codec => "plain"
        tags => ["add"]
        type => "std"
    



output 
    # 标准输出
    stdout  codec => rubydebug

构建完成后保存，启动命令

[[email protected] logstash-5.6.10]# bin/logstash -f logstash.conf/stdin.conf

输入"hello"

技术图片

至此logstash的安装已经完成，还算简单吧。

安装filebeat

一开始介绍的时候说了，logstash一般扮演日志过滤的角色，日志收集交给beats来完成，filebeat是beats的一个组件，并且高版本的logstash很多插件如input-log4j2-plugin无法使用，相信很多小伙伴用logstash来处理log4j的日志的，官方建议采用beats插件来完成input的功能。

由于beats包括filebeats在后面介绍beats的时候会详细讲解，这边就先简单介绍下安装过程。

官方下载地址：https://www.elastic.co/cn/downloads/past-releases/filebeat-5-6-10，同样的下载tar包后解压就能食用。

tar -zxvf filebeat-5.6.10.tar.gz -C /usr/
cd /usr/filebeat-5.6.10
#修改配置文件filebeat.yml
[[email protected] filebeat-5.6.10]# vi filebeat.yml

filebeat.prospectors:
- input_type: log
path:
#这是filebeat输入的log存放路径，改成你应用的日志存放路径
　　- /home/filebeat_log/*.log

#没有安装es集群的先注释掉es的配置，否则运行中日志会warn，打开输出配置，端口号为5044，待会在logstash中需要这个端口号

技术图片

下面给一个启动filebeat的启动脚本，也可以直接命令行启动：service filebeat start

#!/bin/bash
#注意修改你的home路径
FILEBEAT_HOME="/usr/filebeat-5.6.10"
agent="$FILEBEAT_HOME/filebeat"
args="-c $FILEBEAT_HOME/filebeat.yml -path.home $FILEBEAT_HOME -path.config $FILEBEAT_HOME -path.data $FILEBEAT_HOME/data -path.logs $FILEBEAT_HOME/logs"
test_args="-e -configtest"
test() 
    echo "test config"
    $agent $args $test_args

start() 
    pid=`ps -ef |grep $FILEBEAT_HOME/data |grep -v grep |awk ‘print $2‘`
    if [ ! "$pid" ];then
        echo "Starting filebeat: "
        test
        if [ $? -ne 0 ]; then
            echo
            exit 1
        fi
        $agent $args &
        if [ $? == ‘0‘ ];then
            echo "start filebeat ok"
        else
            echo "start filebeat failed"
        fi
    else
        echo "filebeat is still running!"
        exit
    fi

stop() 
    echo -n $"Stopping filebeat: "
    pid=`ps -ef |grep $FILEBEAT_HOME/data |grep -v grep |awk ‘print $2‘`
    if [ ! "$pid" ];then
echo "filebeat is not running"
    else
        kill $pid
echo "stop filebeat ok"
    fi

restart() 
    stop
    start

status()
    pid=`ps -ef |grep $FILEBEAT_HOME/data |grep -v grep |awk ‘print $2‘`
    if [ ! "$pid" ];then
        echo "filebeat is not running"
    else
        echo "filebeat is running"
    fi

case "$1" in
    start)
        start
    ;;
    stop)
        stop
    ;;
    restart)
        restart
    ;;
    status)
        status
    ;;
    test)
	test
    ;;
    *)
        echo $"Usage: $0 start|stop|restart|status"
        exit 1
esac

保存成filebeat.sh后启动。

sh filebeat.sh start

logstash集成filebeat

回到logstash的安装目录，新建conf配置文件log4j2.conf

input 
    beats 
		port => 5044
	


output 
    # 标准输出
    stdout  codec => rubydebug

对只需要在input里加入beats插件，端口号是你刚刚在filebeat.yml中的端口号，启动logstash

[[email protected] logstash-5.6.10]# logstash -f logstash.conf/log4j2.conf

当你在/home/filebeat_log/*.log中产生日志文件时，logstash就会进行解析。

elk之logstash长久运行

今天介绍一下关于logstash的启动方式，以前说的都是使用/usr/local/logstash-f/etc/logstash.conf方式启动，这样就有一个麻烦，当你关闭终端，或者ctrl+c时logstash就会退出。下面介绍几种长期运行的方式。1、service方式使用rpm方式安装的，... 查看详情

日志分析系统elk(elasticsearch+logstash+kibana+filebeat)

目录一、安装es 二、安装Logstash三、安装Kibana四、安装Filebeat五、集群模式搭建日志分析系统ELK(elasticsearch+logstash+kibana+filebeat)这里先介绍ELK的安装首先下载ELK在官网下载... 查看详情

elk——logstash(代码片段)

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。官网介绍：https://www.elastic.co/cn/products/logstashhttps://www.elastic.co/downloads/logstash1、下载Logstash依赖JDK1.8... 查看详情

elasticsearch&logstash&kibana学习历程logstash使用场景和安装部署(代码片段)

Logstash基本介绍和使用场景自我认为：logstash就是日志的采集收集，日志的搬运工，实时去采集日志。读取不同的数据源，并进行过滤，开发者自定义规范输出到目的地。日志的来源很多，如系统日志，应用日志等等（同类软件... 查看详情

elasticsearch的安装及使用，这一篇就够了(代码片段)

...02,es03节点)2.3查看配置信息2.4启动ES集群2.5测试ES集群四、logstash数据同步1.logstash简介2.logstash安装2.1(前提是安装好jdk)上传logstash,mysql驱动2.2logstash同步配置2.3启动logstash五.安装ElasticSearch可视化插件:es-head1.下载并且解压es-header2.安... 查看详情

elk——filebeat介绍及部署(代码片段)

...于客户端中来收集指定的日志目录，将收集的日志发送到logstash、es、redis、kafka中，来代替logstash的数据采集方案，logstash在运行过程中相当耗费服务器资源，就算没有在收集日志一样会对CPU，内存造成一个相当高的损耗。二、Fil... 查看详情

es-日志存储-logstash介绍

参考技术A本文是elasticsearch官方文档logstash的翻译，你也可<ahref="https://www.elastic.co/guide/en/logstash/current/index.html">查看原文</a>注：Logstash意思是日志存储，下文中对本词使用英文。Logstashisanopensourcedatacollectionenginewithreal-timep... 查看详情

企业运维之elk日志分析平台（logstash）(代码片段)

ELK日志分析平台--Logstash数据采集介绍与配置1.Logstash简介2.Logstash组成3.Logstash安装与配置3.1运行logstash3.2file输出插件3.3elasticsearch输出插件3.4Syslog输入插件3.5多行过滤插件3.6grok过滤插件1.Logstash简介Logstash是用于日志的搜集、分析、... 查看详情

logstash常用filter插件介绍(代码片段)

Filter是Logstash功能强大的主要原因，它可以对LogstashEvent进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：date：日志解析grok：正则匹配解析dissect：分割符解析mutate：对字段做处理，比如重命名、... 查看详情

logstash安装

前提Logstash需要依赖elasticsearch，所以在安装Logstash之前先安装elasticsearch官方地址 https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 指向当前版本针对6.3版本Logstash需要Java8.不支持Java9。使用官方Orac... 查看详情

手把手-安装-logstash

操作系统Centos7.6,Ubuntu-19.10硬件配置(推荐) CPU/内存:2核/4GB安装版本logstash7.6.1https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz 查看详情

centos7.x安装elk(elasticsearch+logstash+kibana)

第一次听到ELK，是新浪的@ARGV介绍内部使用ELK的情况和场景，当时触动很大，原来有那么方便的方式来收集日志和展现，有了这样的工具，你干完坏事，删除日志，就已经没啥作用了。很多企业都表示出他们很关心安全... 查看详情

windows系统上安装logstash和logstash-input-jdbc

...明：本文为Windows环境下的相关安装示例，适用于需要用Logstash和Logstash-input-jdbc将数据从数据库导入到Elasticsearch中的场景。一、前置条件电脑上安装有JDK8或者以上版本，安装有ElasticSearch，并启动。二、安装并验证Lo... 查看详情

mac安装logstash(使用homebrew进行安装)

参考技术A1.1首先需要点击ElasticHomebrew存储库1.2点击ElasticHomebrew存储库后，可以brewinstall用来安装Logstash的默认发行版2.1要立即启动启动elastic/tap/logstash-full并在登录时重新启动2.2要运行Logstash，请在前台运行查看详情

logstash插件安装

官方的安装指令是:bin/plugin install logstash-output-webhdfs但是往往安装不成功，一般就是如下情况，然后卡着不动了:Validatinglogstash-output-webhdfs。。。原因是防火墙挡掉了logstash的默认gemsourcecat Gemfile | grep source#& 查看详情

logstash-1-安装配置

centos7logstash5.2.0logstashlogstash是什么呢,他是一个数据管道, JRuby编写的运行在java虚拟机的具有收集,分析和转发数据流功能的工具特性: 安装1),wget下载https://artifacts.elastic.co/downloads/logstash/logstash-5.2.0.tar.gz2),解压即安装tar- 查看详情

logstash|logstash&&logstash-input-jdbc安装

Windows系统： 1、安装Logstash 　　 1.1进入官网下载zip包　　 [1] https://artifacts.el 查看详情

logstash：jdbcstaticfilterplugin介绍(代码片段)

在Logstash的过滤器中。有许多的过滤器是可以用来和外部的数据对pipeline里的数据进行丰富的。Jdbc_static过滤器就是其中的一个。此过滤器使用从远程数据库预加载的数据丰富事件。我们之所以选择这个，是因为你不必频繁查... 查看详情