正文

logstash+kibana部署配置

View  View  2022-10-08  127

关键词：

　　Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。

典型的使用场景下(ELK)：

　　用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件，让使用者轻松实现强大的功能。

　　学习Logstash最好的资料就是官网，介绍三个学习地址：

1、ELK官网帮助文档

https://www.elastic.co/guide/en/logstash/5.1/plugins-outputs-stdout.html

2、Logstash匹配帮助文档

http://grokdebug.herokuapp.com/patterns#

3、Grok在线正则匹配

http://grokdebug.herokuapp.com/

4、国内grok在线正则匹配

http://grok.qiexun.net/

下面就正式开始主题~~

logstash部署配置

1、基础环境支持（JAVA）

yum -y install java-1.8*
java --version

2、下载解压logstash

logstash-5.0.1.tar.gz
tar -zxvf logstash-5.0.1.tar.gz
cd logstash-5.0.1
mkdir conf    #创建conf文件夹存放配置文件
cd conf

3、配置文件

配置test文件（结合前面搭建好的ES集群测试）

[root@logstash1 conf]# cat test.conf 
    input {
        stdin {
        }
    }
    output {
            elasticsearch {
                hosts =>["172.16.81.133:9200","172.16.81.134:9200"]
                index => "test-%{+YYYY.MM.dd}"
            }
            stdout {
                codec => rubydebug
            }
    }

#检查配置文件语法
[root@logstash1 conf]# /opt/logstash-5.0.1/bin/logstash -f /opt/logstash-5.0.1/conf/test.conf --config.test_and_exit
　　Sending Logstash's logs to /opt/logstash-5.0.1/logs which is now configured via log4j2.properties
　　Configuration OK
　　[2017-12-26T11:42:12,816][INFO ][logstash.runner ] Using config.test_and_exit mode. Config Validati　　on Result: OK. Exiting Logstash
#执行命令
　　/opt/logstash-5.0.1/bin/logstash -f /opt/logstash-5.0.1/conf/test.conf
手动输入信息
　　2017.12.26 admin 172.16.81.82 200
结果：
　{
　　"@timestamp" => 2017-12-26T03:45:48.926Z,
　　"@version" => "1",
　　"host" => "0.0.0.0",
　　"message" => "2017.12.26 admin 172.16.81.82 200",
　　"tags" => []
　}

配置kafka集群的logstash配置文件

客户端logstash推送日志

#配置客户端logstash配置文件
    [root@www conf]# cat nginx_kafka.conf 
        input {
                file {
                    type => "access.log"
                    path => "/var/log/nginx/imlogin.log"
                    start_position => "beginning"
                }
        }

        output {
            kafka {
                bootstrap_servers => "172.16.81.131:9092,172.16.81.132:9092"
                topic_id => 'summer'
            }
        }

配置服务端logstash过滤分割日志

[root@logstash1 conf]# cat kafka.conf 
    input {
        kafka {
            bootstrap_servers => "172.16.81.131:9092,172.16.81.132:9092"
            group_id => "logstash"
            topics => ["summer"]
            consumer_threads => 50
            decorate_events => true
        }
    }

    filter {
        grok {
            match => {
                "message" => "%{NOTSPACE:accessip} \- \- \[%{HTTPDATE:time}\] %{NOTSPACE:auth} %{NOTSPACE:uri_stem} %{NOTSPACE:agent} %{WORD:status} %{NUMBER:bytes} %{NOTSPACE:request_url} %{NOTSPACE:browser} %{NOTSPACE:system} %{NOTSPACE:system_type} %{NOTSPACE:tag} %{NOTSPACE:system}"
            }
        }
        date {
            match => [ "accessip", "MMM dd YYYY HH:mm:ss" ]
            }
    }

    output {
        elasticsearch {
            hosts => ["172.16.81.133:9200","172.16.81.134:9200"]
            index => "logstash-%{+YYYY.MM.dd}"
        }
    }

然后再es集群上观察消费情况

[root@es1 ~]# curl -XGET '172.16.81.134:9200/_cat/indices?v&pretty'
    health status index                  uuid                   pri rep docs.count docs.deleted store.size pri.store.size
    green  open   logstash-2017.12.29.03 waZfJChvSY2vcREQgyW7zA   5   1    1080175            0    622.2mb        311.1mb
    green  open   logstash-2017.12.29.06 Zm5Jcb3DSK2Ws3D2rYdp2g   5   1        183            0    744.2kb        372.1kb
    green  open   logstash-2017.12.29.04 NFimjo_sSnekHVoISp2DQg   5   1       1530            0      2.7mb          1.3mb
    green  open   .kibana                YN93vVWQTESA-cZycYHI6g   1   1          2            0     22.9kb         11.4kb
    green  open   logstash-2017.12.29.05 kPQAlVkGQL-izw8tt2FRaQ   5   1       1289            0        2mb            1mb

配合ES集群的head插件使用！！观察日志生成情况！！

4、kibana安装部署

下载rpm包

kibana-5.0.1-x86_64.rpm

安装kibana软件

rpm -ivh kibana-5.0.1-x86_64.rpm

配置文件

[root@es1 opt]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
    server.port: 5601
    server.host: "172.16.81.133"
    elasticsearch.url: "http://172.16.81.133:9200"

启动kibana

systemctl start kibana
systemctl enable kibana

浏览器浏览

http://172.16.81.133:5601/

正常显示数据！！

有问题请指出！出现了很多IP地址不知道可以查看前面几篇！

elasticsearch集群部署

...的集群创建用户密码y，分别设置elastic、apm_system、kibana、logstash_system、beats_system、remote_monitoring_user账号的密码。elastic账号：拥有superuser角色，是内置的超级用户。kibana账号：拥有kibana_system角色，用户kibana用来连接elasticsearch并... 查看详情

logstash部署kibana部署elk组合收集多个日志(代码片段)

部署logstash主机名IPlogstash-to-es01192.168.15.28logstash环境准备及安装Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash整个ELK当中拥有最多插件的一个组件，其可以接收来自不同来源的数据并统一输出到指定的... 查看详情

logstash+kibana+多elasticsearch集群部署(代码片段)

...与介绍?ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash。官方... 查看详情

elasticsearch（elk）集群环境部署(代码片段)

...）Kibana下载2）Kibana安装3）Kibana修改配置4）Kibana启动七、logstash部署1）logstash下载解压2）解压测试数据集3）创建并编辑logstash.conf文件，添加如下内容（Ruby语法）4）导入数据一、概述ELK是一个由三个开源软件工具组成的数据处... 查看详情

docker安装部署elk教程(elasticsearch+kibana+logstash+filebeat)(代码片段)

...能付博链接：Docker安装部署ELK教程(Elasticsearch+Kibana+Logstash+Filebeat)ELK是由Elasticsearch、Logstash和Kibana三部分组件组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机... 查看详情

elk日志系统部署实现(代码片段)

...per的作用2.3.3Kafka数据流转2.3.4Kafka安装部署2.3.5Kafka优化2.4Logstash配置与数据流转2.4.1Logstash数据流转2.4.2Logstash部署运行2.5ElasticSearch配置与数据流转2.5.1ElasticSearch数据流转2.5.2ElasticSearch部署运行2.6Kibana配置与数据流转2.6.1Kibana数据... 查看详情

docker安装部署elk教程(elasticsearch+kibana+logstash+filebeat)(代码片段)

ELK是由Elasticsearch、Logstash和Kibana三部分组件组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全... 查看详情

elkelasticsearch，kibana，logstash安装部署(代码片段)

1，准备linux虚拟机环境（CentOS7）本次安装用的是ELK7.2.0的版本(版本一定要一致)2，先在linux安装java环境//查找安装列表yum-ylistjava*//安装yuminstalljava-1.8.0-openjdk.x86_64//完成安装后验证java-version3，安装elasticsearch-7.2.0将elasticsearch-7.2.0-l... 查看详情

elasticsearch&logstash&kibana学习历程logstash使用场景和安装部署(代码片段)

Logstash基本介绍和使用场景自我认为：logstash就是日志的采集收集，日志的搬运工，实时去采集日志。读取不同的数据源，并进行过滤，开发者自定义规范输出到目的地。日志的来源很多，如系统日志，应用日志等等（同类软件... 查看详情

logstash部署kibana部署elk组合收集多个日志(代码片段)

elk部署实施

ELK核心组成简介![]1.2、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜... 查看详情

elk(elasticsearch+logstash+kibana)开源日志分析平台搭建

环境介绍System: CentOS7.2x86_64hostname: elk-server.huangming.orgIPAddress:10.0.6.42、10.17.83.42本篇的ELK环境为单机部署方式，即将ELK所有的软件包都安装在一台服务器上，配置如下：CPU: 4cMem: 8GDisk: 50一、Elasticsearch安装1 查看详情

部署kibana--elasticstack之五

....安装Kibana服务器角色主机名ip服务elk1192.168.1.223jdk1.8,es7.2,logstash,elk2192.168.1.224jdk1.8,es7.2,elasticsearch-head,kibana,cerebroelk3192.168.1.225jdk1.8,es7.2,redis2+keepalivedelk4192.168.1.226jdk1.8，redis1+keepalived+vip，filebeat,metricbeat，rabbitmq，Packbeat;heartbeat1.版... 查看详情

dockerelk安装部署使用教程

一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。... 查看详情

9.elk部署(代码片段)

...本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）kibana也是一个开源和免费的工具，他Kibana可以为Logstash和ElasticSearch提... 查看详情

elk-kibana

...开浏览器访问http://127.0.0.1:5601浏览kibana界面总结：ELK即之logstash——elasticsearch——kibana，查看详情

elk部署

master端：elasticsearch+logstash+redis+kibanaslave端：logstash+nginxor logstash+rsyslog1.slave端收集nginx、syslog日志通过logstash写入到master上的redis中2.master上的logstash读取redis中的日志输出到elastic，kibana再匹配读取elastic上内容查看详情

elk上手2在centos下安装logstash和kibana(代码片段)

...安装ElassticSearch一、官网下载地址二、准备环境三、安装Logstash四、安装Kibana1.下载2.配置3.启动4.访问界面一、官网下载地址https://www.elastic.co/cn/downloads/logstash二、准备环境CentOS8JDK8三、安装Logstashwgethttps://artifacts.elastic.co/downloads/lo... 查看详情