elk上手3logback接入logstash(代码片段)

编程圈子 编程圈子     2023-03-04     323

关键词:

一、准备工作

  • 已安装 Elasticsearch
  • 已安装logstash
  • Java开发环境

二、Logstash配置

在 Logstash 的config目录下,新建 logstash-logback.conf 文件 :

input 
        tcp 
        // 在4560端口接收logback传来的日志
        host => "0.0.0.0"
        port => 4560
        mode => "server"
        tags => ["tags"]
        codec => json_lines
        

output 
        stdout  codec => rubydebug 
        #输出到es
        elasticsearch  hosts => "127.0.0.1:9200" 

启动时,加载该配置文件:

nohup ./bin/logstash -f config/logstash-logback.conf &

三、Logback设置

1. pom.xml引用


        <!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-logback-encoder -->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>7.0.1</version>
        </dependency>

2. logback-spring.xml设置

 <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>你的logstash ip</destination>
        <param name="Encoding" value="UTF-8"/>
        <!-- <filter class="com.program.interceptor.ELKFilter"/>-->
        <!-- encoder is required -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" >
            <customFields>"appname":"$appName"</customFields>
        </encoder>
    </appender>

这样就可以测试log了。

@RunWith(SpringRunner.class)
@SpringBootTest
@Slf4j
@WebAppConfiguration
public class ConstantsTest 
    @Test
    public void Test() 
        for(int i=0;i<5;i++) 
            log.info(",测试日志",i, "看看可能写入logstash");
        
    

可以看到logstash的日志:

logback的日志已经传到了logstash。

四、kibana查看日志

点开Kibana的Discover。

1. 设置索引

2. 查看日志

elk上手2在centos下安装logstash和kibana(代码片段)

...安装ElassticSearch一、官网下载地址二、准备环境三、安装Logstash四、安装Kibana1.下载2.配置3.启动4.访问界面5.Elasticsearch设置密码后连接(1)首先按前文给Elasticsearch设置密码。(2)修改kibana.yml(3)重启kibana6.日志高度设置一、官网下载地... 查看详情

elk上手2在centos下安装logstash和kibana(代码片段)

...安装ElassticSearch一、官网下载地址二、准备环境三、安装Logstash四、安装Kibana1.下载2.配置3.启动4.访问界面一、官网下载地址https://www.elastic.co/cn/downloads/logstash二、准备环境CentOS8JDK8三、安装Logstashwgethttps://artifacts.elastic.co/downloads/lo... 查看详情

初探elk-logstash使用小结

初探ELK-logstash使用小结2016/9/12【写在前言】说起处理日志的手段,大家或多或少都听说过ELK(elasticsearch+logstash+kibana),怎么入门呢?咱们从一个小小的目标开始。目标:收集nginx日志,集中展示。不少人对ELK的第一印象,容易... 查看详情

[转]elk之logstash

...m】 https://blog.csdn.net/iguyue/article/details/77006201 ELK之Logstash简介:ELK之LogstashLogstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。在一个典型的使用场... 查看详情

elk-logstash

logstash简介:  logstash日志分析的配置和使用   logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。   ... 查看详情

elk实验安装logstash

logstash可以理解为log的采集传输组件老样子第一步下载sudowgethttps://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz解压出来sudotar-zxvflogstash-6.2.4.tar.gz编辑一下配置配置ip和日志记录的级别vi/config/logstash.ymlhttp.host:"192. 查看详情

elk部署详解--logstash

logstash.yml#SettingsfileinYAML##Settingscanbespecifiedeitherinhierarchicalform,e.g.:##pipeline:#batch:#size:125#delay:5##Orasflatkeys:##pipeline.batch.size:125#pipeline.batch.delay:5##------------Nod 查看详情

elk上手1在centos8下安装elassticsearch(代码片段)

...ELK是三个开源软件的缩写,分别表示:ElasticsearchLogstashKibana另外新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),适合于在各个服务器上搜集日志后传输给Logstash。二、ElasticSearch安装官网下载地址... 查看详情

elk之logstash的输入输出-4(代码片段)

logstash的标准输入输出[[email protected]logstash]#./bin/logstash-e‘inputstdinoutputstdoutcodec=>rubydebug‘hellowword"message"=>"hellow","host"=>"elk-node01","@version"=>"1","@timest 查看详情

elk-logstash-kibana

一、修改logstash.ymlunziplogstash-6.3.2vimconfig/logstash.yml#添加:检查所有iphttp.host:"0.0.0.0"二、在logstash下的config下创建(根据自己log日志地址设置:安装nginx等)[[email protected]config]$catsyslog.confinputsyslogtype=>" 查看详情

企业运维之elk日志分析平台(logstash)(代码片段)

ELK日志分析平台--Logstash数据采集介绍与配置1.Logstash简介2.Logstash组成3.Logstash安装与配置3.1运行logstash3.2file输出插件3.3elasticsearch输出插件3.4Syslog输入插件3.5多行过滤插件3.6grok过滤插件1.Logstash简介Logstash是用于日志的搜集、分析、... 查看详情

elk之logstash长久运行

今天介绍一下关于logstash的启动方式,以前说的都是使用/usr/local/logstash-f/etc/logstash.conf方式启动,这样就有一个麻烦,当你关闭终端,或者ctrl+c时logstash就会退出。下面介绍几种长期运行的方式。1、service方式使用rpm方式安装的,... 查看详情

日志分析系统elk(elasticsearch+logstash+kibana+filebeat)

目录​​ 一、安装es​​​​ 二、安装Logstash​​​​三、安装Kibana​​​​四、安装Filebeat​​​​五、集群模式​​搭建日志分析系统ELK(elasticsearch+logstash+kibana+filebeat)这里先介绍ELK的安装 首先下载ELK在官网下载... 查看详情

elk部署

master端:elasticsearch+logstash+redis+kibanaslave端:logstash+nginxor logstash+rsyslog1.slave端收集nginx、syslog日志通过logstash写入到master上的redis中2.master上的logstash读取redis中的日志输出到elastic,kibana再匹配读取elastic上内容 查看详情

日志分析系统elk之logstash(代码片段)

Logstash什么是ELKLogstash简介Logstash组成1、输入2、过滤器(可选)3、输出Logstash安装与配置通过命令行运行Logstash参数-e参数-f日志输出到文件日志上传到elasticsearchLogstash伪装为日志服务器grok过滤插件分割命令行的信息输出... 查看详情

elk——logstash(代码片段)

Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。官网介绍:https://www.elastic.co/cn/products/logstashhttps://www.elastic.co/downloads/logstash1、下载Logstash依赖JDK1.8... 查看详情

ELK 堆栈中的 Logstash 和 filebeat

】ELK堆栈中的Logstash和filebeat【英文标题】:LogstashandfilebeatintheELKstack【发布时间】:2019-08-1620:14:04【问题描述】:我们正在服务器上设置elasticsearch、kibana、logstash和filebeat,以分析来自许多应用程序的日志文件。由于原因*,每个... 查看详情

elk学习笔记之logstash安装

Logstash安装: https://www.elastic.co/downloads/logstash下载解压:tar–zxvflogstash-5.6.1.tar.gz在/usr/local/logstash-5.6.1/bin下编辑conf:(因为配置了输出到es和console上,所以必须先启动es。)vilogstash-simple.confinput{stdin{}}ou 查看详情