正文

日志监控_elasticstack-0002.logstash编码插件及实际生产案例应用?

author  author  2022-08-18  261

关键词：

新版插件:

说明: 从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin --help帮助信息../bin/logstash-plugin list其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下

扩展: 如果GitHub上面(https://github.com/logstash-plugins/)发布了扩展插件,可通过./bin/logstash-plugin install <plugin-name>,当然升级也很方便./bin/logstash-plugin update <plugin-name>,如果要安装更新本地已有的插件可通过./bin/logstash-plugin install/update <plugin-path>即可.

注意: 默认./bin/logstash-plugin install/update时是到https://rubygems.org/下载包,速度非常慢,所以强烈推荐手动从https://github.com/logstash-plugins/或https://rubygems.org/下载下来更新

解码插件: https://www.elastic.co/guide/en/logstash/current/codec-plugins.html

说明: 编码插件可用于input/output区段中,可以改变事件的数据表示,之前版本只支持纯文本输入,现在可输入期处理不同类型的数据,数据流变为input | decode | filter | encode | output,codec的出现,使得更方便的与其它自定义数据格式的运维产品共存,支持如上列表中所有的插件

插件名称: json(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-json.html)

input {
    file {
        path => ["/xm-workspace/xm-webs/xmcloud/logs/*.log"]
        type => "dss-pubserver"
codec => json
        start_position => "beginning"
    }
}
output{
    stdout{
        codec => rubydebug
    }
}

说明: 很多时候为了降低过滤器的CPU负载,会直接输入预定义的Json数据,这样可以省略掉filter/grok配置,对于web服务器apache/nginx的访问日志可以很好的工作,不过如果作为代理服务器运行时,访问日志中有些变量如$upstream_response_time可能不是数字而是"-",导致输入数据验证异常,可以加双引号,也可以通过input插件的stdin从终端读取sed替换后导入.

插件名称: multilline(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html)

input {
    stdin {
        codec => multiline {
            patterns_dir => ["/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns"]
            pattern => "^%{YEAR}/%{MONTHNUM2}/%{MONTHDAY} %{TIME}"
            negate => true
            what => "previous"
        }
    }
}
output{
    stdout{
        codec => rubydebug
    }
}

生产案例:

2016/07/09 10:19:49 [notice] 32715#0: start worker process 32717
2016/07/09 10:20:19 [error] 32716#0: *1 lua entry thread aborted: runtime error: ...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:387: attempt to index upvalue ‘lua_url‘ (a boolean value)
stack traceback:
coroutine 0:
...stTool/test/Openresty/authserver_lua/lua/auth-server.lua: in function ‘process_msg‘
...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:423: in function <...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:2>, client: 10.2.5.51, server: , request: "POST /webservice/c928/%E4%B8%8A%E8%99%9E%E9%9C%87%E8%BF%9C&1468030819562&e118f0d7aca5a0de1abadb94866173a4& HTTP/1.1", host: "10.2.5.51:9902"
2016/07/09 10:24:24 [notice] 32715#0: signal 15 (SIGTERM) received, exiting

说明: 很多时候程序调试日志会包含丰富内容,为一个事件打印出很多行内容,可通过在输入中通过codec的multiline预多行处理,由于Logstash默认自带非常多的正则,可通过patterns_dir以数组的形式加载自带的或自定义的正则目录,它会自动扫描并加载目录下的正则文件,pattern指定正则表达式,negate和what配合使用表示当不匹配pattern时,此行属于前行,以此来累计直到匹配pattern的行结束作为一行内容.

扩展: 应用日志常常会用到Log4j,对于此类型日志虽然可通过codec=>multiline实现,但其实Logstash还提供了另一种input=>log4j(https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html),可直接处理TCP端口接收的数据.

插件名称: (https://www.elastic.co/guide/en/logstash/current/plugins-codecs-netflow.html)

input {
udp {
port => 9995
codec => netflow {
definitions => "/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-codec-netflow-3.1.2/lib/logstash/codecs/netflow/netflow.yaml"
versions => [5]
}
    }
}
output {
stdout { 
codec => rubydebug 
}
}

说明: NetFlow是Cisco创造的数据交换格式,常用于收集路由器等设备的NetFlow网络流量数据以便对数据进一步分析,Logstash codec=>netflow需要指定definitions默认包含定义的标准netflow字段文件,versions目前支持5/9版.

本文出自 “满满李 - 运维开发之路” 博客，请务必保留此出处http://xmdevops.blog.51cto.com/11144840/1884064

日志监控_elasticstack-0003.logstash输入插件及实际生产案例应用?

新版插件:说明:从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin--help帮助信息../bin/logstash-pluginlist其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下... 查看详情

日志监控_elasticstack-0002.logstash编码插件及实际生产案例应用?

java监控本地日志并实现实时查看(代码片段)

每次查看日志，都需要去服务器上看，太麻烦了，所以简单实现一个在线日志实时监控功能，可以方便实时查看了。源码meethigher/log-monitor参考写一个发布日志实时查看功能_liangwenrong的博客-CSDN博客log-viewer:可同时... 查看详情

日志监控_elasticstack5-0001.logstash快速规范化部署与后台运行?

技术栈线:650)this.width=650;"src="http://s3.51cto.com/wyfs02/M02/8B/42/wKiom1hIDFyjbuIAAAJMIsTSBRQ088.png"title="clipboard.png"alt="wKiom1hIDFyjbuIAAAJMIsTSBRQ088.png"/>1.支持灵活的处理方式,Elasticsearch是实时全文索引,无需查看详情

elasticsearchandkibanaandfilebeat轻量级日志监控系统

ElasticsearchandkibanaandfilebeatElasticsearchandkibanaandfilebeat轻量级日志监控系统说明：elasticsearch依赖javaLogstash依赖于JVM，内存消耗比较高filebeatgo语言轻量级日志监控系统安装elasticsearch-6.2.3.tar.gzfilebeat-6.2.3-linux-x86_64.tar. 查看详情

布道微服务_11监控系统选型与常见方案

...不同，适合的业务场景也不一样。主流方案分类（集中式日志VS时序数据库）目前，比较流行的开源监控系统实现方案主要有两种：以ELK为代表的集中式日志解决方案以Graphite、TICK和Prometheus等为代表的时序数据库解决方案查看详情

容器技术dockerk8s43serverlesskubernetes（ask）详解-ask网络存储日志监控管理

参考https://edu.aliyun.com/lesson_2553_27399#_27399 查看详情

iptables防火墙与日志系统配合使用监控服务器特点端口的防问源ip

/etc/sysconfig/iptables-AINPUT-ptcp--dport80-jLOG--log-level5--log-prefix"PORT_80:"-AINPUT-ptcp--dport22022-jLOG--log-level5--log-prefix"PORT_22"查看日志输出:Jul915:34:55ServerNamekernel:PORT_80:IN=eth1OUT= 查看详情

java监控本地日志并实现实时查看(代码片段)

将日志输出到docker容器外(代码片段)

原文:将日志输出到Docker容器外1.1使用Docker容器日志我们可以利用dockerlogs命令查看Docker容器内部应用程序运行时所产生的日志，可以免除首先进入Docker容器，再打开应用程序的日志文件的过程。dockerlogs会监控容器中操作系统的标... 查看详情

flume_企业中日志处理

企业中的日志存放_1201611/20161112.log.tmp　　第二天文件变为20161112.log与20161113.log.tmp拷贝一份flume-conf.properties.template改名为dir-mem-hdfs.properties实现监控某一目录,如有新文件产生则上传至hdfs,另外过滤掉新文件中tmp文件dir-mem-hdfs.propert... 查看详情

windows进程监控脚本(代码片段)

...个python脚本来监控进程，当cpu过高时杀死进程，同时记录日志importpsutilimportosimporttimeimportloggingdefKillProcess():os.kill(pid,2)defProcessLog():LOG_FORMAT="%(asctime)s%(name)s%(levelname)s%(pathname)s%(message)s"DATE_FORMAT=‘%Y-%m-%d%H:%M:%S%a‘logging.basicConfig(level... 查看详情

elk平台搭建及日志监控

...背景当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时二、环境系统：centos6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.0三、安装1、安装JDK下载JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-... 查看详情

日志监控告警系统

课程介绍课程名称：日志监控告警系统基于的日志进行监控，监控需要一定规则，对触发监控规则的日志信息进行告警，告警的方式，是短信和邮件。log4j---->error,info,debug应用程序程序的日志 error级别TimeOutException角标越界I... 查看详情

django项目之efk日志监控系统的搭建(代码片段)

一、下载efk的tar.gz的离线包wgethttp://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz?AuthParam=1536892035_945cb24c750d0971b8c5b1925cc723a9wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gzwgethttps:... 查看详情

flume监控hive日志文件(代码片段)

flume监控hive日志文件一：flume监控hive的日志1.1案例需求：1.实时监控某个日志文件，将数据收集到存储hdfs上面，此案例使用execsource，实时监控文件数据，使用MemoryChannel缓存数据，使用HDFSSink写入数据2.此案例实时监控hive日志文... 查看详情

update：sparkstreaming原理_运行过程_高级特性(代码片段)

...的一些指标进行监控,例如 CPU,内存,磁盘等这些工具的日志输出是非常多的,往往一个用户的访问行为会带来几百条日志查看详情

zabbix之日志监控

一、日志item介绍下面介绍zabbix另一个“重量级”的功能——日志文件监控，它最主要的是监控日志文件中有没有某个字符串的表达式，对应日志轮转与否，zabbix都支持。在配置Item的时候，Type选择... 查看详情