grok常用表达式

韩乾 韩乾     2022-09-19     697

关键词:

 

主机、ip、路径

HOSTNAME 主机名称
IPORHOST IP或者主机名称
HOSTPORT 主机名(IP)+端口,如: 127.0.0.1:3306、api.stozen.NET:8000
MAC MAC地址
IP IP地址,IPv4或IPv6地址,比如:127.0.0.1、FE80:0000:0000:0000:AAAA:0000:00C2:0002等
PATH 路径,Unix系统或者Windows系统里的路径格式,比如:/usr/xxx、c:windowsxxx等

 

字符串、数字

USERNAME 或 USER w+,比如:1234、Bob、Alex.Wong等
WORD w+,比如:String、3529345、ILoveYou等
EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+
EMAILADDRESS 电子邮件,%{EMAILLOCALPART}@%{HOSTNAME},比如:[email protected]、等
BASE10NUM 十进制数字,包括整数和小数,比如:0、18、5.23等
NUMBER 十进制数字,包括整数和小数,比如:0、18、5.23等
BASE16NUM 十六进制数字,整数,比如:0x0045fa2d、-0x3F8709等
BASE16FLOAT 十六进制数字,整数和小数
WORD 字符串,包括数字和大小写字母,比如:String、3529345、ILoveYou等
NOTSPACE 不带任何空格的字符串
SPACE 空格字符串
QUOTEDSTRING 或 QS 带引号的字符串,比如:"This is an apple"What is your name?等
UUID 标准UUID,比如:550E8400-E29B-11D4-A716-446655440000
 

时间日期

MONTH 月份名称,比如:Jan、January等
MONTHNUM 月份数字,比如:03、9、12等
MONTHDAY 日期数字,比如:03、9、31等
DAY 星期几名称,比如:Mon、Monday等
YEAR 年份数字
HOUR 小时数字
MINUTE 分钟数字
SECOND 秒数字
TIME 时间,比如:00:01:23
DATE_US 美国日期格式,比如:10-15-1982、10/15/1982等
DATE_EU 欧洲日期格式,比如:15-10-1982、15/10/1982、15.10.1982等
DATE 日期,美国日期%{DATE_US}或者欧洲日期%{DATE_EU}
ISO8601_TIMEZONE ISO8601时间格式,比如:+10:23、-1023等
TIMESTAMP_ISO8601 ISO8601时间戳格式,比如:2016-07-03T00:34:06+08:00
DATESTAMP 完整日期+时间,比如:07-03-2016 00:34:06
HTTPDATE http默认日期格式,比如:03/Jul/2016:00:36:53 +0800
LOGLEVEL 日志等级,比如:Alert、alert、ALERT、Error等

 

 

HTTP

URIPROTO URI协议,比如:http、ftp等
URIHOST URI主机,比如:www.stozen.net、10.0.0.1:22等
URIPATH URI路径,比如://www.stozen.Net/abc/、/api.PHP等
URI 完整的URI,比如:http://www.stozen.net/abc/api.php?a=1&b=2&c=3
URIPARAM URI里的GET参数,比如:?a=1&b=2&c=3
URIPATHPARAM URI路径+GET参数,比如://www.stozen.net/abc/api.php?a=1&b=2&c=3

 

 

 

grok表达式

grok表达式grok其实就是封装了各种常用的正则表达式,屏蔽了直接写正则的复杂性;通过它可以提取日志内容,按照自己指定的格式输出到kibana.http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.htmlhttp://blog.csdn.net/liukuan73/article/detai... 查看详情

logstash笔记-----grok插件的正则表达式来解析日志

...是Logstash最重要的插件。你可以在grok里预定义好命名正则表达式,在稍后(gr 查看详情

如何在自定义 grok 模式中引用正则表达式组?

】如何在自定义grok模式中引用正则表达式组?【英文标题】:HowdoIrefertoaregexgroupinsideacustomgrokpattern?【发布时间】:2017-08-0222:01:06【问题描述】:我想在我的日志行中添加特定URI参数的字段这是一个示例日志行:2017-03-1221:34:36W3SV... 查看详情

elk日志处理之使用grok解析日志

...gs等任意格式的文件上表现完美。Grok内置了120多种的正则表达式库,地址:https://github.com/logstash-plugins/logstash-patterns-core/tree/master/ 查看详情

Logstash,grok 过滤器不适用于固定长度字段

...,我有一个带有固定长度字段的输入文件和一个使用正则表达式配置的logstash配置文件,如下所示:我的日志存储配置文件first-pipeline.conf的内容#The#charac 查看详情

logstash:使用自定义正则表达式模式(代码片段)

有时LogstashGrok没有我们需要的模式。幸运的是我们有正则表达式库:Oniguruma。在很多时候,如果Logstash所提供的正则表达不能满足我们的需求,我们选用定制自己的表达式。定义Logstash是一种服务器端数据处理管道ÿ... 查看详情

logstash:日志解析的grok模式示例(代码片段)

...k是如何工作的?简而言之,grok是一种将行与正则表达式匹配、将行的特定部分映射到专用字段并基于此映射执行操作的方法。内置有200多种Logstash模式,用于过滤AWS、Bacula、Bro、Linux-Syslog等中的单词、数字和日期等... 查看详情

logstash语法常用案例解析

摘要此篇主要讲Filter插件,已经对nginx日志的各种处理实例接着上篇继续说插件1,Filter插件Grok:正则捕获Date:时间处理Mutate:数据修改Geoip:查询归类JSON:编解码Grok:解析和结构化任何文本。http://grokdebug.herokuapp.com/patterns# ... 查看详情

eflk-logstash安装配置

...是Logstash最重要的插件。你可以在grok里预定义好命名正则表达式,在稍后(grok参数或者其他正则表达式里)引用它。grok表达式的打印复制格式的完整语法是下面这样的:grok-patterns内置的正则表达式那问题来了,写了正则表达式,... 查看详情

logstash的过滤插件及其应用

...网站:​​http://grokdebug.herokuapp.com/discover?#​​使用正则表达式%COMBINEDAPACHELOG可将nginx,tomcat等的日志转换为json格式。当然也可以在kibana界面实现   如果用logstash执行,则logstash对应的配置文件nginx_grok_stdout.conf的内容... 查看详情

elk笔记4--grok正则解析

elk笔记4--grok正则解析​​1grok切分方法​​​​2grok切分案例​​​​3说明​​1grok切分方法grok切分规则可按照如下思路进行。1)找准切分标志,以切分标志作为中心向左或者向右逐个字段抽出,对于正则中的通配符需要进行... 查看详情

错误的 Grok 模式

】错误的Grok模式【英文标题】:WrongGrokpattern【发布时间】:2022-01-1313:32:34【问题描述】:我正在尝试为以下日志跟踪创建一个grok模式:"source":"<ahref=\\"http://twitter.com/download/iphone\\"rel=\\"nofollow\\">TwitterforiPhone</a>"我做过... 查看详情

Plone/Grok - 在使用“zopeskel plone”构建的产品中,grok 会与 plone.directives 冲突吗?

】Plone/Grok-在使用“zopeskelplone”构建的产品中,grok会与plone.directives冲突吗?【英文标题】:Plone/Grok-Inaproductbuiltusing"zopeskelplone",cangrokconflictwithplone.directives?【发布时间】:2015-01-0516:25:48【问题描述】:我正在尝试按照Plon... 查看详情

Grok 用于日志文件 Logstash

】Grok用于日志文件Logstash【英文标题】:GrokforlogfilesLogstash【发布时间】:2020-04-2212:03:00【问题描述】:我需要编写一个grok模式来检索“****”中的内容-----Startofscriptforserversitboap1at**FriApr1714:24:19**HKT2020---------**user11**8775110Apr16?00:00... 查看详情

grok_exporter 多久发布一次已处理的指标?

】grok_exporter多久发布一次已处理的指标?【英文标题】:Howoftendoesgrok_exporterpublishprocessedmetrics?【发布时间】:2021-12-1007:32:51【问题描述】:与Prometheus抓取数据的频率相比,grok_exporter发布数据的频率如何?例如,如果grok_eporter... 查看详情

grok正则

USERNAME [a-zA-Z0-9._-]+USER %USERNAMEINT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:.[0-9]+)?)|(?:.[0-9]+)))NUMBER (?:%BASE10NUM)BASE16NUM&n 查看详情

logstash使用笔记

参考技术ALogstash这东西就是正则表达式匹配,不过由于日志太大了,如果你这个正则从头写到尾估计写一半人就没了,所以人家预定义好了许多的正则表达式,那些%xxx本质上就是那些正则,一样的替代一下。内置的那些预定义... 查看详情

logstash / grok 自定义字段

】logstash/grok自定义字段【英文标题】:logstash/grokcustomfileds【发布时间】:2017-07-1810:37:32【问题描述】:我是ELK堆栈的全新用户。我在从日志中过滤掉特定部分时遇到了一点问题。示例日志:[2017-05-3013:58:09,336]INFO[com.qwerty.test.core... 查看详情