错误的 Grok 模式

     2023-02-19     22

关键词:

【中文标题】错误的 Grok 模式【英文标题】:Wrong Grok pattern 【发布时间】:2022-01-13 13:32:34 【问题描述】:

我正在尝试为以下日志跟踪创建一个 grok 模式:

"source":"<a href=\"http://twitter.com/download/iphone\" rel=\"nofollow\">Twitter for iPhone</a>"

我做过的grok模式是:

a href=\\"http://twitter.com/download/(?<Client>\b\w+\b)

这似乎在我尝试过的任何在线 grok 调试器中都能正常工作。但是,当我运行 logstash 时,我得到了一个 grok parserror。这是我的 logstash 配置:

grok  match => "message" => "a href=\\http://twitter.com/download/(?<Client>\b\w+\b)"

你能告诉我我做错了什么吗?我不明白为什么它不能在 logstash 上运行,但似乎可以在任何在线调试器中运行。

预期的输出是:Client: iPhone

谢谢

【问题讨论】:

【参考方案1】:

我认为您可以更改方法以避免处理所有 /" 字符 ;) 所以

行:

grok  match => "message" => "a href=\\http://twitter.com/download/(?<Client>\b\w+\b)"

可以替换为:

grok  match => "message" => "*%URI\/download\/(?<Client>\b\w+\b).*"

【讨论】:

我用你的解决方案替换了它,但我仍然遇到同样的错误。 好的,我完全改变了我的答案,我得到了一个与您的数据样本匹配的新正则表达式。

logstash:日志解析的grok模式示例(代码片段)

...但是用Grok解析日志可能会很棘手。本博客将研究一些Grok模式示例,这些示例可以帮助你了解如何解析日志数据。什么是grok?最初的术语实际上是相当新的——由RobertA.Heinlein在他1961年的《陌生土地上的陌生人》一书中创造—... 查看详情

未找到 logstash grok 过滤器模式

】未找到logstashgrok过滤器模式【英文标题】:logstashgrokfilterpatternnotfound【发布时间】:2015-04-1419:46:12【问题描述】:我一直在尝试为logstash创建一些自定义的grok模式。他们中的大多数工作正常,但有一个让我难过。模式是:WINUSE... 查看详情

logstash:grok模式示例(代码片段)

...考虑一个典型的Linux系统日志。多个程序将它们的状态或错误消息写入同一个日志文件。在日志的一行中,最后一个字段可能是错误代码。但在下一行,最后一个字段可能是IP地址。这意味着解析器现在需要有一种方法来... 查看详情

logstash:日志解析的grok模式示例(代码片段)

如果没有日志解析,搜索和可视化日志几乎是不可能的,一个被低估的技能记录器需要读取他们的数据。解析结构化你的传入(非结构化)日志,以便用户可以在调查期间或设置仪表板时搜索清晰的字段和值... 查看详情

在 Kibana 仪表板中创建单独部分的 Grok 模式

】在Kibana仪表板中创建单独部分的Grok模式【英文标题】:GrokpatternforcreatingseparatesectioninKibanadashboard【发布时间】:2020-03-0716:34:04【问题描述】:长期以来,我一直在尝试使用logstash从我的自定义日志中提取和标记数据,但没有得... 查看详情

logstash / grok 模式文件

】logstash/grok模式文件【英文标题】:logstash/grokpatternfile【发布时间】:2015-09-2902:24:38【问题描述】:我正在解析IIS日志,当所有模式都在配置文件中时,我一切正常。我想取出所有模式并将它们放在一个模式文件中,但似乎无... 查看详情

logstash grok 模式来监控 logstash 本身

】logstashgrok模式来监控logstash本身【英文标题】:logstashgrokpatterntomonitorlogstashitself【发布时间】:2016-05-0316:07:48【问题描述】:我想将logstash.log日志添加到我的ELK堆栈中,但我总是遇到grokparsefailure。我的模式在http://grokconstructor.a... 查看详情

Logstash grok 模式过滤自定义日志消息

】Logstashgrok模式过滤自定义日志消息【英文标题】:LogstashgrokpatterntofiltercustomLogmessage【发布时间】:2015-03-1608:40:25【问题描述】:我是logstash的新手,我想从日志消息中过滤文件。这是日志消息:[2015-03-1613:12:05,130]INFO-LogMediatorSe... 查看详情

grok自定义模式(代码片段)

我的logstash中有简单的消息:2018-09-3020:25:07.708INFO8013---[nio-8443-exec-3]c.e.demo.controller.UsuarioController:INICIOCHAMADA|311我想从此消息中删除以下字段。"311"答案你快到了。你只需要用反斜杠逃避管道|字符(否则它匹配801之后的INFO),如下... 查看详情

如何在自定义 grok 模式中引用正则表达式组?

】如何在自定义grok模式中引用正则表达式组?【英文标题】:HowdoIrefertoaregexgroupinsideacustomgrokpattern?【发布时间】:2017-08-0222:01:06【问题描述】:我想在我的日志行中添加特定URI参数的字段这是一个示例日志行:2017-03-1221:34:36W3SV... 查看详情

使用 java grok 模式从 syslog 消息中提取详细信息

】使用javagrok模式从syslog消息中提取详细信息【英文标题】:Extractdetailsfromsyslogmessagewithjavagrokpatterns【发布时间】:2015-09-2118:46:43【问题描述】:我正在开发一个Java项目来解析我使用JavaGrok库进行模式识别的日志。我给出的模式... 查看详情

logstash:grok模式示例(代码片段)

Logstash可以轻松解析CSV和JSON文件,因为这些格式的数据组织得很好,可以进行Elasticsearch分析。但是,有时我们需要处理非结构化数据,例如纯文本日志。在这些情况下,我们需要使用LogstashGrok或其他第三方服... 查看详情

Logstash 中的 Grok 过滤器错误

】Logstash中的Grok过滤器错误【英文标题】:GrokFilterErrorinLogstash【发布时间】:2017-01-1109:28:42【问题描述】:我的过滤器中有以下内容,出于某种原因,它只打印电子邮件而不是交付状态。但是当我注释掉这封电子邮件时,它会... 查看详情

Grok-exporter 正在运行,但未显示指标 [服务错误:配置无效]

】Grok-exporter正在运行,但未显示指标[服务错误:配置无效]【英文标题】:Grok-exporterisactiverunning,butmetricsdon\'tshowup[serviceerror:Invalidconfiguration]【发布时间】:2021-12-2610:02:59【问题描述】:我的主要目的是在prometheus服务器中显示日... 查看详情

Grok 用于日志文件 Logstash

...间】:2020-04-2212:03:00【问题描述】:我需要编写一个grok模式来检索“****”中的内容-----Startofscriptforserversitboap1at**FriApr1714:24:19**HKT2020---------**user11**8775110Apr16?00:00:00sh**job1. 查看详情

logstash:使用自定义正则表达式模式(代码片段)

有时LogstashGrok没有我们需要的模式。幸运的是我们有正则表达式库:Oniguruma。在很多时候,如果Logstash所提供的正则表达不能满足我们的需求,我们选用定制自己的表达式。定义Logstash是一种服务器端数据处理管道ÿ... 查看详情

使用 Grok for Logstash 解析 Apache2 错误日志

】使用GrokforLogstash解析Apache2错误日志【英文标题】:ParseApache2ErrorlogswithGrokforLogstash【发布时间】:2013-06-2406:32:12【问题描述】:我正在尝试解析我的apache2错误日志,但遇到了一些麻烦。它似乎与过滤器不匹配。我很确定时间戳... 查看详情

Plone/Grok - 在使用“zopeskel plone”构建的产品中,grok 会与 plone.directives 冲突吗?

】Plone/Grok-在使用“zopeskelplone”构建的产品中,grok会与plone.directives冲突吗?【英文标题】:Plone/Grok-Inaproductbuiltusing"zopeskelplone",cangrokconflictwithplone.directives?【发布时间】:2015-01-0516:25:48【问题描述】:我正在尝试按照Plon... 查看详情