关键词：
【中文标题】用于logstash的grok过滤器【英文标题】：grok filter for logstash 【发布时间】：2014-10-15 19:34:38 【问题描述】：我的日志文件有以下形式的行：
10/13 14:05:18.192 [modulename]: [pid]: (debug level string): message string XYZ:<xyz value>
在哪里
modulename 是一个字符串
pid 是一个整数
debug level string 是一个类似“debug”或“info”或“error”的字符串
message string 是一个字符串
xyz value 是一个整数
示例：
10/13 14:05:18.192 [MyModule]: [12345]: (debug): This is my message. XYZ: 987
我四处搜索并尝试了一些东西，但得到了_grokparsefailure。有人可以帮我看看我可以在 logstash 中使用什么过滤器来解析这些日志吗？
【问题讨论】：
你试过什么？您是否尝试过使用grokdebug.herokuapp.com 逐步添加到您的模式中？ 如果我将上面的示例日志提供给 grokdebugger 中的 Discover，它会建议：%SYSLOGPROGURIPATHPARAM %HAPROXYTIME %SYSLOG5424SD: %NAGIOSTIME: (debug): 这是我的讯息。 XYZ: 987 ，但是当我在 grokdebugger 中使用调试器链接并使用此模式并提供示例输入时，它不喜欢它。此外，似乎 grokdebugger 将 10/13 视为路径名？和 pid 作为 NAGIOSTIME - 似乎不对。(?<date>\d\d/\d\d) %TIME:time \[%WORD:module\]: \[%WORD:pid\]: 匹配你日志的开头...看看你能不能完成它
谢谢 - 成功了。我无法将 987（我上面的示例）解析为整数。我试过： (?首先GREEDYDATA 表示直到日志事件结束。因此，dbg_lvl 之后的所有文本都将分配给GREEDYDATA
在这里，试试下面的代码。您的代码过滤器的问题是它无法解析 msg 之后的任何内容。希望这会有所帮助。
(?<date>\d\d/\d\d) %TIME:time \[%WORD:module\]: \[%WORD:pid\]: \(%WORD:log_level\): %CISCO_REASON. %WORD: %BASE10NUM:xyz_number
【讨论】：
它在大多数情况下都有效。但我注意到，每当消息字符串包含 [] 或 ! or ... or aaa.bbb.ccc，解析失败。我在哪里可以找到 CISCO_REASON 的定义和我可以使用的其他内置解析器？基本上我希望能够使用 log_lvl: 和 XYZ: 之间的任何字符串解析日志。Logstash 中的 Grok 过滤器错误
】Logstash中的Grok过滤器错误【英文标题】：GrokFilterErrorinLogstash【发布时间】：2017-01-1109:28:42【问题描述】：我的过滤器中有以下内容，出于某种原因，它只打印电子邮件而不是交付状态。但是当我注释掉这封电子邮件时，它会... 查看详情
未找到 logstash grok 过滤器模式
】未找到logstashgrok过滤器模式【英文标题】：logstashgrokfilterpatternnotfound【发布时间】：2015-04-1419:46:12【问题描述】：我一直在尝试为logstash创建一些自定义的grok模式。他们中的大多数工作正常，但有一个让我难过。模式是：WINUSE... 查看详情
logstash笔记-----grok插件的正则表达式来解析日志
（一）简介： 丰富的过滤器插件的存在是logstash威力如此强大的重要因素。名为过滤器，其实提供的不单单是过滤的功能，它们扩展了进入过滤器的原始数据，进行复杂的逻辑处理，甚至可以无中生有的添加新的logs... 查看详情
Logstash 应该只记录 grok 解析的消息
...个ELK堆栈，其中的日志由filebeat传送，在logstash中的一些过滤器之后，它被转发到ES。由于有很多服务器和日志，大量日志正在进入logstash，但我已将过滤器配置为仅处理非常特定类型的日志消息。它做得很好，但是甚 查看详情
logstash grok 过滤器忽略消息的某些部分
】logstashgrok过滤器忽略消息的某些部分【英文标题】：logstashgrokfilterignorecertainpartsofmessage【发布时间】：2015-02-2614:27:01【问题描述】：我有一个以syslog开头的drupal看门狗日志文件，例如时间戳等，然后有一个管道分隔的我登录看... 查看详情
Grok 用于日志文件 Logstash
】Grok用于日志文件Logstash【英文标题】：GrokforlogfilesLogstash【发布时间】：2020-04-2212:03:00【问题描述】：我需要编写一个grok模式来检索“****”中的内容-----Startofscriptforserversitboap1at**FriApr1714:24:19**HKT2020---------**user11**8775110Apr16?00:00... 查看详情
logstash grok，用 json 过滤器解析一行
】logstashgrok，用json过滤器解析一行【英文标题】：logstashgrok,parsealinewithjsonfilter【发布时间】：2018-04-2002:54:52【问题描述】：我正在使用ELK（弹性搜索、kibana、logstash、filebeat）来收集日志。我有一个包含以下几行的日志文件，每... 查看详情
Logstash grok 模式过滤自定义日志消息
】Logstashgrok模式过滤自定义日志消息【英文标题】：LogstashgrokpatterntofiltercustomLogmessage【发布时间】：2015-03-1608:40:25【问题描述】：我是logstash的新手，我想从日志消息中过滤文件。这是日志消息：[2015-03-1613:12:05,130]INFO-LogMediatorSe... 查看详情
logstash的过滤插件及其应用
...ogstash的过滤插件数据从源传输到存储库的过程中，Logstash过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。Logstash能够动态地转换和解析数据，不受格... 查看详情
过滤数据时出现logstash grok问题
】过滤数据时出现logstashgrok问题【英文标题】：logstashgrokissuewhilefilteringdata【发布时间】：2019-05-2105:26:44【问题描述】：我有一个数据，基本上是通过rm命令删除数据，如下所示。ttmv516,19/05/21,03:59,00-mins,dvcm,dvcm1668204.10.04212736?DN03:... 查看详情
logstash / grok 自定义字段
】logstash/grok自定义字段【英文标题】：logstash/grokcustomfileds【发布时间】：2017-07-1810:37:32【问题描述】：我是ELK堆栈的全新用户。我在从日志中过滤掉特定部分时遇到了一点问题。示例日志：[2017-05-3013:58:09,336]INFO[com.qwerty.test.core... 查看详情
logstash：使用自定义正则表达式模式(代码片段)
...送到“存储”（如Elasticsearch）。Grok是Logstash中的过滤器，用于将非结构化数据解析为结构化和可查询的内容。Regularexpression是定义搜索模式的字符序列。如果你已经在运行Logstash，则无需安装额外的正则表达式库&#... 查看详情
logstash：日志解析的grok模式示例(代码片段)
...和分析工具中解析日志数据。在这里查看我的Grok教程“Logstash：Grokfilter入门”。但是用Grok解析日志可能会很棘手。本博客将研究一些Grok模式示例，这些示例可以帮助你了解如何解析日志数据。什么是grok?最初的术语实际... 查看详情
使用 Grok for Logstash 解析 Apache2 错误日志
...解析我的apache2错误日志，但遇到了一些麻烦。它似乎与过滤器不匹配。我很确定时间戳是错误的，但我不确定，我真的找不到任何文档来解决这个问题。另外，有没有办法将fields.errmsg中的内容提供给我@me 查看详情
logstash：grok模式示例(代码片段)
...查询功能。因此，让我们深入了解如何使用LogstashGrok过滤器处理非结构化数据。理论在CSV文件中，每条记录都有相同的字段列表。这些字段的顺序可预测地重复，以便任何程序以结构化方式读取。自然，这对于Elas... 查看详情
使用logstashfiltergrok过滤日志文件(代码片段)
Logstash提供了一系列filter过滤plugin来处理收集到的logevent，根据logevent的特征去切分所需要的字段，方便kibana做visualize和dashboard的dataanalysis。所有logstash支持的event切分插件查看这里。下面我们主要讲grok切分。Grok基本介绍Grok使用... 查看详情
企业运维之elk日志分析平台（logstash）(代码片段)
ELK日志分析平台--Logstash数据采集介绍与配置1.Logstash简介2.Logstash组成3.Logstash安装与配置3.1运行logstash3.2file输出插件3.3elasticsearch输出插件3.4Syslog输入插件3.5多行过滤插件3.6grok过滤插件1.Logstash简介Logstash是用于日志的搜集、分析、... 查看详情
Logstash - grok 使用消息以外的字段
】Logstash-grok使用消息以外的字段【英文标题】：Logstash-grokuseafieldotherthanmessage【发布时间】：2014-09-1505:55:01【问题描述】：我正在使用Logstash转发器从远程服务器接收Log4j生成的日志文件。日志事件的字段包括一个名为“文件”... 查看详情