关键词：
【中文标题】Grok 用于日志文件 Logstash【英文标题】：Grok for log files Logstash 【发布时间】：2020-04-22 12:03:00 【问题描述】：我需要编写一个 grok 模式来检索“** **”中的内容
-----Start of script for server sitboap1 at **Fri Apr 17 14:24:19** HKT 2020---------
**user11** 87751 1 0 Apr16 ? 00:00:00 sh **job1.sh**
**user11** 877452 89451 0 Apr16 ? 00:00:00 sh **job2.sh** --server-config= full.xml
**user11** 89772 89452 3 Apr16 ? 00:02:35 **/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/bin/java** -D[stdd] -server -verbose:gc
日志应该从顶部获取日期，从列表中获取用户名和作业名。 每个日期下的行数可能会有所不同。
我无法完全找出完全符合我要求的 grok。
它可以是 Grok 和 Logstash 中的过滤器的组合，但我的最终期望是拥有这些列。
【问题讨论】：
【参考方案1】：您可以尝试以下 grok 过滤器。有 2 个过滤器。
获取标题中的日期和时间。
-----Start of script for server (.*[a-z|A-Z|0-9]) at %GREEDYDATA:UserDateTime (.*[a-z|A-Z])
获取内容。
%GREEDYDATA:User ([1-9][0-9]1,10) (.*) %GREEDYDATA:execFile
最后你可以使用这个website 来创建 grok 过滤器。
【讨论】：
谢谢，但如果我的日志一直以相同的模式附加，我可以使用 2 个过滤器吗？我将如何匹配我的日期和值？ 我假设你需要逐行解析它；由于日期并不存在于每一行中，因此您可以通过多个匹配来获得它。 grok match => "date" => PATTERN, match => "values" => PATTERN用于logstash的grok过滤器
】用于logstash的grok过滤器【英文标题】：grokfilterforlogstash【发布时间】：2014-10-1519:34:38【问题描述】：我的日志文件有以下形式的行：10/1314:05:18.192[modulename]:[pid]:(debuglevelstring):messagestringXYZ:<xyzvalue>在哪里modulename是一个字符... 查看详情
logstash / grok 模式文件
】logstash/grok模式文件【英文标题】：logstash/grokpatternfile【发布时间】：2015-09-2902:24:38【问题描述】：我正在解析IIS日志，当所有模式都在配置文件中时，我一切正常。我想取出所有模式并将它们放在一个模式文件中，但似乎无... 查看详情
Logstash grok 模式过滤自定义日志消息
】Logstashgrok模式过滤自定义日志消息【英文标题】：LogstashgrokpatterntofiltercustomLogmessage【发布时间】：2015-03-1608:40:25【问题描述】：我是logstash的新手，我想从日志消息中过滤文件。这是日志消息：[2015-03-1613:12:05,130]INFO-LogMediatorSe... 查看详情
Logstash - grok 使用消息以外的字段
】Logstash-grok使用消息以外的字段【英文标题】：Logstash-grokuseafieldotherthanmessage【发布时间】：2014-09-1505:55:01【问题描述】：我正在使用Logstash转发器从远程服务器接收Log4j生成的日志文件。日志事件的字段包括一个名为“文件”... 查看详情
logstash：日志解析的grok模式示例(代码片段)
...和分析工具中解析日志数据。在这里查看我的Grok教程“Logstash：Grokfilter入门”。但是用Grok解析日志可能会很棘手。本博客将研究一些Grok模式示例，这些示例可以帮助你了解如何解析日志数据。什么是grok?最初的术语实际... 查看详情
elk日志处理之使用grok解析日志
...。Grok内置了120多种的正则表达式库，地址:https://github.com/logstash-plugins/logstash-patterns-core/tree/master/ 查看详情
Logstash 应该只记录 grok 解析的消息
】Logstash应该只记录grok解析的消息【英文标题】：Logstashshouldlogonlygrokparsedmessages【发布时间】：2017-01-1609:54:07【问题描述】：目前我有一个ELK堆栈，其中的日志由filebeat传送，在logstash中的一些过滤器之后，它被转发到ES。由于有... 查看详情
logstash：日志解析的grok模式示例(代码片段)
如果没有日志解析，搜索和可视化日志几乎是不可能的，一个被低估的技能记录器需要读取他们的数据。解析结构化你的传入（非结构化）日志，以便用户可以在调查期间或设置仪表板时搜索清晰的字段和值... 查看详情
logstash笔记-----grok插件的正则表达式来解析日志
（一）简介： 丰富的过滤器插件的存在是logstash威力如此强大的重要因素。名为过滤器，其实提供的不单单是过滤的功能，它们扩展了进入过滤器的原始数据，进行复杂的逻辑处理，甚至可以无中生有的添加新的logs... 查看详情
logstash / grok 自定义字段
】logstash/grok自定义字段【英文标题】：logstash/grokcustomfileds【发布时间】：2017-07-1810:37:32【问题描述】：我是ELK堆栈的全新用户。我在从日志中过滤掉特定部分时遇到了一点问题。示例日志：[2017-05-3013:58:09,336]INFO[com.qwerty.test.core... 查看详情
logstash grok，用 json 过滤器解析一行
】logstashgrok，用json过滤器解析一行【英文标题】：logstashgrok,parsealinewithjsonfilter【发布时间】：2018-04-2002:54:52【问题描述】：我正在使用ELK（弹性搜索、kibana、logstash、filebeat）来收集日志。我有一个包含以下几行的日志文件，每... 查看详情
使用logstashfiltergrok过滤日志文件(代码片段)
Logstash提供了一系列filter过滤plugin来处理收集到的logevent，根据logevent的特征去切分所需要的字段，方便kibana做visualize和dashboard的dataanalysis。所有logstash支持的event切分插件查看这里。下面我们主要讲grok切分。Grok基本介绍Grok使用... 查看详情
Logstash Grok 解析器
】LogstashGrok解析器【英文标题】：LogstashGrokparser【发布时间】：2015-12-0217:10:00【问题描述】：我是log-stash和grok的新手，我需要解析非常自定义的日志文件。我在任何地方都找不到一个很好的教程来完成这项工作。尝试了syslog示... 查看详情
logstash：wso api manager 日志到弹性
】logstash：wsoapimanager日志到弹性【英文标题】：logstash:wsoapimanagerlogstoelastic【发布时间】：2022-01-1520:35:00【问题描述】：我的日志如下所示，日志中的每个参数都是静态的。我尝试通过logstash发送弹性并使用Grok模式。但我看不到... 查看详情
使用 Grok for Logstash 解析 Apache2 错误日志
】使用GrokforLogstash解析Apache2错误日志【英文标题】：ParseApache2ErrorlogswithGrokforLogstash【发布时间】：2013-06-2406:32:12【问题描述】：我正在尝试解析我的apache2错误日志，但遇到了一些麻烦。它似乎与过滤器不匹配。我很确定时间戳... 查看详情
logstash使用filter删除不需要的日志
参考技术A日志的流转路径：logstash收集log4j的日志，并对日志进行过滤，输出给elasticsearch，kibana从es的索引中查询数据进行展示。有一部分日志没有多大的意义，但是占据了很大的磁盘空间，因此想通过filter将其过滤掉，再将有... 查看详情
logstash grok 模式来监控 logstash 本身
】logstashgrok模式来监控logstash本身【英文标题】：logstashgrokpatterntomonitorlogstashitself【发布时间】：2016-05-0316:07:48【问题描述】：我想将logstash.log日志添加到我的ELK堆栈中，但我总是遇到grokparsefailure。我的模式在http://grokconstructor.a... 查看详情
logstash：grok模式示例(代码片段)
Logstash可以轻松解析CSV和JSON文件，因为这些格式的数据组织得很好，可以进行Elasticsearch分析。但是，有时我们需要处理非结构化数据，例如纯文本日志。在这些情况下，我们需要使用LogstashGrok或其他第三方服... 查看详情