在 ELK 堆栈中调试 Filebeat

关键词：

【中文标题】在 ELK 堆栈中调试 Filebeat【英文标题】：Debugging Filebeat in the ELK stack 【发布时间】：2018-04-14 20:22:56 【问题描述】：

我的 ELK 系统出现了一些问题。客户端工作如下：

Filebeat -> Logstash --> Elastic --> Kibana

我们的部分日志不会从特定机器到达 Elastic。 我怀疑问题出在 Filebeat 中的日志收集中。

我试图在 Elastic 和 GitHub 网站上查找有关调试系统的信息，但我只找到了theselinks，上面写着：

默认情况下，Filebeat 将其所有输出发送到 syslog。当你跑 Filebeat 在前台，可以使用 -e 命令行标志来 而是将输出重定向到标准错误。例如：

filebeat -e 默认配置文件是filebeat.yml（ 文件的位置因平台而异）。你可以使用不同的 通过指定 -c 标志来配置文件。例如：

filebeat -e -c myfilebeatconfig.yml

您可以增加 通过启用一个或多个调试选择器来调试消息。例如， 要查看已发布的事务，您可以使用以下命令启动 Filebeat 像这样发布选择器：

filebeat -e -d "发布"

如果你想要所有的调试输出（公平 警告，很多），你可以使用 *，像这样：

filebeat -e -d "*"

filebeat -e 没有显示我需要什么，其他选项提供了太多信息。有没有其他方法可以用这种特定的架构来调试我们的 ELK？或者还有其他命令行选项吗？

仅供参考：我已经尝试在我的机器上设置 FileBeat 服务，它在相同的 filebeat.yml 配置下表现出色。

【问题讨论】：

【参考方案1】：

# The # character at the beginning of a line indicates a comment. Use
# comments to describe your configuration.
input 

# The filter part of this file is commented out to indicate that it is
# optional.
# filter 
#
# 
output 

您的logstash 配置中有这样的配置吗？如果是这样，任何输入问题（在您的情况下为 filebeat）都会出现在 logstash 日志中。我在我的 filebeat 日志上使用了 grok 过滤器，所以日志还告诉我它是否无法解析日志行。

【讨论】：

我解决了这个问题。稍后我会为它添加一个解决方案（我忘记了这篇文章，正如你所看到的那样并没有引起太多关注）但简而言之，一个 FileBeat 进程的收集无法处理我们文件夹中的流量 @Green 你能分享一下解决方案吗？我有兴趣显示原始日志 嘿@Gadelkareem 你可以检查这个线程，我在那里添加了我的解决方案。 ***.com/a/47459207/8868108

ELK 堆栈中的 Logstash 和 filebeat

】ELK堆栈中的Logstash和filebeat【英文标题】：LogstashandfilebeatintheELKstack【发布时间】：2019-08-1620:14:04【问题描述】：我们正在服务器上设置elasticsearch、kibana、logstash和filebeat，以分析来自许多应用程序的日志文件。由于原因*，每个... 查看详情

ELK 堆栈中的 REDIS 有啥意义？

...布时间】：2016-09-0709:08:33【问题描述】：我目前拥有使用filebeat作为日志传送器的架构，它将日志发送到日志存储索引器实例，然后发送到AWS中的托管弹性搜索。由于持久的TCP连接，我无法使用AWSELB多个日志存储索引器实例进行... 查看详情

filebeat安装配置(代码片段)

Filebeat是属于Beats家族的日志传送器——一组安装在主机上的轻量级传送器，用于将不同类型的数据传送到ELK堆栈中进行分析。每个节拍都专用于传送不同类型的信息——例如，Winlogbeat传送Windows事件日志，Metricbeat传... 查看详情

通过filebeat把日志传入到elasticsearch(代码片段)

学习的地方：配置文件中预先处理字段数据的用法通过Filebeat把日志传入到ElasticsearchElasticStack被称之为ELK(Elasticsearch，LogstashandKibana)。由于beats的加入，现在很多人把ELK说成为ELKB。这里的B就是代表Beats。Beats在Elasticsearch中扮演很... 查看详情

elk——filebeat介绍及部署(代码片段)

一、Filebeat介绍Filebeat是一种轻量型，开源的日志采集工具，安装于客户端中来收集指定的日志目录，将收集的日志发送到logstash、es、redis、kafka中，来代替logstash的数据采集方案，logstash在运行过程中相当耗费服务器资源，就算... 查看详情

filebeat+kafka+elk集群实验

一、环境准备二、安装kafka在zookeeper集群中三台机子上均要安装修改配置文件修改环境变量配置启动脚本#!/bin/bash#chkconfig:23452288#description:KafkaServiceControlScriptKAFKA_HOME='/usr/local/kafka'case$1instart) echo"----------Ka 查看详情

原版filebeat+elk(代码片段)

...日志的处理尤为重要。今天，在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程，有不对的地方还望指出。简单介绍：日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了... 查看详情

filebeat安装配置(代码片段)

Filebeat是属于Beats家族的日志传送器——一组安装在主机上的轻量级传送器，用于将不同类型的数据传送到ELK堆栈中进行分析。每个节拍都专用于传送不同类型的信息——例如，Winlogbeat传送Windows事件日志，Metricbeat传... 查看详情

elk部署步骤最后filebeat+elk

ELK结构ELK由ElasticSearch、Logstash、Kiabana组成。ElasticSearchLogstashKiabana补充Elasticsearch集群部署一、环境准备（在Node1、Node2节点上操作，只展示node1）更改node节点主机名配置域名解析安装java二、部署Elasticsearch软件安装软件... 查看详情

关于使用springbootmicroservices设置elk堆栈

在优锐课的java架构学习中，了解有关ELK监视和日志记录堆栈以及如何在一个位置整理多个微服务的日志的信息IT的重要阶段之一是后期制作阶段，而主要挑战之一就是确定后期制作中的问题。当多个应用程序在不同系统中吐出不... 查看详情

elk配置之，filebeat更改自定义索引名称(代码片段)

简介：filebeat客户端添加成功后，在kibana查看添加的索引，默认情况下，当索引生命周期管理（ILM）被禁用或不受支持时，Filebeat使用时间序列索引。索引命名格式为filebeat-7.16.1-yyyy.MM.dd。如图所示：... 查看详情

2021年大数据elk（十九）：使用filebeat采集kafka日志到elasticsearch(代码片段)

...文章目录，帮助大家回顾前面的知识重点。目录使用FileBeat采集Kafka日志到Elasticsearch一、需求分析二、配置FileBeats1、input配置2、output配置三、配置文件1、创建配置文件2、复制一下到配置文件中四、运行FileBeat1、运行FileBeat2... 查看详情

linux12elk--＞03filebeat(代码片段)

文章目录filebeat一、filebeat1.下载安装2.修改配置模式1）备份配置文件2）收集文件日志，输出到文件中3）收集日志输出到redis1>配置2>重启3>对端查看4>使用logstash读取redis输出到elasticsearch中5>查看elasticsearc... 查看详情

elk笔记10--filebeat使用

elk笔记10--filebeat使用​​1filebeat介绍​​​​2filebeat使用案例​​​​2.1软件安装​​​​2.2采集数据到kafka​​​​2.3采集数据到es​​​​3使用技巧​​​​3.1filebeat将日志按照类别发送到不同kafkatopic​​​​3.2filebeat将日... 查看详情

海量日志下的日志架构优化：filebeat+logstash+kafka+elk(代码片段)

前言：实验需求说明在前面的日志收集中，都是使用的filebeat+ELK的日志架构。但是如果业务每天会产生海量的日志，就有可能引发logstash和elasticsearch的性能瓶颈问题。因此改善这一问题的方法就是filebeat+logstash+kafka+ELK，也就是将... 查看详情

从 Docker 容器发送日志到 ELK 容器（没有 Filebeat）

】从Docker容器发送日志到ELK容器（没有Filebeat）【英文标题】：SendlogstoELKcontainerfromDockercontainers(withoutFilebeat)【发布时间】：2017-01-0602:48:31【问题描述】：我正在使用SEBP/ELKDockercontainer，因为它似乎最适合快速设置应用程序日志记... 查看详情

日志解决方案filebeat+redis+elk(代码片段)

日志解决方案filebeat+redis+elk系统架构图：日志采集流程：filebeat采集程序日志，并将日志发送到redis，创建对应的keylogstash从redis中获取日志，并按照对应log_source推送到elasticsearch集群中，并根据log_sourc... 查看详情

elk+filebeat+kafka+zookeeper构建大数据日志分析平台三

安装并配置FilebeatFilebeat与filebeat比较Logstash缺点：依赖java、在数据量大的时候，Logstash进程会消耗过多的系统资源，严重影响业务系统的性能filebeat优点：基于Go语言，没有任何依赖配置文件简单，格式明了filebeat比logstash更加轻... 查看详情