Logstash 保留 syslog 主机

     2023-02-22     36

关键词:

【中文标题】Logstash 保留 syslog 主机【英文标题】:Logstash keep syslog host 【发布时间】:2016-08-10 13:07:00 【问题描述】:

我在同一台服务器上有一个系统日志服务器和 ELK 堆栈。我为每个系统日志源都有一个目录。 我正在尝试使用 Logstash 解析系统日志文件,并且我想将系统日志源的 IP 地址或主机名保留在“主机”字段中。目前我有 Logstash 解析后的 0.0.0.0 源。

我的 logstash.conf :

input 
  file 
    path => ["path/to/file.log"]
    start_position => "beginning"
    type => "linux-syslog"
    ignore_older => 0
  


filter 
  if [type] == "linux-syslog" 
    grok 
      match => "message" => "<%POSINT:syslog_pri>%SYSLOGTIMESTAMP:syslog_timestamp %SYSLOGHOST:syslog_hostname %DATA:syslog_program(?:[%POSINT:syslog_pid])?: %GREEDYDATA:syslog_message" 
    
  


output 
  elasticsearch 
    hosts => ["@IP_Elastic:Port_Elastic"]
  
stdout  codec => rubydebug 

【问题讨论】:

请使用示例系统日志消息更新您的问题 系统日志消息可能是:Jan 12 06:30:00 1.2.3.4 apache_server: 1.2.3.4 - - [12/Jan/2011:06:29:59 +0100] "GET /foo/bar.html HTTP/1.1" 301 96 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 ( .NET CLR 3.5.30729)" PID 18904 Time Taken 0 我没有日志的源 IP 地址或日志中的主机名,但是当我将日志存储在每个源的目录中时,我会喜欢用这些目录的名字来设置Logstash中的“host”字段 【参考方案1】:

一旦你解析了它,你就可以用你的 ip 变量覆盖你的主机。考虑这个例子:

Pipeline main started
"ip":"1.2.3.4"

       "message" => "\"ip\":\"1.2.3.4\"",
      "@version" => "1",
    "@timestamp" => "2016-08-10T13:36:18.875Z",
          "host" => "pandaadb",
            "ip" => "1.2.3.4",
         "@host" => "1.2.3.4"

我正在解析 json 以获取 IP。然后我将IP字段写入主机。

过滤器:

filter 
    # this parses the ip json
    json 
        source => "message"
    

    mutate 
        add_field =>  "@host" => "%ip" 
    

将 %ip 替换为包含您的 IP 地址的任何字段。

干杯, 阿图尔

【讨论】:

Logstash + Syslog 输入插件 VS Logstash + 文件输入插件 + Syslog 服务器

】Logstash+Syslog输入插件VSLogstash+文件输入插件+Syslog服务器【英文标题】:Logstash+SyslogInputPluginVSLogstash+FileInputPlugin+Syslogserver【发布时间】:2019-02-1510:30:01【问题描述】:我有一个现有系统,它通过Syslog协议将日志条目发送到我的... 查看详情

logstash实战input插件syslog

vim/etc/logstash/conf.d/syslog.confinput{syslog{type=>"system-syslog"port=>514}}output{stdout{codec=>rubydebug}}启动/opt/logstash/bin/logstash-f/etc/logstash/conf.d/syslog.conf在开一个窗口可以看到514端口启动 查看详情

logstash配置--syslog

...g.conf,rsyslog.conf或者syslog-ng.conf来发送数据,而只讲如何把logstash配置成一个syslog服务器来接收数据。配置示例运行结果作为最简单的测试,我们先暂停一下本机的syslogd(或rsyslogd)进程,然后启动logstash进程(这样就不会有端口冲突... 查看详情

Logstash 如何与 Syslog 集成?

】Logstash如何与Syslog集成?【英文标题】:HowdoesLogstashintegratewithSyslog?【发布时间】:2014-05-0619:48:09【问题描述】:我试图弄清楚Logstash如何与系统日志集成。以下哪项是正确的:Lo​​gstash本身是一个真正的系统日志服务器(实... 查看详情

如何在 syslog 中禁用 logstash 错误日志记录

】如何在syslog中禁用logstash错误日志记录【英文标题】:HowtoDisablelogstasherrorlogginginsyslog【发布时间】:2019-11-1508:38:58【问题描述】:所有Logstash错误记录在/var/log/logstash/*中,但Logstash的所有错误日志也记录在/var/log/syslog中。有什... 查看详情

syslog 到 logstash _grokparsefailure

】syslog到logstash_grokparsefailure【英文标题】:syslogtologstash_grokparsefailure【发布时间】:2018-01-3016:29:27【问题描述】:我有ELK5.4版。我从许多网络机器(如cisco、Juniper、Fortigate、F5)获取syslog。logstash.conf看起来像:inputtcpport=>514typ... 查看详情

Python SysLogHandler -> syslog:logstash。设施未变

】PythonSysLogHandler->syslog:logstash。设施未变【英文标题】:PythonSysLogHandler->syslog:logstash.facilitynotchanged【发布时间】:2014-09-0312:55:04【问题描述】:我尝试使用logging.handlers.SysLogHandler进行日志记录并将其发送到logstash。Python代码... 查看详情

使用 filebeat 和 logstash 将 syslog 转换为 json

】使用filebeat和logstash将syslog转换为json【英文标题】:convertsyslogtojsonwithfilebeatandlogstash【发布时间】:2017-04-1211:39:38【问题描述】:filebeat是否有可能将日志作为syslog接收并将它们作为json输出到logstash,这样我就不需要解析每种... 查看详情

如何从发送到 Logstash 的 syslog 日志中检索标签?

】如何从发送到Logstash的syslog日志中检索标签?【英文标题】:HowcanIretrievethetagfromthesysloglogsthataresenttoLogstash?【发布时间】:2019-05-1513:42:44【问题描述】:我已经设置了我的Docker守护程序,以便将我所有容器的日志转发到侦听端... 查看详情

未设置 logback logstash 编码器 Syslog 标头

】未设置logbacklogstash编码器Syslog标头【英文标题】:logbacklogstashencoderSyslogheadernotset【发布时间】:2016-03-2201:41:46【问题描述】:我正在尝试以JSON格式将Java日志记录到Syslog,但我发现了一个奇怪的问题,即Syslog标头未按预期设置... 查看详情

使用 syslog 驱动程序将 Docker 日志转发到 logstash

】使用syslog驱动程序将Docker日志转发到logstash【英文标题】:ForwardDockerlogtologstashusingsyslogdriver【发布时间】:2017-05-1504:03:39【问题描述】:我需要将docker日志转发到ELK堆栈。栈管理员根据消息的类型参数过滤我的日志。现在我使... 查看详情

logstash 错误 syslog udp_listener 死了

】logstash错误syslogudp_listener死了【英文标题】:logstasherrorsyslogudp_listenerdied【发布时间】:2014-03-2619:07:36【问题描述】:必须将以下部分添加到/System/Library/LaunchDaemons/com.apple.syslogd.plist以在端口514上为syslogd激活udp<key>NetworkListe... 查看详情

syslog+rsyslog+logstash+elasticsearch+kibana搭建日志收集

最近rancher平台上docker日志收集捣腾挺久的,尤其在配置上,特写下记录Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议,分为客户端和服务器端,客户端是产生日志消息的一方,... 查看详情

有关 rsyslog 的信息是不是适用于 syslog?

...【问题描述】:我正在尝试配置syslog以将事件发送到运行Logstash的远程服务器。我只能找到有关使用rsyslog和Logstash的信息,而不是syslog和Logstash。与rsys 查看详情

是否可以在 Docker 中运行 syslog 并将其作为主机的 syslog 守护进程公开给主机?

】是否可以在Docker中运行syslog并将其作为主机的syslog守护进程公开给主机?【英文标题】:IsitpossiblerunsysloginsideDockerandexposethattothehostashost\'ssyslogdaemon?【发布时间】:2016-02-1811:08:42【问题描述】:我正在尝试在Docker中运行syslog,... 查看详情

区分多个 syslog docker 源

...些都写入一个共同的syslog容器/服务......这实际上是一个logstash服务(一个完整的elk图像作为问题事实上)启用了logstash-input-syslo 查看详情

搭建办公环境elasticsearch日志分析系统(代码片段)

...善这个日志分析系统。?全文框架如下:?Hillstone:syslog→logstash→elasticsearch→kibana?H3C:syslog→logstash→elasticsearch→kibana?ESXI:syslog→logstash→elasticsearch→kibana?Vcenter:syslog→logstash→elasticsearch→kibana?Windowsserver:winlogbeat→logstash→elastics... 查看详情

Docker-如何使用 syslog 在主机上记录日志?

】Docker-如何使用syslog在主机上记录日志?【英文标题】:Docker-Howtousesyslogtorecordlogsonhostmachine?【发布时间】:2017-05-1010:11:45【问题描述】:我希望将容器的日志保存到主机中每个容器的文件中。我通过loggingdriver阅读了关于这样... 查看详情