logstashlogstash快速入门(二十五)

h--d h--d     2022-12-02     736

关键词:

Logstash简介

  Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据标准化到选择的目标位置。清除所有数据并使其民主化,以用于各种高级下游分析和可视化用例。

  虽然Logstash最初推动了日志收集方面的创新,但其功能远远超出了该用例。任何类型的事件都可以通过各种各样的输入,过滤器和输出插件来丰富和转换,许多本机编解码器进一步简化了提取过程。Logstash通过利用大量数据和各种数据来加快的见解。

  官网:https://www.elastic.co/cn/logstash

  文档地址:https://www.elastic.co/guide/en/logstash/7.x/index.html

  用途:

  技术图片

  基本运行流程:

  技术图片

  Logstash管道具有两个必需元素input和output,以及一个可选元素filter。

  输入插件使用来自源的数据,过滤器插件根据您的指定修改数据,输出插件将数据写入目标。

Logstash入门使用

  1、下载logstash,本例使用(filebeat-7.6.1-linux-x86_64.tar.gz)7.6.1版本

  2、解压下载的压缩包

    命令:tar -zxvf filebeat-7.6.1-linux-x86_64.tar.gz

  3、进入解压目录

    命令:cd logstash-7.6.1

    技术图片

  4、运行logstash,采用最基本运行命令

    启动命令:./bin/logstash -e

    后台运行命令:nohup ./bin/logstash -e &

    最基本运行命令:./bin/logstash -e ‘input stdin output stdout ‘

     关闭命令:

      找pid命令:ps -ef|grep logstash

      kill命令:kill pid

    启动之后,logstash会监听端口(默认) 9600

  5、采用最基本运行命令,意思是在控制台进行输入输出,

    在控制台继续输入 hello,效果如下,可以看到输出内容

    技术图片

    如上显示,Logstash 会额外增加一些信息,比如 @timestamp 时间, host 主机名等。    

 

Logstash命令行参数

  1、-e,--config.string

    使用给定的字符串作为配置数据。

  2、-f,--path.config

    从特定文件或目录加载Logstash配置。如果给出了目录,则该目录中的所有文件将按字典顺序连接,然后解析为单个配置文件。

  3、-t,--config.test_and_exit

    检查配置以获取有效的语法,然后退出。请注意,不会使用此标志检查grok模式的正确性。Logstash可以从目录中读取多个配置文件。

  4、-h,--help

    打印帮助

  5、-l,--path.logs

    PATH要写入Logstash内部日志的目录。

  6、--log.level

    设置Logstash的日志级别。可能的值为:

    • fatal:记录非常严重的错误消息,这些错误消息通常在应用程序中止之后
    • error:记录错误
    • warn:记录警告
    • info:记录详细信息(这是默认设置)
    • debug:记录调试信息(适用于开发人员)
    • trace:记录除调试信息以外的更细粒度的消息

  7、--config.debug

    将完整编译的配置显示为调试日志消息(还必须--log.level=debug启用)。警告:日志消息将包含以明文形式传递给插件配置的所有密码选项,并可能导致明文密码出现在日志中!

  8、-w,--pipeline.workers

    设置要运行的管道工人数。此选项设置将并行执行管道的筛选和输出阶段的工作程序数。

  9、-p, --path.plugins

    查找自定义插件的路径。可以多次赋予此标志以包括多个路径。 

ros从入门到精通系列(二十五)--常用ros工具合集-2.gazeborvizmoveit

目录1.ROS常用工具箱2.Gazebo2.1 认识Gazebo2.2仿真的意义2.3演示 查看详情

ros从入门到精通系列(二十五)--常用ros工具合集-2.gazeborvizmoveit

目录1.ROS常用工具箱2.Gazebo2.1 认识Gazebo2.2仿真的意义2.3演示 查看详情

egret入门学习日记---第二十五篇(书中9.16~9.17节内容)

第二十五篇(书中9.16~9.17节内容)  对于昨天的关于List组件使用的问题,我打算到书中提到List之后,再回头补充。  还有就是Scroller的TileLayout布局方式,也要去研究一下。  好了,开始按照书中内容一步一步走。  开... 查看详情

springboot入门二十五,默认的404错误页面引入css和js文件

Springboot默认的404,500等页面的位置在static的error中,可以直接访问,无需单独编写映射器如果我们想美化一下这些错误提示页面,那么static下面css中的文件是不能直接饮用的,因为根据错误发生时路径的层级不同,错误页面的层级也会发... 查看详情

java多线程快速入门(十五)

使用violate关键字解决了变量的可见性问题(volatile让多线程刷新falg的值)packagecom.cppdy;classMyThread11extendsThread{//volatile让多个线程刷新falg的值publicvolatilebooleanfalg=true;@Overridepublicvoidrun(){System.out.println("子线程开始执行啦") 查看详情

mysql从入门到精通高级篇(二十五)explain中refrowsfilteredextra字段的剖析(代码片段)

...网打尽,9.9元买不了吃亏,买不了上当。Python从入门到精通❤️2.Python爬虫专栏,系统性的学习爬虫的知识点。9.9元买不了吃亏,买不了上当。python 查看详情

mysql从入门到精通高级篇(二十五)explain中refrowsfilteredextra字段的剖析(代码片段)

...网打尽,9.9元买不了吃亏,买不了上当。Python从入门到精通❤️2.Python爬虫专栏,系统性的学习爬虫的知识点。9.9元买不了吃亏,买不了上当。python 查看详情

mysql从入门到精通高级篇(二十五)explain中refrowsfilteredextra字段的剖析(代码片段)

...网打尽,9.9元买不了吃亏,买不了上当。Python从入门到精通❤️2.Python爬虫专栏,系统性的学习爬虫的知识点。9.9元买不了吃亏,买不了上当。python 查看详情

mysql从入门到精通高级篇(二十五)explain中refrowsfilteredextra字段的剖析(代码片段)

...网打尽,9.9元买不了吃亏,买不了上当。Python从入门到精通❤️2.Python爬虫专栏,系统性的学习爬虫的知识点。9.9元买不了吃亏,买不了上当。python 查看详情

❤️python从入门到精通(二十五)python多进程的使用,一看就会❤️(代码片段)

您好,我是码农飞哥,感谢您阅读本文,欢迎一键三连哦。本篇重点介绍Python多进程的使用,读者朋友们可以将多进程和多线程两者做一个对比学习。干货满满,建议收藏,需要用到时常看看。小伙伴们如... 查看详情

java多线程快速入门(二十)

1、Java.util的线程安全工具类  Vector(线程安全)    ArrayList(线程不安全)  HashTable(线程安全)  HashMap(线程不安全)2、将线程不安全集合变为线程安全集合packagecom.cppdy;importjava.util.Collections;importjava.util.HashMap;imp... 查看详情

java多线程快速入门(二十一)

CountDownLatch(闭锁)计数器  有一个任务A,它要等待其他4个任务执行完毕之后才执行,此时就可以利用CountDownLatch来实现这种功能packagecom.cppdy;importjava.util.concurrent.CountDownLatch;classMyThread17extendsThread{privateCountDownLatchcountdownlatc 查看详情

stm32f103(二十五)完美解决usart发送接收floatu16u32数据

学习板:STM32F103ZET6往期博客:STM32F103五分钟入门系列(一)跑马灯(库函数+寄存器)+加编程模板+GPIO总结STM32F103五分钟入门系列(二)GPIO的七大寄存器+GPIOx_LCKR作用和配置STM32F103五分钟入门系列(三)GPIO的常用库函数使用方法... 查看详情

stm32f103(二十五)完美解决usart发送接收floatu16u32数据

学习板:STM32F103ZET6往期博客:STM32F103五分钟入门系列(一)跑马灯(库函数+寄存器)+加编程模板+GPIO总结STM32F103五分钟入门系列(二)GPIO的七大寄存器+GPIOx_LCKR作用和配置STM32F103五分钟入门系列(三)GPIO的常用库函数使用方法... 查看详情

beatsmetricbeat快速入门(二十二)(代码片段)

Metricbeat介绍  Metricbeat是一种轻量级的托运人,可以将其安装在服务器上,以定期从操作系统和服务器上运行的服务收集指标。Metricbeat会收集它收集的度量标准和统计信息,并将其运送到指定的输出,例如Elasticsearch或Logstash。... 查看详情

exchange2016(二十五)

Exchange2016(二十五)本文出自“赵东伟的博客”博客,请务必保留此出处http://zhaodongwei.blog.51cto.com/4233742/1948853 查看详情

第二十五节:java语言基础-面向对象基础

...中,如果要用到功能时,就调用该对象即可。面向对象是入门思想的进步,适用于人类的思考,将复杂的东西进行了简单化,将我们程序员从执行者变化成指挥者 查看详情

二十五个个性字母——插画

应该是廿六的,为什么只有二十五呢?看过就会明白。 查看详情