关键词：
△点击上方“Python猫”关注 ，回复“1”领取电子书
原文：https://sourl.cn/WmX6SD
大家好，我是猫哥。对于日志管理当前网络上提供了大量的日志工具，今天就给大家分析总结一下这些常用工具的特点，希望对你们在选型时有所帮助。
如果有用，记得一键三连~~~
1、Filebeat
Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。
Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取一个日志以获取新内容，并将新日志数据发送到libbeat，libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。
1.1 主要特点
轻量级并且易使用
模块可用于常见用例（例如 Apache 访问日志）。您可以使用它们来设置 Filebeat、Ingest 和 Kibana 仪表板，只需几个命令
1.2 价格
免费开源
1.3 优点
资源使用率低
良好的性能
1.4 缺点
有限的解析和丰富功能
2、Graylog
Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似，但又比ELK要简单，依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。
2.1 主要特点
一个包含日志处理所有要素的软件包：收集、解析、缓冲、索引、搜索、分析。
开源 ELK 堆栈无法提供的其他功能，例如基于角色的访问控制和警报
2.2 价格
免费和开源，不过也有企业版(根据要求提供价格)
2.3 优点
在一个软件包中满足大多数集中式日志管理用例的需求
轻松扩展存储 (Elasticsearch) 和获取通道
2.4 缺点
可视化能力是有限的，至少与ELK的Kibana相比是如此
不能使用整个ELK生态系统，因为他们不能直接访问Elasticsearch API。相反，Graylog有自己的API
3、LogDNA
LogDNA是日志管理领域的新成员。LogDNA可作为SaaS和内部使用，提供所有日志基础:通过syslog和HTTP(S)以及全文搜索和可视化，提供基于代理和无代理的日志收集，并提供清晰且具有竞争力的价格。
3.1 主要特点
用于在组织外部共享日志的嵌入式视图
自动解析常用日志格式
3.2 价格
免费：无存储
收费：付费计划起价为每月每GB 1.50 美元，保留 7 天
3.3 优点
用于搜索日志的简单 UI，类似于 Papertrail
易于理解的计划
3.4 缺点
可视化能力有限
保留期取决于计划（从 7 天到 30 天）。用户数量也是如此（最便宜的计划只允许 5 个）
4、ELK
4.1 主要特点
ELK堆栈包含了日志管理解决方案所需的大多数工具:
Log shippers：如Logstash和Filebeat
Elasticsearch是一个可扩展的搜索引擎
Kibana作为搜索日志或构建可视化的UI
它在集中日志方面非常流行，有很多关于如何在网络上使用它的教程。有一个庞大的工具生态系统，您可以在基本设置之上使用这些工具，通过警报、基于角色的访问控制等来增强它。我们将在这篇博文中详细介绍这些额外的附加功能，我们将在其中讨论 Elastic Stack 功能的替代方案。
Elasticsearch默认情况下对每个字段进行索引，使搜索速度更快
通过API和Kibana实现实时可视化
索引前的数据解析和充实
4.2 价格
免费和开源。一些公司提供托管 ELK 的形式，见上文。 还有 Elastic Cloud，它是云中 ELK 的一种纯粹形式，您主要需要自己管理。
4.3 优点
可扩展的搜索引擎作为日志存储
成熟的log shippers
Kibana 中的 Web UI 和可视化
4.4 缺点
在规模上，它可能变得难以维护。这就是 Sematext 提供 ELK 堆栈咨询、生产支持和培训的原因
ELK Stack 的开源版本缺少一些功能，例如基于角色的访问控制和警报。您可以通过商业“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 获得这些功能。
5、Grafana Loki
Loki 及其生态系统是 ELK 堆栈的替代方案，但它做出了不同的权衡。通过仅索引某些字段（标签），它可以具有完全不同的架构。也就是说，主要的写入组件（Ingester）会将大量日志保存在内存中，从而使最近的查询速度更快。随着块变老，它们被写入两个地方：用于标签的键值存储（例如 Cassandra）和用于块数据的对象存储（例如 Amazon S3）。当您添加数据时，它们都不需要后台维护（例如 Elasticsearch/Solr 需要合并）。
如果您查询较旧的数据，您通常会按标签和时间范围进行过滤。这限制了必须从长期存储中检索的块的数量。
5.1 主要特点
同一 UI 中的日志和指标 (Grafana)
Loki 标签可以与 Prometheus 标签保持一致
5.2 价格
免费：免费开源
收费：还有Grafana Cloud，提供Loki的SaaS服务(也有内部部署的选项)。价格从49美元起，包括100GB的日志存储(30天保留)和3000个度量系列
5.3 优点
与 ELK 相比，摄取速度更快：索引更少，无需合并
小存储占用：较小的索引，数据只写入一次到长期存储（通常具有内置复制）
使用更便宜的存储（例如 AWS S3）
5.4 缺点
与 ELK 相比，较长时间范围内的查询和分析速度较慢
与 ELK 相比，log shippers选项更少（例如 Promtail 或 Fluentd）
不如 ELK 成熟（例如更难安装）
6、Datadog
Datadog 是一种 SaaS，最初是作为监控 (APM) 工具，后来还添加了日志管理功能。您可以通过 HTTP(S) 或 syslog，通过现有的日志传送器（rsyslog、syslog-ng、Logstash 等）或通过 Datadog 自己的代理发送日志。它的特点是 Logging without Limits™，这是一把双刃剑：更难预测和管理成本，但您可以获得即用即付定价（见下文）以及您可以存档和从存档中恢复的事实。
6.1 主要特点
用于解析和丰富日志的服务器端处理管道
自动检测常见的日志模式
可以将日志归档到 AWS/Azure/Google Cloud 存储并在以后重新使用它们
6.2 价格
处理起价为每月每GB 0.10 美元（例如 1GB 每天 3 美元）
处理也适用于从档案中获取，尽管这里的数据是压缩的
100 万个事件的存储起价为 1.59 美元，为期 3 天（例如，47.7 美元，1GB/天，每个 1K，存储 3 天）
6.3 优点
容易搜索，良好的自动完成(基于facet)
与DataDog指标和跟踪的集成
负担得起，特别是对于短期保留和/或如果你依靠存档进行一些搜索
6.4 缺点
现场不可用。一些用户抱怨成本失控（由于定价灵活）。虽然您可以设置每日处理配额
7、Logstash
Logstash 是一个日志收集和处理引擎，它带有各种各样的插件，使您能够轻松地从各种来源摄取数据，将其转换并转发到定义的目的地。它与 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分，这就是为什么它最常用于将数据传送到 Elasticsearch。
7.1 主要特点
许多内置的输入、过滤/转换和输出插件
灵活的配置格式:您可以添加内联脚本，包括其他配置文件等
7.2 价格
免费开源
7.3 优点
容易开始和移动到复杂的配置
灵活:Logstash用于各种日志记录用例，甚至用于非日志记录数据
写得很好的文档和大量的操作指南
7.4 缺点
与其他日志shippers相比，资源使用率高
与替代品相比，性能较差
8、Fluentd
作为一个很好的 Logstash 替代品，Fluentd 是 DevOps 的最爱，特别是对于 Kubernetes 部署，因为它具有丰富的插件库。与 Logstash 一样，它可以将数据结构化为 JSON，并涉及日志数据处理的所有方面：收集、解析、缓冲和输出跨各种来源和目的地的数据。
8.1 主要特点
与库和Kubernetes的良好集成
大量的内置插件，很容易编写新的
8.2 价格
免费开源
8.3 优点
良好的性能和资源使用
良好的插件生态系统
易于使用的配置
良好的文档
8.4 缺点
解析前没有缓冲，可能会导致日志管道出现背压
对转换数据的支持有限，就像您可以使用 Logstash 的 mutate 过滤器或 rsyslog 的变量和模板一样
9、Splunk
Splunk 是最早的商业日志集中工具之一，也是最受欢迎的。典型的部署是本地部署 (Splunk Enterprise)，尽管它也作为服务提供 (Splunk Cloud)。您可以将日志和指标发送到 Splunk 并一起分析它们。
9.1 主要特点
用于搜索和分析的强大查询语言
搜索时字段提取（在摄取时解析之外）
自动将经常访问的数据移动到快速存储，将不经常访问的数据自动移动到慢速存储
9.2 价格
免费：每天 500MB 数据
付费计划可应要求提供，但常见问题解答建议 1GB 的起价为 150 美元/月
9.3 优点
成熟且功能丰富
对于大多数用例来说，良好的数据压缩(假设有有限的索引，正如推荐的那样)
日志和度量在一个屋檐下
9.4 缺点
贵
对于较长的时间范围，查询速度较慢(建议使用有限的索引)
用于度量存储的效率低于专注于监控的工具
Python猫技术交流群开放啦！群里既有国内一二线大厂在职员工，也有国内外高校在读学生，既有十多年码龄的编程老鸟，也有中小学刚刚入门的新人，学习氛围良好！想入群的同学，请在公号内回复『交流群』，获取猫哥的微信（谢绝广告党，非诚勿扰！）~
还不过瘾？试试它们
如果你觉得本文有帮助
请慷慨分享和点赞，感谢啦！
全链路日志中间件对比
...术选型在进行技术选型时，可以对照表9-1中的全链路日志中间件对比。表9-1全链路日志中间件对比从表9-1中可以看出，可供选择的中间件很多，那么该如何选择呢？项目组讨论后，最终梳理出了以下原则。◆ ... 查看详情
hadoop(代码片段)
目录采集日志Flume 日志采集Flume安装Flume组件选型 日志采集Flume配置1）Flume配置分析 2）Flume的具体配置如下Flume拦截器 日志采集Flume启动停止脚本消费Kafka数据Flume消费者Flume配置Flume时间拦截器消费者Flume启动停止脚本Fl... 查看详情
汇总下关于安全的13款必备工具
...请求，并能处理对应的HTTP消息、持久性、认证、代理、日志、警报。工具下载地址：工具运行需要Java环境，请自行安装。Nmap，也就是NetworkMapper，最早是Linux下的网络扫描和嗅探工具包，扫描网络情况和端口开放情况，也可以加... 查看详情
flumelogstashfilebeat对比
Flume、Logstash、Filebeat对比日志采集工具对比1、Flume简介Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员... 查看详情
实时数仓演进&方案对比选型落地(代码片段)
实时数仓演进&方案对比选型落地大数据小江Akin 大数据阶梯之路 2022-07-0423:14 发表于广东收录于合集#实时数仓2个#大数据36个#数据仓库6个#数据湖2个实时数仓好文分享，文章来源：公众号：五分钟学大数据实时数仓... 查看详情
原创bi解决方案选型之etl数据整合工具对比
...end。有开源的，也有收费的，那我们改如何选择呢？二、对比方面本人做过ETL开发也有小几年，对于一部分的ETL工具也有很多的接触，也看过其它企业的大型ETL解决方案，今天，就从如下几个我所经历过以及结合一些客户的选择... 查看详情
两款傻瓜化小白爬虫工具推荐(代码片段)
一、八爪鱼采集器 八爪鱼采集器是一款功能非常强大、操作容易的网页数据采集利器，界面简洁大方，能快速自动采集并导出、编辑数据，连网页图片上的文字也能解析并提取出来，采集内容广泛。 功能介绍 1、金... 查看详情
web3区块链合约开发语言框架工具深度对比选型万字长文
目录前言1.智能合约语言SolidityVyperRust智能合约语言总结ChainlinkOpenzeppelin 查看详情
数据仓库之电商数仓--1用户行为数据采集(代码片段)
...6集群资源规划设计三、数据生成模块3.1目标数据3.1.1页面日志3.1.2事件日志3.1.3曝光日志3.1.4启动日志3.1.5错误日志3.2数据埋点3.2.1主流埋点方式3.2.2埋点数据上报时机3.2.3埋点 查看详情
converity与一款国产代码检测工具的对比
...简单的json配置文件扩展业务逻辑。比如敏感数据泄露到日志检查器，企业或许有很多自己的日志打印函数，我们可以通过人工配置指定，即可提高检测质量。如果不想人工配置，Pinpoint有未公开发布的库函数学习工具，可以通过... 查看详情
九款程序员必备工具，老少皆宜
目录CSDN浏览器助手（开发者必备的浏览器插件）Listary（最强文件搜索神器）Typora(纯markdow编辑器)火绒安全软件，最好的安全防护软件(电脑无广告)Xmind(思维导图)Notepad++文本编辑器avicatPremium（数据库... 查看详情
数据仓库技术选型
文章目录数据采集传输数据存储数据计算数据查询数据可视化任务调度集群监控元数据管理权限管理数据采集传输FlumeKafkaSqoopLogstashDataX数据存储MySQLHDFSHBaseRedisMongoDB数据计算HiveTezSparkFlinkStorm数据查询PrestoKylinImpalaDruidClickHouseDoris... 查看详情
sci期刊写作必备：代码｜手把手绘制目标检测领域yolo论文常见的性能对比折线图，一键生成yolov7等主流论文同款图表，包含多种不同功能风格对比图表(代码片段)
绘制一个原创属于自己的YOLO模型性能对比图表具体绘制操作参考：（附Python代码，直接一键生成，精度对比图表代码）只需要改动为自己的mAP、Params、FPS、GFlops等数值即可，一键生成多种图表风格 查看详情
java项目开发的工具选型对比，这10条建议你一定要关注！
现在越来越多的项目要用报表工具，但国内市场上报表工具鱼龙混杂，很难只从一个方面就分出高低优劣，必须多方面比较。在报表选型这方面我也吃过开源工具和第三方的亏，特意总结了十点经验，你可以... 查看详情
项目管理必备：四款免费但好用的项目管理工具
项目管理对项目起着至关重要的作用，因此选择一个项目管理工具有时候是非常重要的。不同的工具有不同的作用，但是在项目中起着不可忽视的作用，选择项目管理工具的时候可以根据项目的需求来进行选择。项目管理是管理... 查看详情
beats数据采集
...个子产品：packetbeat(用于监控网络流量)、filebeat(用于监听日志数据，可以替代logstash-input-file)、topbeat(用于搜集进程的信息、负载、内存、磁盘等数据)、winlogbeat(用于搜集windows事件日志)另外社区还提供了dockerbeat等工具。由于他... 查看详情
开发必备快速定位排查日志9大类命令详解(代码片段)
👇👇关注后回复 “进群” ，拉你进程序员交流群👇👇作者丨梦和远方来源：https://blog.csdn.net/weixin_42614447/article/details/85806115/一、cat命令：二、more命令：三、less命令：四、head命令& 查看详情
满分华为od机试真题2023java&js日志采集系统
...为OD机试真题，2023年度机试题库全覆盖，刷题指南点这里日志采集系统 时间限制：1s 空间限制：256MB 限定语言：不限题目描述：日志采集是运维系统的的核心组件。日志是按行生成，每行记做一条，由采集系统分批... 查看详情