正文

集中式日志分析平台elasticstack（介绍）

author  author  2022-12-31  602

关键词：

一、ELK 介绍

ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。

最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很方便的和 logstash，ES 对接。

从官方网站可以看出新一代 ELK 架构如下：

技术分享图片

1、Beats

Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。

Beats 家族各采集器如下：

技术分享图片

Beats 是数据采集的得力工具。将这些采集器安装在您的服务器中，它们就会把数据汇总到 Elasticsearch。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。

Filebeat 内置的多种模块（auditd、Apache、NGINX、System 和 MySQL）可实现对常见日志格式的一键收集、解析和可视化。得益于自动检测您操作系统的默认配置并进行组合，和 Elasticsearch Ingest Node 的管道定义，以及自带了常见的 Kibana 仪表板。

技术分享图片

2、Logstash

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。）

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。 Logstash 支持各种输入选择，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

借助 Pipeline 管理图形界面来管理 Logstash 的部署，您可以轻而易举地治理数据加工管道。此外，此项管理功能也与 Elastic Stack 内置的安全特性无缝集成，用以避免任何意外操作。

技术分享图片

3、Elasticsearch

Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。

Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。

Elasticsearch 允许执行和合并多种类型的搜索（结构化、非结构化、地理位置、度量指标）搜索方式随心而变。先从一个简单的问题出发，试试看能够从中发现些什么。

4、Kibana

Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理 Elastic Stack。

Kibana 核心搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。它们充分利用了 Elasticsearch 的聚合功能。

技术分享图片

ELK中各组件承担的角色和功能

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
Logstash：数据处理引擎，它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到 ES；
Kibana：数据分析和可视化平台。与 Elasticsearch 配合使用，对数据进行搜索、分析和以统计图表的方式展示；
Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，使用 golang 基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析。

二、ELK的几种常见架构

1、All-In-One

在这种架构中，只有一个 Logstash、Elasticsearch 和 Kibana 实例，集中部署于一台服务器。Logstash 通过输入插件从多种数据源（比如日志文件、标准输入 Stdin 等）获取数据，再经过滤插件加工数据，然后经 Elasticsearch 输出插件输出到 Elasticsearch，通过 Kibana 展示。

技术分享图片

这种架构非常简单，使用场景也有限。初学者可以搭建这个架构，了解 ELK 如何工作。

2、Logstash 分布式采集

这种架构是对上面架构的扩展，把一个 Logstash 数据搜集节点扩展到多个，分布于多台机器，将解析好的数据发送到 Elasticsearch server 进行存储，最后在 Kibana 查询、生成日志报表等。

技术分享图片

这种结构因为需要在各个服务器上部署 Logstash，而它比较消耗 CPU 和内存资源，所以比较适合计算资源丰富的服务器，否则容易造成服务器性能下降，甚至可能导致无法正常工作。

3、Beats 分布式采集

这种架构引入 Beats 作为日志搜集器。目前 Beats 包括四种：

Packetbeat（搜集网络流量数据）；
Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；
Filebeat（搜集文件数据）；
Winlogbeat（搜集 Windows 事件日志数据）

Beats 将搜集到的数据发送到 Logstash，经 Logstash 解析、过滤后，将其发送到 Elasticsearch 存储，并由 Kibana 呈现给用户。

技术分享图片

这种架构解决了 Logstash 在各服务器节点上占用系统资源高的问题。相比 Logstash，Beats 所占系统的 CPU 和内存几乎可以忽略不计。另外，Beats 和 Logstash 之间支持 SSL/TLS 加密传输，客户端和服务器双向认证，保证了通信安全。

4、引入消息队列机制的 Logstash 分布式架构

这种架构使用 Logstash 从各个数据源搜集数据，然后经消息队列输出插件输出到消息队列中。目前 Logstash 支持 Kafka、Redis、RabbitMQ 等常见消息队列。然后 Logstash 通过消息队列输入插件从队列中获取数据，分析过滤后经输出插件发送到 Elasticsearch，最后通过 Kibana 展示。

技术分享图片

这种架构适合于日志规模比较庞大的情况。但由于 Logstash 日志解析节点和 Elasticsearch 的负荷比较重，可将他们配置为集群模式，以分担负荷。引入消息队列，均衡了网络传输，从而降低了网络闭塞，尤其是丢失数据的可能性，但依然存在 Logstash 占用系统资源过多的问题。

5、引入消息队列机制的 Filebeat + Logstash 分布式架构

Filebeat 已经支持 kafka 作为 ouput，5.2.1 版本的 Logstash 已经支持 Kafka 作为 Input，和上面的架构不同的地方仅在于，把 Logstash 日志搜集发送替换为了 Filebeat。这种架构是当前最为完美的，有极低的客户端采集开销，引入消息队列，均衡了网络传输，从而降低了网络闭塞，尤其是丢失数据的可能性。

技术分享图片

接下来我们进行初步的探视，利用测试环境体验下ELK Stack + Filebeat，测试环境我们就不进行 Kafka 的配置了，因为他的存在意义在于提高可靠性。

es集中式日志分析平台elasticstack（介绍）(代码片段)

一、ELK介绍ELK构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。最近查看ELK官方网站，发现新一代的日志采集器Filebeat，他是Beats家族其中的一员，性... 查看详情

集中式日志分析平台elasticstack（部署）(代码片段)

一、环境准备1、架构选型接下来我们进行初步的探视，利用测试环境体验下ELKStack+Filebeat，测试环境我们就不进行Kafka的配置了，因为他的存在意义在于提高可靠性。2、软件版本Filebeat6.4.0Logstash6.4.0Elasticsearch6.4.0Kibana6.4.0JDK1.8.0_18... 查看详情

elk——elasticstack日志分析平台(代码片段)

ElasticStack日志分析平台ELK日志采集与分析系统概述ELK架构Filebeat重读日志文件使用Processors（处理器）过滤和增强数据LogstashLogstash安装使用Grok过滤器插件解析Web日志使用Geoip过滤器插件增强数据编辑**配置接受Beats的输入ES... 查看详情

elasticstack-在一个集中位置发送存储和分析你的日志(代码片段)

在生产中运行的应用程序是一头难以驯服的野兽。大多数有经验的开发人员——那些花了足够多的深夜或周六早上试图打破一个令人讨厌的生产错误的人—会在编写代码时尝试为他们以后的自己创造尽可能清晰的画面，以便... 查看详情

elasticstack-在一个集中位置发送存储和分析你的日志(代码片段)

elk——elasticstack日志分析平台(代码片段)

ElasticStack日志分析平台ELK日志采集与分析系统概述重读日志文件使用Processors（处理器）过滤和增强数据LogstashLogstash安装使用Grok过滤器插件解析Web日志使用Geoip过滤器插件增强数据编辑**配置接受Beats的输入ES集群基本介绍... 查看详情

2021年大数据elk：集中式日志协议栈elasticstack简介(代码片段)

全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章一、简介二、ELK协议栈介绍及体系结构三、集中式日志协议栈组件功能... 查看详情

2021年大数据elk：集中式日志协议栈elasticstack简介(代码片段)

...绍2021年大数据ELK（一）：集中式日志协议栈ElasticStack简介一、简介日常工作中会面临很多问题，处理问题时候。怎么解决问题？通过工作经验，迅速判断问题出在哪。通过日志系统日志：/var/log目录下... 查看详情

企业运维之elk日志分析平台（kibana）(代码片段)

...a简介kibana是一款开源的数据分析和可视化平台，它是ElasticStack成员之一，设计用于和Elasticsearch协作。可以使用Kibana对Elasticsearch索引中的数据进行搜索、查看、交互操作。可以很方便的利用图表、表格及地图对数据进查看详情

企业运维之elk日志分析平台（elasticsearch）(代码片段)

ELK日志分析平台--Elasticsearch的介绍与安装1.ELK介绍2.Elasticsearch简介3.Elasticsearch的部署3.1单机模式3.2Elasticsearch集群3.3cerebro图形化3.4Elasticsearch-head图形化3.5索引、分片和副本3.6Elasticsearch节点优化1.ELK介绍ELK指的是⼀套完整的⽇志集... 查看详情

elasticstack实战学习教程~日志数据的收集分析与可视化(代码片段)

ElasticStack介绍近几年，互联网生成数据的速度不断递增，为了便于用户能够更快更精准的找到想要的内容，站内搜索或应用内搜索成了不可缺少了的功能之一。同时，企业积累的数据也再不断递增，对海量数据分析处理、可视化... 查看详情

elasticstack实战学习教程~日志数据的收集分析与可视化(代码片段)

用sawmill搭建日志平台

...l适用于Unix/Linux和Windows等多种平台，支持900种日志格式，集中式且跨平台的日志报表管理系统，能集中搜集日志，并产生中文报表(包含体简体及繁体中文)，简约的操作界面让使用者能直觉地透过简单的点击操作，快速分析并定... 查看详情

elk日志分析系统（理论+部署）(代码片段)

ELK日志分析系统简介日志服务器提高安全性集中存放日志缺陷对日志的分析困难ELK日志分析系统ElasticsearchLogstashKibana日志处理步骤将日志进行集中化管理将日志格式化(Logstash)并输出到Elasticsearch对格式化后的数据进行索弓|和存储... 查看详情

linuxelk日志分析系统|logstash日志收集|elasticsearch搜索引擎|kibana可视化平台|架构搭建|超详细(代码片段)

elk日志分析平台架构剖析和常见问题(代码片段)

一、什么是ELFK1、ELK已经成为目前最流行的集中式日志解决方案，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上... 查看详情

集中式日志分析平台-elkstack-filebeat压测

参考技术A任何一款采集agent进行公司内全面推广前都需要进行性能测试以及资源限制功能测试，以保证：对于Filebeat这款号称golang编写，性能强于logstahs-forwarder的采集agent，我们也需要这样进行严谨对待。硬件选择虚拟机，6cores+1... 查看详情

elk日志分析平台搭建(代码片段)

...一小段：以下内容来自：http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可... 查看详情