efk教程-efk快速入门指南

author author     2023-03-09     228

关键词:

参考技术A

通过部署elasticsearch(三节点)+filebeat+kibana快速入门EFK,并搭建起可用的demo环境测试效果

▪ 用途
▪ 实验架构
▪ EFK软件安装
▪ elasticsearch配置
▪ filebeat配置
▪ kibana配置
▪ 启动服务
▪ kibana界面配置
▪ 测试
▪ 后续文章

▷ 通过filebeat实时收集nginx访问日志、传输至elasticsearch集群
▷ filebeat将收集的日志传输至elasticsearch集群
▷ 通过kibana展示日志

▷ 服务器配置

▷ 架构图

版本说明

▷ elasticsearch 7.3.2
▷ filebeat 7.3.2
▷ kibana 7.3.2

注意事项

▷ 三个组件版本必须一致
▷ elasticsearch必须3台以上且总数量为单数

安装路径

▷ /opt/elasticsearch
▷ /opt/filebeat
▷ /opt/kibana

elasticsearch安装 :3台es均执行相同的安装步骤

filebeat安装

kibana安装

nginx安装 (用于生成日志,被filebeat收集)

▷ 192.168.1.31 /opt/elasticsearch/config/elasticsearch.yml

▷ 192.168.1.32 /opt/elasticsearch/config/elasticsearch.yml

▷ 192.168.1.33 /opt/elasticsearch/config/elasticsearch.yml

192.168.1.11 /opt/filebeat/filebeat.yml

192.168.1.21 /opt/kibana/config/kibana.yml

上面的启动方法是位于前台运行。systemd配置方法,会在《EFK教程》系列后续文章中提供,敬请关注!

1️⃣ 使用浏览器访问192.168.1.21:5601,看到以下界面表示启动成功

2️⃣ 点"Try our sample data"

3️⃣ "Help us improve the Elastic Stack by providing usage statistics for basic features. We will not share this data outside of Elastic"点"no”

4️⃣ "Add Data to kibana"点"Add data"

5️⃣ 进入视图

访问nginx,生成日志

在kibana上查看数据

1️⃣ 创建索引模板

2️⃣ 输入你要创建的索引模板的名字

3️⃣ 查看之前CURL的数据

本文是《EFK教程》系列文章的第一篇,后续EFK文章将逐步发布,包含角色分离、性能优化等许多干货,敬请关注!

2022快速部署一个可用的efk-7.17架构(代码片段)

...h服务2.部署Kibana服务3.部署Filebeat服务4.相关链接本文意为快速拉起一个可用的EFK开发测试环境,不会涉及高级配置。0.环境准备架构图将/var/log下的所有日志归档为system.log后,通过filebeat收集后发送给elasticsearch,通过k... 查看详情

k8s搭建efk日志管理系统(代码片段)

...目前比较受欢迎的日志管理系统。kubernetes可以实现efk的快速部署和使用,通过statefulset控制器部署elasticsearch组件,用来存储日志数据,还可通过volumenclaimtemplate动态生成pv实现es数据的持久化。通过deployment部署kibana组件,实现日... 查看详情

efk教程-1(代码片段)

elasticsearch安装:3台es均执行相同的安装步骤mkdir-p/opt/software&&cd/opt/softwarewgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-linux-x86_64.tar.gztar-zxvfelasticsearch-7.3.2-linux-x86_64.tar.gzmvelasticsearch-7.3.2/opt/elasticsearchuseraddelastics... 查看详情

12-部署efk插件(代码片段)

配置和安装EFK官方文件目录:cluster/addons/fluentd-elasticsearch$ls*.yamles-controller.yamles-service.yamlfluentd-es-ds.yamlkibana-controller.yamlkibana-service.yamlefk-rbac.yaml同样EFK服务也需要一个efk-rbac.yaml文件,配置servi 查看详情

kubernetes集群搭建efk日志收集平台(代码片段)

kubernetes集群搭建efk日志收集平台一、efk介绍1.efk简介2.Elasticsearch介绍①Elasticsearch简介②Elasticsearch的特点3.Filebeat介绍①Filebeat简介②Fluentd简介③Fluentd作用4.Kibana介绍5、efk的架构图二、检查本地kubernetes集群状态三、配置默认存储1... 查看详情

elk和efk的区别

ELK和EFK的区别在于EFK有中间消息件,这个中间消息件可分为 redis 或者kafkakafka负责收集客户端收集日志总负责最后交给zookeeper,zookeeper负责把消息发送给logstash机器logstash机器采集完发送给elasticsearch,最后在kibana展示页面... 查看详情

09-5.部署efk插件(代码片段)

09-5.部署EFK插件EFK对应的目录:kubernetes/cluster/addons/fluentd-elasticsearch$cd/opt/k8s/kubernetes/cluster/addons/fluentd-elasticsearch$ls*.yamles-service.yamles-statefulset.yamlfluentd-es-configmap.yamlfluen 查看详情

k8s服务轻松对接efk日志系统

...,如果某些服务出现了问题,影响了客户使用,我们如何快速地定位并且修复问题呢?常见的解决方式1、将报错信息通过程序捕抓后,记录到数据库。(缺点:只能记录异常的日志,而且有可能字段过长记录 查看详情

efk之filebeat线上使用方法个人线上应用及参考地址--我带你入门到成f神(代码片段)

Filebeat是一个轻量级的托运人,用于转发和集中日志数据。Filebeat作为代理安装在服务器上,监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash进行索引。以下是Filebeat的工作原理:启动Filebeat时,... 查看详情

云原生(四十)|kubernetes篇之整合efk(代码片段)

文章目录整合EFK一、安装operator二、部署ES集群1、本地访问密码测试2、部署ingress访问三、部署kibana1、访问密码2、配置Ingress四、部署FileBeats整合EFK部署前预习ElasticSearch的配置文件位置简单的ElasticSearch配置管理章节ElasticStack安装... 查看详情

openshift实战:openshift日志监控efk(代码片段)

1、镜像下载为了防止安装过程中由于镜像下载缓慢导致自动部署失败,所以首先提前下载好EFK镜像。dockerpullopenshift/origin-logging-fluentddockerpullopenshift/origin-logging-elasticsearchdockerpullopenshift/origin-logging-kibanadockerpullopenshift/or 查看详情

elk和efk的区别

...进行处理,处理完毕之后交给kibana进行一个网页的展示。EFK是elasticsearch、logstatsh、kibana、zookeeper、kafka五种软件的集成,zookeeper、kafka使用来创建topic收集日志的仓库,当zookeeper、kafka配置好之后可以用创建好的topic用来收集想要... 查看详情

k8s集群之日志收集efk架构

k8s集群之日志收集EFK架构参考文档http://tonybai.com/2017/03/03/implement-kubernetes-cluster-level-logging-with-fluentd-and-elasticsearch-stack/https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/flu 查看详情

日志收集===》efk部署+supervisor管理(代码片段)

一、es集群部署(三台)#1.下载cd/optwgethttps://github.com/elastic/elasticsearch/archive/refs/tags/v6.8.12.tar.gz#2.解压缩tarxfelasticsearch-6.8.12.tar.gz-C/data/ota_soft/mkdir-p/data/ota_soft/elasticse 查看详情

k8s部署efk收集pod日志,通过邮件报警error19(代码片段)

...发方便查看,不用登陆机器查看,另外也可以报警,方便快速问题定位。如果想要部署可以看一下我之前的文档部署,有结合redis和kafka的部署今天主要是针对k8s部署监控所有pod的二、架构选型存储层:Elasticsearch是一个实时的、... 查看详情

结合springboot搭建日志采集系统efk

参考技术AEFK架构(elasticsearchfilebeatkibana)1、filebeat采集日志(可以采集多种日志类型loghttpsystemcpmqdockeraws...,具体采集配置参照:https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html)2、filebeat将采集到的日志解... 查看详情

centos7.3简便搭建efk日志分析(代码片段)

EFK不是一个软件,而是一套解决方案。EFK是三个开源软件的缩写,Elasticsearch,FileBeat,Kibana。其中ELasticsearch负责日志分析和存储,FileBeat负责日志收集,Kibana负责界面展示。它们之间互相配合使用,完美衔接,高效的满足了很多... 查看详情

日志管理进阶-成为elk与efk的“高富帅”(代码片段)

EFK日志收集架构原理简图:Elasticsearch:数据库,存储数据javalogstash:日志收集,过滤数据javakibana:分析,过滤,展示javafilebeat:收集日志,传输到ES或logstash,安装在应用服务器比如:Nginx,go语言开... 查看详情