正文 

当前位置： 首页 > java > java教程

centos7使用elk套件搭建日志分析和监控平台

author author     2022-09-10     487

关键词：

1 概述

ELK套件（ELK stack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。

由于三个软件各自的版本号太多，建议采用ElasticSearch官网推荐的搭配组合：http://www.elasticsearch.org/overview/elkdownloads/

2 环境准备

2.1 软件要求

本文把ELK套件部署在一台CentOS单机上。

具体的版本要求如下：

  • 操作系统版本：CentOS 6.4；

  • JDK版本：1.7.0；

  • Logstash版本：1.4.2；

  • ElasticSearch版本：1.4.2；

  • Kibana版本：3.1.2；

2.2 防火墙配置

为了正常使用HTTP服务等，需要关闭防火墙：

[plain] view plain copy

  1. # service iptables stop  

或者可以不关闭防火墙，但是要在iptables中打开相关的端口：

[plain] view plain copy

  1. # vim /etc/sysconfig/iptables  

  2. -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT  

  3. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT  

  4. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9292 -j ACCEPT  

  5. # service iptables restart  

3 安装JDK

ElasticSearch和Logstash依赖于JDK，所以需要安装JDK：

[plain] view plain copy

  1. # yum -y install java-1.7.0-openjdk*  

  2. # java -version  

4 安装ElasticSearch

ElasticSearch默认的对外服务的HTTP端口是9200，节点间交互的TCP端口是9300。

下载ElasticSearch：

[plain] view plain copy

  1. # mkdir -p /opt/software && cd /opt/software  

  2. # sudo wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz  

  3. # sudo tar -zxvf elasticsearch-1.4.2.tar.gz -C /usr/local/  

  4. # ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch  

安装elasticsearch-servicewrapper，并启动ElasticSearch服务：

[plain] view plain copy

  1. # sudo wget https://github.com/elasticsearch/elasticsearch-servicewrapper/archive/master.tar.gz  

  2. # sudo tar -zxvf master  

  3. # mv /opt/software/elasticsearch-servicewrapper-master/service /usr/local/elasticsearch/bin/  

  4. # /usr/local/elasticsearch/bin/service/elasticsearch start  

测试ElasticSearch服务是否正常，预期返回200的状态码：

[plain] view plain copy

  1. # curl -X GET http://localhost:9200  

5 安装Logstash

Logstash默认的对外服务的端口是9292。

下载Logstash：

[plain] view plain copy

  1. # sudo wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz  

  2. # sudo tar -zxvf logstash-1.4.2.tar.gz -C /usr/local/  

  3. # ln -s /usr/local/logstash-1.4.2 /usr/local/logstash  

简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上：

[plain] view plain copy

  1. # /usr/local/logstash/bin/logstash -e ‘input { stdin { } } output { stdout {} }‘  

创建Logstash配置文件，并再次测试Logstash服务是否正常，预期可以将输入内容以结构化的日志形式打印在界面上：

[plain] view plain copy

  1. # mkdir -p /usr/local/logstash/etc  

  2. # vim /usr/local/logstash/etc/hello_search.conf  

  3. input {  

  4.   stdin {  

  5.     type => "human"  

  6.   }  

  7. }  

  8.   

  9. output {  

  10.   stdout {  

  11.     codec => rubydebug  

  12.   }  

  13.   

  14.   elasticsearch {  

  15.     host => "10.111.121.22"  

  16.     port => 9300  

  17.   }  

  18. }  

  19. # /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf  

6 安装Kibana

CentOS默认预装了Apache，所以将Kibana的代码直接拷贝到Apache可以访问的目录下即可。

[plain] view plain copy

  1. # sudo wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz  

  2. # sudo tar -zxvf kibana-3.1.2.tar.gz  

  3. # mv kibana-3.1.2 /var/www/html/kibana  

修改Kibana的配置文件，把elasticsearch所在行的内容替换成如下：

[plain] view plain copy

  1. # vim /var/www/html/kibana/config.js  

  2. elasticsearch: "http://10.111.121.22:9200",  

启动一下HTTP服务：

[plain] view plain copy

  1. # service httpd start  

修改ElasticSearch的配置文件，追加一行内容，并重启ElasticSearch服务：

[plain] view plain copy

  1. # vim /usr/local/elasticsearch/config/elasticsearch.yml  

  2. http.cors.enabled: true  

  3. # /usr/local/elasticsearch/bin/service/elasticsearch restart  

然后就可以通过浏览器访问Kibana了：

[plain] view plain copy

  1. http://10.111.121.22/kibana  

现在，在之前的Logstash会话中输入任意字符，就可以在Kibana中查看到日志情况。

7 配置Logstash

再次创建Logstash配置文件，这里将HTTP日志和文件系统日志作为输入，输出直接传给ElasticSearch，不再打印在界面上：

[plain] view plain copy

  1. # vim /usr/local/logstash/etc/logstash_agent.conf  

  2. input {  

  3.   file {  

  4.     type => "http.access"  

  5.     path => ["/var/log/httpd/access_log"]  

  6.   }  

  7.   

  8.   file {  

  9.     type => "http.error"  

  10.     path => ["/var/log/httpd/error_log"]  

  11.   }  

  12.   

  13.   file {  

  14.     type => "messages"  

  15.     path => ["/var/log/messages"]  

  16.   }  

  17. }  

  18.   

  19. output {  

  20.   elasticsearch {  

  21.     host => "10.111.121.22"  

  22.     port => 9300  

  23.   }  

  24. }  

  25. # nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash_agent.conf &  

现在，一个简单的日志分析和监控平台就搭建好了，可以使用Kibana进行查看。

8 参考资料

1. 《安装logstash,elasticsearch,kibana三件套》，http://www.cnblogs.com/yjf512/p/4194012.html


centos7.5搭建elk-6.5.0日志分析平台(代码片段)

Centos7.5搭建ELK-6.5.0日志分析平台1.简介工作工程中，不论是开发还是运维，都会遇到各种各样的日志，主要包括系统日志、应用程序日志和安全日志，对于开发人员来说，查看日志，可以实时查看程序的运行错误，以及性能分析... 查看详情

centos7搭建elkcluster日志分析平台

应用场景：ELK实际上是三个工具的集合，ElasticSearch+Logstash+Kibana，这三个工具组合形成了一套实用、易用的监控架构，　　　　　很多公司利用它来搭建可视化的海量日志分析平台。　　　　　　　　　　　　　　官网下载地址... 查看详情

centos7搭建elkcluster集群日志分析平台(代码片段)

应用场景：ELK实际上是三个工具的集合，ElasticSearch+Logstash+Kibana，这三个工具组合形成了一套实用、易用的监控架构，　　　　　很多公司利用它来搭建可视化的海量日志分析平台。　　　　　　　　　　　　　　官网下载地址... 查看详情

centos7安装elk(代码片段)

 一、介绍ELK是三款开源软件的缩写，即：ElasticSearch+Logstash+Kibana。这三个工具组合形成了一套实用、易用的监控架构，可抓取系统日志、apache日志、nginx日志、mysql日志等多种日志类型，目前很多公司用它来搭建可视化的集中... 查看详情

elk日志监控平台

...工具，他可以对日志进行收集，过滤，并将其存储供以后使用kibana：是一个开源和免费的工具，它可以为logstash和elasticsearch提供日志分析友好的we 查看详情

centos7搭建elk开源实时日志分析系统

Elasticsearch是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制restful风格接口多数据源自动搜索负载等。Logstash是一个完全开源的工具他可以对你的日志进行收集、分析并将其存储供以后使用如... 查看详情

elk搭建实时日志分析平台(代码片段)

ELK搭建实时日志分析平台导言ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，ELK平台可以同时实现日志收集、日志搜索和日志分析的功能。对于生产环境中海量日志信息的分析处理无疑不是一个好的解决方案。官方网站：https... 查看详情

elk服务搭建（开源实时日志分析elk平台部署）（低版本—简单部署）

...存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中 查看详情

搭建elk日志分析平台的详细过程(代码片段)

搭建ELK日志分析平台的详细过程 日志分析系统-ELK平台由于日志文件都离散的存储在各个服务实例的文件系统之上，仅仅通过查看日志文件来分析我们的请求链路依然是一件相当麻烦的差事。ELK平台，它可以轻松的帮助我们... 查看详情

开源日志分析系统elk平台搭建部署

...存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很 查看详情

elk日志分析平台搭建(代码片段)

...存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇... 查看详情

elk搭建实时日志分析平台之二logstash和kibana搭建(代码片段)

本文书接前回《ELK搭建实时日志分析平台之一ElasticSearch》文：铁乐与猫四、安装Logstashlogstash是一个数据分析软件，主要目的是分析log日志。1）下载和解压logstash下载地址：https://www.elastic.co/cn/downloads/logstash上传到服务器/usr/ELK目... 查看详情

elk日志分析平台搭建----elasticsearch

ELK日志分析平台搭建----ELASTICSEARCH介绍：ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成1、Elasticsearch是一个开源分布式的搜索引擎，特点是：分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口，多数据... 查看详情

elk(elasticsearch,logstash,kibana)搭建实时日志分析平台

...存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的 查看详情

centos7安装部署elk6.2.4(代码片段)

一、ELK介绍ELK是三款开源软件的缩写，即：ElasticSearch+Logstash+Kibana。这三个工具组合形成了一套实用、易用的监控架构，可抓取系统日志、apache日志、nginx日志、mysql日志等多种日志类型，目前很多公司用它来搭建可视化的集中式... 查看详情

elk(elasticsearch+logstash+kibana)开源日志分析平台搭建

环境介绍System: CentOS7.2x86_64hostname: elk-server.huangming.orgIPAddress:10.0.6.42、10.17.83.42本篇的ELK环境为单机部署方式，即将ELK所有的软件包都安装在一台服务器上，配置如下：CPU: 4cMem: 8GDisk: 50一、Elasticsearch安装1 查看详情

elk日志管理平台部署简介

...作中，要实时监控服务器的业务、系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日志的分析仅仅... 查看详情

日志分析elk平台搭建

...商业产品，功能很强大，但是在目前的互联网领域里ELK的使用应该是更广泛。接下来会根据官 查看详情