关键词：
开源实时日志分析ELK平台部署
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。
kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
说明：在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到logstash indexer，logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。
（1）安装Logstash依赖包JDK
Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序，而不是开发，下载JRE即可。首先，在Oracle官方下载新版jre， 下载地址：http://www.oracle.com/technetwork/java/javase/downloads
我们使用的是：jre-8u131-linux-x64.tar.gz
JDK的安装方式比较简单，只需将下载回来的程序包解压到相应的目录即可
mkdir /usr/local/java
tar -xvf jre-8u131-linux-x64.tar.gz -C /usr/local/java
vim ~/.bash_profile
export JAVA_HOME=/usr/local/java/jre1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
source ~/.bash_profile
[[email protected] ~]#java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
（2）安装Logstash
我们使用的版本：logstash-1.5.2.tar.gz
tar -xvf logstash-1.5.2.tar.gz -C /usr/local/
运行以下命令测试logstash
[[email protected] ~]# /usr/local/logstash-1.5.2/bin/logstash -e ‘input { stdin { } } output { stdout { } }‘
Logstash startup completed
hello world (自己输入)
2017-05-23T17:09:56.700Z www.elastic.co hello world
我们可以看到，我们输入什么内容logstash按照某种格式输出，其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL+C命令可以退出之前运行的Logstash。
使用-e参数在命令行中指定配置是很常用的方式，不过如果需要配置更多设置则需要很长的内容。这种情况，我们首先创建一个简单的配置文件，并且指定logstash使用这个配置文件。例如：在logstash安装目录下创建一个“基本配置”测试文件llogstash-simple.conf，文件内容如下：
# cat logstash-simple.conf
input { stdin { } }
output {
stdout { codec=> rubydebug }
}
Logstash使用input和output定义收集日志时的输入和输出的相关配置，本例中input定义了一个叫"stdin"的input，output定义一个叫"stdout"的output。无论我们输入什么字符，Logstash都会按照某种格式来返回我们输入的字符，其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。
使用logstash的-f参数来读取配置文件，执行如下开始进行测试：
[[email protected] ~]# /usr/local/logstash-1.5.2/bin/logstash agent -f /usr/local/logstash-1.5.2/logstash-simple.conf
Logstash startup completed
`date` hello world
{
"message" => "`date` hello world",
"@version" => "1",
"@timestamp" => "2017-05-23T17:14:16.312Z",
"host" => "www.elastic.co"
}
（3）安装Elasticsearch
我们使用的版本是：elasticsearch-1.6.0.tar.gz
tar -xvf elasticsearch-1.6.0.tar.gz -C /usr/local/
启动Elasticsearch
| # /usr/local/elasticsearch-1.6.0/bin/elasticsearch |
如果使用远程连接的Linux的方式并想后台运行elasticsearch执行如下命令：
| # nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup & |
确认elasticsearch的9200端口已监听，说明elasticsearch已成功运行
| # netstat -anp |grep :9200 tcp 0 0 :::9200 :::* LISTEN 3362/java |
接下来我们在logstash安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf，该文件中定义了stdout和elasticsearch作为output，这样的“多重输出”即保证输出结果显示到屏幕上，同时也输出到elastisearch中。
[[email protected] ~]# cat /usr/local/logstash-1.5.2/logstash-es-simple.conf
input { stdin { } }
output {
elasticsearch {host => "localhost" }
stdout { codec=> rubydebug }
}
[[email protected] ~]# /usr/local/logstash-1.5.2/bin/logstash agent -f /usr/local/logstash-1.5.2/logstash-es-simple.conf
五月 24, 2017 1:21:42 上午 org.elasticsearch.node.internal.InternalNode <init>
信息: [logstash-www.elastic.co-1318-11620] version[1.5.1], pid[1318], build[5e38401/2015-04-09T13:41:35Z]
五月 24, 2017 1:21:42 上午 org.elasticsearch.node.internal.InternalNode <init>
信息: [logstash-www.elastic.co-1318-11620] initializing ...
五月 24, 2017 1:21:42 上午 org.elasticsearch.plugins.PluginsService <init>
信息: [logstash-www.elastic.co-1318-11620] loaded [], sites []
五月 24, 2017 1:21:45 上午 org.elasticsearch.node.internal.InternalNode <init>
信息: [logstash-www.elastic.co-1318-11620] initialized
五月 24, 2017 1:21:45 上午 org.elasticsearch.node.internal.InternalNode start
信息: [logstash-www.elastic.co-1318-11620] starting ...
五月 24, 2017 1:21:45 上午 org.elasticsearch.transport.TransportService doStart
信息: [logstash-www.elastic.co-1318-11620] bound_address {inet[/0:0:0:0:0:0:0:0:9301]}, publish_address {inet[/192.168.253.100:9301]}
五月 24, 2017 1:21:45 上午 org.elasticsearch.discovery.DiscoveryService doStart
信息: [logstash-www.elastic.co-1318-11620] elasticsearch/eQ2KQ7yHTlCV6F0RuP-QoA
五月 24, 2017 1:21:48 上午 org.elasticsearch.cluster.service.InternalClusterService$UpdateTask run
信息: [logstash-www.elastic.co-1318-11620] detected_master [Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]], added {[Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]],}, reason: zen-disco-receive(from master [[Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]]])
五月 24, 2017 1:21:48 上午 org.elasticsearch.node.internal.InternalNode start
信息: [logstash-www.elastic.co-1318-11620] started
Logstash startup completed
hello logstash
{
"message" => "hello logstash",
"@version" => "1",
"@timestamp" => "2017-05-23T17:21:57.511Z",
"host" => "www.elastic.co"
}
也可以使用curl http://localhost:9200/_search?pretty查看
至此，你已经成功利用Elasticsearch和Logstash来收集日志数据了。
（4）安装elasticsearch插件
Elasticsearch-kopf插件可以查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行以下命令即可：
./bin/plugin -install lmenezes/elasticsearch-kopf
| # cd /usr/local/elasticsearch-1.6.0/ # ./plugin -install lmenezes/elasticsearch-kopf |
安装完成后在plugins目录下可以看到kopf
| # ls plugins/ kopf |
（5）安装Kibana
tar -xvf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
启动：
/usr/local/kibana-4.1.1-linux-x64/bin/kibana
使用http://kibanaServerIP：5601访问Kibana，登录后，首先，配置一个索引，默认，Kibana的数据被指向Elasticsearch，使用默认的logstash-*的索引名称，并且是基于时间的，点击“Create”即可。
点击“Discover”，可以搜索和浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据。可以自定义选择时间。
到此，说明你的ELK平台安装部署完成。
（6）配置logstash作为Indexer
将logstash配置为索引器，并将logstash的日志数据存储到Elasticsearch，本范例主要是索引本地系统日志。
| # cat /usr/local/logstash-1.5.2/logstash-indexer.conf input { file { type =>"syslog" path => ["/var/log/messages", "/var/log/syslog" ] } syslog { type =>"syslog" port =>"5544" } } output { stdout { codec=> rubydebug } elasticsearch {host => "localhost" } } # /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf |
使用echo命令模拟写入日志，命令执行后看到如下图的信息
| # echo "`date` 优衣库视频" >>/var/log/messages |
kibana，发现最新的测试数据显示到浏览器中，如下图所示：
至此，ELK平台部署和基本的测试已完成。
本文出自 “Change life Start fresh.” 博客，请务必保留此出处http://ahcwy.blog.51cto.com/9853317/1940323
开源日志分析系统elk平台搭建部署
...日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存... 查看详情
elk实时日志分析平台部署(代码片段)
...志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有： 查看详情
elk搭建实时日志分析平台(代码片段)
ELK搭建实时日志分析平台导言ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，ELK平台可以同时实现日志收集、日志搜索和日志分析的功能。对于生产环境中海量日志信息的分析处理无疑不是一个好的解决方案。官方网站：https... 查看详情
开源实时日志分析elk平台部署
ELK架构图：1.JDK环境-------------------1.1下载最新JDK，解压到/usr/local/java目录。1.2设置环境变量打开/etc/profile，添加下面内容exportJAVA_HOME=/usr/local/javaexportJRE_HOME=$JAVA_HOME/jreexportPATH=$PATH:$JAVA_HOME/binexportCLASSPAT 查看详情
开源实时日志分析elk
...日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存... 查看详情
elk(elasticsearch+logstash+kibana)开源日志分析平台搭建
环境介绍System: CentOS7.2x86_64hostname: elk-server.huangming.orgIPAddress:10.0.6.42、10.17.83.42本篇的ELK环境为单机部署方式，即将ELK所有的软件包都安装在一台服务器上，配置如下：CPU: 4cMem: 8GDisk: 50一、Elasticsearch安装1 查看详情
elk(elasticsearch,logstash,kibana)搭建实时日志分析平台
...日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存... 查看详情
centos7.5搭建elk-6.5.0日志分析平台(代码片段)
...性能分析，通常，一个大中型的应用程序会被部署到多台服务器，那日志文件也会分散到不同的机器上，这样查看日志难道要一台一台去查看？显然是太麻烦了，开源的日志分析系统ELK完美的解决了这个问题。ELK并不是一个独立... 查看详情
[bigdata-elk]elk(elasticsearch,logstash,kibana)搭建实时日志分析平台
...日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志 查看详情
elk(elasticsearch,logstash,kibana)搭建实时日志分析平台
...日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存 查看详情
elk搭建实时日志分析平台之二logstash和kibana搭建(代码片段)
...ogstash下载地址：https://www.elastic.co/cn/downloads/logstash上传到服务器/usr/ELK目录后，解压：sudotar-zxvflogstash-6.1.3.tar 查看详情
elk日志分析平台搭建(代码片段)
...日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存... 查看详情
elk搭建实时日志分析平台(elk+kafka+metricbeat)-搭建说明
数据流向：metricbeat->kafka->logstash->elasticsearch->kibana.应用分布：主机应用备注192.168.30.121javaversion"1.8.0_144"zookeeper-3.4.10.tar.gzkafka_2.12-0.11.0.0.tgzelasticsearch-5.5.1.tar.gzlogstash-5.5. 查看详情
centos8部署elk日志分析平台(代码片段)
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志，日志分散难以查找3.日志数据量大，查找慢，数据不够实时解决办法：部署ELK平台ELK介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开... 查看详情
elk搭建实时日志分析平台(elk+kafka+metricbeat)-kafka搭建
一、kafka搭建建立elk目录：mkdir/usr/loca/elk安装zookeeper：192.168.30.121：650)this.width=650;"src="https://s5.51cto.com/wyfs02/M01/06/21/wKiom1myLD-yj6oNAAAhLNFsX2s875.png"title="192.168.30.121-1.png"alt="wKiom1m 查看详情
搭建部署分布式elk平台
搭建部署分布式ELK平台ELK是什么？ELK其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写 –Elasticsearch:负责日志检索和储存 –Logstash:负责日志的收集和分析、处理 &n... 查看详情
windows环境下elk平台的搭建
...日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存... 查看详情
elk日志分析平台搭建----elasticsearch
ELK日志分析平台搭建----ELASTICSEARCH介绍：ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成1、Elasticsearch是一个开源分布式的搜索引擎，特点是：分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口，多数据... 查看详情