windows10下elk环境快速搭建实践

taoweizhong taoweizhong     2023-03-09     590

关键词:

日志主要包括系统日志、应用程序日志和安全日志等。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及故障发生的原因。分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误,因此日志的重要性不言而喻。

但是,在系统分布式后,日志通常被分散的储存不同的设备上。比如当系统为数十上百台服务器,必须依次登录每台机器的传统方法查阅日志,这样很繁琐和效率低下。因此日志的集中化管理是随着系统架构分布式演进,其矛盾越来越明显,而开源实时日志分析ELK平台完美的解决上述矛盾。

ELK由ElasticSearch(ES)、Logstash和Kiabana三个开源工具组成。

  • ES是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
  • Logstash是一个完全开源的工具,可以对日志进行收集、分析、并将其存储供以后使用。
  • kibana也是一个开源和免费的工具,他Kibana可以为Logstash和ES提供的日志分析友好的Web界面,可以帮助您汇总、分析和搜索重要数据日志。

本文用于指导ELK在windows10环境下单机版使用,版本选择:

  • logstash-5.4.3
  • elasticsearch-5.4.3
  • kibana-5.4.3-windows-x86

由于是单机版,这里采用最简单的架构构建:

技术图片

 

读者可以在ELK官网 https://www.elastic.co/下载最新版本的工具安装包,Windows环境选择后缀为zip格式的下载。

1.1  准备并安装Java环境

Java是ELK三软件依赖的运行环境,读者可以在Oracle官网获取最新版的Java版本,由于只是运行不是开发,所以也可以只下载JRE。安装完成后配置安装完成后,配置JAVA_HOME和JRE_HOME环境变量。执行如下命令成功:

C:Users45014>java -version

java version "1.8.0_171"

Java(TM) SE Runtime Environment (build 1.8.0_171-b11)

Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

 

由于Logstash服务依赖ES服务,Kibana服务依赖Logstash和ES,所以这里建议ELK的服务启动顺序为:ES->Logstash->Kibana,为了配合服务启动顺序,我们安装顺序和启动顺序保持一致。

1.2  Elasticsearch安装并使用

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

1、编辑ES配置文件:

进入目录:

D:Studycodeprojectelasticsearch-5.4.3configelasticsearch.yml,修改如下配置:

 network.host:192.168.1.106       #ES的网络IP

 http.port: 9200       #ES服务端口

 

2、启动ES

进入目录D:Studycodeprojectelasticsearch-5.4.3in执行

elasticsearch.bat

打开浏览器访问,展现如下信息表示成功。

技术图片

 

3、elasticsearch-head安装

elasticsearch-head是一个用于管理Elasticsearch的web前端插件

https://github.com/mobz/elasticsearch-head

运行环境准备NodeJS,Grunt

npm install -g grunt-cli

git clone git://github.com/mobz/elasticsearch-head.git

cd elasticsearch-head

npm install

修改elasticsearch.yml,增加跨域的配置(需要重启es才能生效)

http.cors.enabled: true

http.cors.allow-origin: "*"

编辑elasticsearch-head/Gruntfile.js,修改服务器监听地址,connect节点增加hostname属性,将其值设置为*

connect:

    server:

        options:

            hostname:‘*‘,

            port: 9100,

            base: ‘.‘,

            keepalive: true

       

   

编辑elasticsearch-head/_site/app.js, 修改默认es地址为http://192.168.1.102:9200/, 也可以不修改。

 启动

npm run start

浏览器打开http://192.168.1.106:9100/

 

注意下列信息需要在Logstash连接ES上后才可以展现。

 技术图片

 

查看数据是否已经同步到ES。

 技术图片

 

ES数据默认存储位置:

D:Studycodeprojectelasticsearch-5.4.3data

 

1.3  Logstash安装并使用

Logstash是一个接收,处理,转发日志的工具。支持各种类型的日志。

进入 D:Studycodeprojectlogstash-5.4.3config,然后新建Logstash日志分析配置文件logstash.conf,内容如下:

 

 input

    file

        type => "nginx_access"

        path => "D: ginxlogsaccess.log"

   

output

    elasticsearch

        hosts => ["192.168.1.106:9200"]

        index => "access-%+YYYY.MM.dd"

   

    stdout

        codec => json_lines

   

 

2、启动Logstash

logstash.bat -f ../config/logstash.conf

并在D: ginxlogsaccess.log文件中添加如下数据。

 技术图片

 

请转到ES查看数据同步情况。

1.4  Kibana安装并使用

kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

 

 

1、编辑Kibana配置文件:

D:Studycodeprojectkibana-5.4.3-windows-x86configkibana.yml 修改如下配置

server.port: 5601    #本机的端口

server.host: 192.168.1.102  #本机IP地址

elasticsearch.url: http://192.168.1.102:9200  #ES的服务IP+端口

2、启动Kibana

D:Studycodeprojectkibana-5.4.3-windows-x86in 执行

 kibana.bat

3、浏览Kibana数据

kibana: http://192.168.1.102:5601/

 技术图片

 

刚才在写入数据的时候已经创建了access开头的索引,因此这里需要创建access-*

 技术图片

 

输入access-*,然后点击create

 技术图片

 

点击discover,页面展现获取的数据

 技术图片

1.5  总结

 

windows环境下elk平台的搭建

.背景日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取... 查看详情

1-快速搭建elk环境

...这里没有考虑到其他的优化,部署前请确保已经安装Java环境即JDK&n 查看详情

在win10下使用docker快速搭建ruby开发环境

docker在windows下发力的时候必将取代各种虚拟机,并改变程序员的开发习惯,或许还会改变infra的工作。概要:在Windows下搭建开发环境一直是infra(我)头疼的事情。为了解决这个问题,跟老板,程序员商量得出的解决办法有以下... 查看详情

快速搭建elk+openwaf环境

摘要:OpenWAF是第一个全方位开源的Web应用防护系统;ELK是比较火的开源日志分析系统;本节主要介绍,ELK的docker部署及与OpenWAF的结合OpenWAF简介OpenWAF是第一个全方位开源的Web应用防护系统(WAF),他基于nginx_luaAPI分析HTTP请求信息。O... 查看详情

springboot--elk快速搭建(代码片段)

...服务的日志收集。搭建ELK采用docker-elk进行快速搭建ELK的环境进行clone仓库gitclonehttps://github.com/deviantony/docker-elk.git开启docker-composeup-d(需要事先安装好docker-compose 查看详情

elk搭建踩过的坑

...志分析界面beats日志采集器收集网络数据、指标、日志、window实践、审计、运行时间x- 查看详情

在windows系统下搭建elk日志分析平台

...,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下吧,像我这种记性差的人还是得靠烂笔头 简介: ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成:   Elasticsearch是个开源... 查看详情

linux快速搭建elk日志分析平台

首先,在你的运行环境下创建一个安装目录1.mkdires,创建一个名为es的包。2.下载安装包并且上传到指定目录访问elasticSearch官网地址https://www.elastic.co/下载指定版本的安装包:elasticsearch-7.9.1.tar.gz通过XFTP上传安装包到... 查看详情

linux快速搭建elk日志分析平台

首先,在你的运行环境下创建一个安装目录1.mkdires,创建一个名为es的包。2.下载安装包并且上传到指定目录访问elasticSearch官网地址https://www.elastic.co/下载指定版本的安装包:elasticsearch-7.9.1.tar.gz通过XFTP上传安装包到... 查看详情

linux快速搭建elk日志分析平台

首先,在你的运行环境下创建一个安装目录1.mkdires,创建一个名为es的包。2.下载安装包并且上传到指定目录访问elasticSearch官网地址https://www.elastic.co/下载指定版本的安装包:elasticsearch-7.9.1.tar.gz通过XFTP上传安装包到... 查看详情

vue.js在windows10系统下的环境搭建

vue.js在windows10系统下的环境搭建流程1、安装node.js(node包含了npm包管理器)node.js安装包以及源码下载地址:https://nodejs.org/en/download/注意:使用安装包(.msi)(作为小白的我,直接用了.exe,导致环境变量都不会自动配置,真的... 查看详情

mac下快速搭建odoo10开发环境

 一:安装PostgreSQL下载并安装PostgreSQL数据库:http://download.csdn.net/download/qq_28745795/10235366 安装过程中需要为超级管理员制定密码,请牢记。 二:安装PgAdmin 刚才的安装包自带PgAdmin3,我们也可以自行下载新版的PgAdmin... 查看详情

在windows系统下搭建elk日志分析平台

简介:ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成:   Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等... 查看详情

windows下kafka源码阅读环境搭建

工具准备:jdk1.8,scala-2.11.11,gradle-3.1,zookeeper-3.4.5,kafka-0.10.0.1-src.tgz,kafka_2.11-0.10.0.1.tgz安装jdk安装scala搭建zookeeperkafka源码构建解压kafka-0.10.0.1-src.tgz,命令行进行kafka-0.10.0.1-src,执行gradleidea650)this 查看详情

第19章windows10系统下qt搭建android开发环境

19.1搭建QT环境19.1.1下载QT安装包下载地址: Indexof/archive/qt/5.12/5.12.6下载的最新5.12版本,进行安装,在安装软件过程中,需要选择安装Android相关的编译器。图19-1-1  查看详情

第19章windows10系统下qt搭建android开发环境

19.2编译Android应用程序19.2.1创建Android(ARM)虚拟设备在SDK目录下,运行“AVDManager.exe”工具,创建虚拟设备。图19-2-1图19-2-2点击创建按钮之后,就填充设备的属性。开始在Windows上,模拟大于768M的RAM 查看详情

windows10下haskell环境搭建2020(代码片段)

1.安装stack1)下载对应的install.exe安装stackhttps://docs.haskellstack.org/en/stable/README/2)更改镜像源cmd>stackinstall生成 c:/sr这个文件夹c:/sr/config.yaml根据镜像源的要求修改stack的源https://mirrors.tuna.tsinghua.edu.cn/help 查看详情

windows10下利用visualstudiocode搭建c语言开发环境以及驱动的开发环境(代码片段)

Windows10下利用VisualStudioCode搭建C语言开发环境以及驱动的开发环境1.1前言VisualStudioCode搭建C语言的开发环境,网上有一大堆的教程,但是很多都要么过时了,要么就是不能运行,自己也踩了好几个坑。比较好的策略... 查看详情