正文 

当前位置： 首页 > 代码 > java教程

elasticsearch+logstash+kibana部署

winter1519 winter1519     2023-03-11     296

关键词：

这篇博客讲的是elasticsearch+logstash+kibana部署的方法。

内容大纲：

1、elasticsearch+logstash+kibana部署

2、收集Tomcat日志

3、收集tcp日志

一、elasticsearch+logstash+kibana部署

1、elasticsearch部署

由于条件有限，这三个组件都装在同一台机器上面。

系统版本：

elasticsearch-6.7.0、logstash-6.7.0、kibana-6.7.0-linux-x86_64

[[email protected] ~]# cd /usr/local/elasticsearch-6.7.0/
[[email protected] elasticsearch-6.7.0]# ls
bin  config  lib  LICENSE.txt  logs  modules  NOTICE.txt  plugins  README.textile
[[email protected] elasticsearch-6.7.0]# vim config/elasticsearch.yml

[[email protected] elasticsearch-6.7.0]# grep ‘^[a-z]‘ config/elasticsearch.yml
cluster.name: my-application
node.name: node-1
path.data: /elk/data
path.logs: /elk/logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"

[[email protected] ~]# mkdir -p /elk/data/ /elk/logs/
[[email protected] ~]# useradd elasticsearch
[[email protected] ~]# chown -R elasticsearch:elasticsearch /elk/
[[email protected] ~]# chown -R elasticsearch:elasticsearch /usr/local/elasticsearch-6.0.0
[[email protected] ~]# su - elasticsearch
[[email protected] ~]$ cd /usr/local/elasticsearch-6.0.0/
[[email protected] bin]$ ./elasticsearch -d           后台启动，此时启动不了，需要修改一下配置

[[email protected] ~]# vim /etc/security/limits.conf    重启参数才能生效

*        hard    nofile           65536
*        soft    nofile           65536
*        soft    memlock          unlimited
*        hard    memlock          unlimited

[[email protected] ~]# vim /etc/sysctl.conf
vm.max_map_count=262144
[[email protected] ~]# sysctl -p    参数生效

切换用户之后重新启动，查看进程和监听端口
[[email protected] ~]# ps -ef|grep java                               查看进程
elastic+   6750      1  1 12:29 pts/2    00:02:30 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -XX:+HeapDumpOnOutOfMemoryError -Des.path.home=/usr/local/elasticsearch-6.0.0 -Des.path.conf=/usr/local/elasticsearch-6.0.0/config -cp /usr/local/elasticsearch-6.0.0/lib/* org.elasticsearch.bootstrap.Elasticsearch -d

[[email protected] ~]# netstat -tlunp|grep java                   查看端口
tcp6       0      0 :::9200                 :::*                    LISTEN      6750/java           
tcp6       0      0 :::9300                 :::*                    LISTEN      6750/java

[[email protected] ~]# curl 192.168.209.7:9200       查看信息

  "name" : "node-1",
  "cluster_name" : "my-application",
  "cluster_uuid" : "Z3TOUu0jTUiCSHsuFJsv_g",
  "version" :
    "number" : "6.0.0",
    "build_hash" : "8f0685b",
    "build_date" : "2017-11-10T18:41:22.859Z",
    "build_snapshot" : false,
    "lucene_version" : "7.0.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  ,
  "tagline" : "You Know, for Search"

2、kibana部署：

[[email protected] ~]# cd /usr/local/src/kibana-6.7.0-linux-x86_64/
[[email protected] kibana-6.7.0-linux-x86_64]# grep ‘^[a-z]‘ config/kibana.yml
server.port: 5601
server.host: "192.168.199.7"
elasticsearch.url: "http://192.168.199.7:9200"
kibana.index: ".kibana"
[[email protected] ~]# useradd kibana
[[email protected] ~]# chown -R kibana:kibana /usr/local/src/kibana-6.7.0-linux-x86_64

[[email protected] ~]# su - kibana
[[email protected] ~]$ cd /usr/local/src/kibana-6.7.0-linux-x86_64/bin/
[[email protected] bin]$ nohup ./kibana &
[[email protected] ~]# ps -ef|grep kibana
kibana     3704      1  2 12:20 pts/1    00:08:52 ./../node/bin/node --no-warnings --max-http-header-size=65536 ./../src/cli
[[email protected] ~]# netstat -tlunp|grep 5601
tcp        0      0 192.168.199.7:5601      0.0.0.0:*               LISTEN      3704/./../node/bin/

在页面访问：

技术图片

kibana部署完成。

3、logstash部署

[[email protected] ~]# cd /usr/local/src/logstash-6.7.0/
自己写一下配置文件

[[email protected] logstash-6.7.0]# cat config/tomcat.conf
input
     file
        path => ["/app/tomcat/logs/*"]
    type => "tomcat-access-log-5612"
        start_position => "beginning"
    stat_interval => "2"
    codec => "json"
    



output
       elasticsearch
          hosts => ["192.168.199.7:9200"]
          index => "logstash-tomcat-access-log-5612-%+YYYY.MM.dd"
      
    file
      path => "/tmp/tomcat.txt"
    

[[email protected] logstash-6.7.0]# ./bin/logstash -f config/tomcat.conf -t    测试一下配置文件是否正确
Sending Logstash logs to /usr/local/src/logstash-6.7.0/logs which is now configured via log4j2.properties
[2019-04-05T19:04:13,134][WARN ][logstash.config.source.multilocal] Ignoring the ‘pipelines.yml‘ file because modules or command line options are specified
Configuration OK
[2019-04-05T19:04:37,134][INFO ][logstash.runner          ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash
有这个字段（Configuration OK）表示没有问题，去掉-t之后就可以启动了。

logstash部署完成。

 

二、收集Tomcat日志。

简单安装一下Tomcat

[[email protected] ~]# cd /app/apache-tomcat-8.5.35/
[[email protected] ~]# cd /app/
[[email protected] app]# ln -sv /app/apache-tomcat-8.5.35 /app/tomcat
[[email protected] app]# ll
总用量 0
drwxr-xr-x. 9 root root 220 4月   5 12:40 apache-tomcat-8.5.35
lrwxrwxrwx. 1 root root  25 4月   5 12:41 tomcat -> /app/apache-tomcat-8.5.35
[[email protected] app]# cd tomcat/webapps/
[[email protected] webapps]# rm -rf *
[[email protected] webapps]# mkdir test
[[email protected] test]# cat index.html
tomcat page
[[email protected] bin]# cd /app/tomcat/bin/
[[email protected] bin]# ./startup.sh
[[email protected] bin]# netstat -tlunp|grep 8080
tcp6       0      0 :::8080                 :::*                    LISTEN      10106/java
页面访问：
技术图片

技术图片

 技术图片

技术图片

 

启动一下logstash让日志传过来，然后在页面查看：

技术图片

此时就有了日志。

logstash上报数据到elasticsearch(代码片段)

logstash上报数据到elasticsearch前提是已经安装、部署完logstash和elasticsearchWindows安装启动logstash_zhangphil的博客-CSDN博客_logstashwindows安装Windows安装启动logstash(1)下载logstash，下载链接：DownloadLogstashFree|GetStartedN 查看详情

用elasticsearch,logstash,kibana搭建实时日志收集系统

用ElasticSearch,LogStash,Kibana搭建实时日志收集系统介绍这套系统，logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。logstash收集进程收获日志文件内容后，先输出到redis中... 查看详情

elasticsearch+logstash+kibana(代码片段)

ElasticSearch+Logstash+kibana 1、介绍：　　Logstash：搬运工　　ElasticSearch：搜索引擎　　Kilbana：可视化系统 　　ElasticSearch是基于lucene的搜索框架，它提供了一个分布式多用户能力的全文搜索引擎。　　基于restfulweb接口　　上... 查看详情

logstash：如何配置metricbeat及logstash为elasticsearch8.x收集数据

如何配置Metricbeat及Logstash为Elasticsearch8.0收集数据如何配置Metricbeat及Logstash为Elasticsearch8.0收集数据_哔哩哔哩_bilibili 查看详情

使用logstash同步数据至elasticsearch，springboot中集成elasticsearch实现搜索

安装logstash、同步数据至ElasticSearch为什么使用logstash来同步，CSDN上有一篇文章简要的分析了以下几种同步工具的优缺点：https://blog.csdn.net/laoyang360/article/details/51694519。下面开始实践：　　1.下载Logstash安装包，需要注意版本与elast... 查看详情

读取 Logstash 日志但不会推送到 elasticsearch

】读取Logstash日志但不会推送到elasticsearch【英文标题】：Logstashlogsarereadbutarenotpushedtoelasticsearch【发布时间】：2019-12-0312:10:20【问题描述】：我有以下logstash配置：inputfilecodec=>"json_lines"path=>["/etc/logstash/input.log"]sincedb_path=>" 查看详情

filebeat+logstash+elasticsearch+granfa(代码片段)

filebeat+logstash+elasticsearch+granfahttps://www.cnblogs.com/wenchengxiaopenyou/p/9034213.html一。背景前端web服务器为nginx，采用filebeat+logstash+elasticsearch+granfa进行数据采集与展示，对客户端ip进行地域统计，监控服务器响应时间等。二。业务整体架... 查看详情

filebeat+logstash+elasticsearch收集haproxy日志

...，传输到kafka，在用logstash从消息队列中抓取日志存储到elasticsearch中。但是在5.5版本中，使用filebeat收集日志，减少对客户机的性能影响，filebeat收集日志传输到logstash的5044端口，logstash接收日志，然后传输 查看详情

如何在elasticsearch中查看logstash打到elasticsearch的数据

 #catsyslog02.conf#filename:syslog02.conf#注意这个是要用#号注释掉input{file{path=>["/var/log/*.log"]}}output{elasticsearch{hosts=>["12x.xx.15.1xx:9200"]}}查看配置文件是否有问题:#../bin/logstash-fsyslog02.conf-tS 查看详情

elasticsearch+logstash+kibana搭建教程

#ELK：Elasticsearch+Logstash+Kibana搭建教程Shipper：日志收集者。负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到Redis暂存。Indexer：日志存储者。负责从Redis接收日志，写入到本地文件。Broker：日志Hub，用来... 查看详情

logstash导入数据到elasticsearch

一：在Windows环境　　1下载解压Logstash的压缩包     2将oracle的驱动放入Logstash的解压包中     3在Logstash的包中创建jdbc.conf     4整理sql语句在一个文件下  &nb 查看详情

elasticsearch数据库同步插件logstash

 　　1.下载和elasticsearch相同版本的logstash.　　2.进行解压后,进入bin下,新建一个文件mysql.conf,并输入inputstdinoutputstdout3.cmd进入bin下,输入logstash-fmysql.conf 启动后,输入　　http://127.0.0.1:9600/4.ok;说明已经启动了   查看详情

Logstash 将所有内容放入所有 Elasticsearch 索引中

】Logstash将所有内容放入所有Elasticsearch索引中【英文标题】：LogstashputseverythingintoallElasticsearchindexes【发布时间】：2017-05-1007:32:05【问题描述】：我在/etc/logstash/conf.d下有4个文件。这4个文件用于读取tomcat的日志和apache的日志，监... 查看详情

logstash同步mysql数据到elasticsearch(代码片段)

目录1MySql数据到Elasticsearch1.1下载logstash1.2解压logstash1.3在logstash目录创建mysql文件夹1.4将mysql驱动文件和数据库查询文件放进mysql中1.5在config目录下创建mysqltoes.conf文件1.6mysqltoes.conf配置1.7启动logstash2配置语法讲解3启动方式4filebeat基... 查看详情

震惊全网的elk日志分析系统（齐全详细理论+搭建步骤图释）(代码片段)

...、前言概述与基础理论1.1ELK系统简介1.2ELK日志工作原理1.3Elasticsearch、Logstash、Kibana详细介绍1.3.1Elasticsearch1.3.2Logstash1.3.3Kibana二、ELK日志分析系统搭建2.1实验环境2.2部署Elasticsearch软件（node1和node2都需部署）2.3安装elasticsearc... 查看详情

从 Logstash 在 Elasticsearch 上使用 geopoint

】从Logstash在Elasticsearch上使用geopoint【英文标题】：UsinggeopointonElasticsearchfromLogstash【发布时间】：2019-04-2113:29:46【问题描述】：我想在docker的elk堆栈中使用geoip。根据这个文档，我添加了配置https://www.elastic.co/blog/geoip-in-the-elastic-... 查看详情

logstash+kibana+多elasticsearch集群部署(代码片段)

ELK原理与介绍?ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash... 查看详情

Logstash 拆分日志并单独插入到elasticsearch中

】Logstash拆分日志并单独插入到elasticsearch中【英文标题】：Logstashsplitlogandinsertitseparatelyintoelasticsearch【发布时间】：2021-09-1405:55:54【问题描述】：我正在编写一个logstash配置文件，而我收到的一个日志给我带来了问题，团队向我... 查看详情