正文

elk部署

xiao2er  xiao2er  2023-03-09  131

关键词：

官网地址:https://www.elastic.co/cn/

ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询

二，部署环境

系统：Centos 7.4

IP：192.168.1.88

安装： elasticsearch、logstash、Kibana

三，安装Elasticsearch

1，安装jdk (java环境必须是1.8版本以上的)

rpm -ivh jdk-8u161-linux-x64.rpm

2，下载elasticsearch-6.2.4.tar.gz

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz

3，安装

tar -zxvf elasticsearch-6.2.4.tar.gz -C /usr/local/
mv /usr/local/elasticsearch-6.2.4/ /usr/local/elasticsearch
useradd elk
chown -R elk.elk /usr/local/elasticsearch/

4,修改配置

#vim /usr/local/elasticsearch/config/elasticsearch.yml
#修改
network.host: 0.0.0.0
#添加
http.cors.enabled: true
http.cors.allow-origin: "*"

#vim /etc/security/limits.conf
#添加
* soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096

#vim /etc/sysctl.conf
#添加
vm.max_map_count=655360 

sysctl -p

6，测试

技术图片

四，安装Logstash

1，下载logstash-6.2.4.tar.gz

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz

2，解压安装

tar -zxvf logstash-6.2.4.tar.gz -C /usr/local/
mv /usr/local/logstash-6.2.4/ /usr/local/logstash

3，创建logstash.conf配置文件

vim /usr/local/logstash/config/logstash.conf
#输入
input 
    file 
        path => "/var/log/messages"
        type => "syslog_messages"
        

    file 
        path => "/var/log/secure"
        type => "syslog_secure"
        

    
#过滤
filter 
    mutate 
    # 替换元数据host的值
        replace => ["host", "192.168.1.88"]
        
    

#输出
output 
    elasticsearch 
        hosts => ["192.168.1.88:9200"]
        index => "system-%+YYYY.MM.dd"

        
    #终端标准输出
    #stdout  codec => rubydebug

4，启动

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash.conf

五，安装kibana

1,下载kibana-6.2.4

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz

2，解压安装

tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz -C /usr/local/
mv /usr/local/kibana-6.2.4-linux-x86_64 /usr/local/kibana

3，配置

vim /usr/local/kibana/config/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.1.191:9200"
kibana.index: ".kibana"

4,启动

nohup /usr/local/kibana/bin/kibana &

elk企业级日志分析系统概述及部署(代码片段)

ELK企业级日志分析系统概述及部署一、ELK日志分析系统概述1、ELK简介2、为什么要使用ELK？3、完整日志系统基本特征4、ELK的工作原理5、ELK日志处理步骤二、Elasticsearch概述1、Elasticsearch特性三、LogStash概述1、LogStash主要组件四... 查看详情

elk服务搭建（开源实时日志分析elk平台部署）（低版本—简单部署）

开源实时日志分析ELK平台部署日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能... 查看详情

elk部署详解--filebeat

filebeat.yml######################FilebeatConfigurationExample##########################Thisfileisanexampleconfigurationfilehighlightingonlythemostcommon#options.Thefilebeat.reference.ymlfilefromthesa 查看详情

elk日志收集部署

ELK日志收集部署1. 时间同步：ntpdatepool.ntp.orgecho‘*/5****ntpdatepool.ntp.org’>>/var/spool/cron/root2. 关闭防火墙和selinux/etc/init.d/iptables stopchkconfigiptablesoffSed– 查看详情

elk部署详解--kibana

kibana.yml#Kibanaisservedbyabackendserver.Thissettingspecifiestheporttouse.#端口server.port:5601#SpecifiestheaddresstowhichtheKibanaserverwillbind.IPaddressesandhostnamesarebothvalidvalues.#Thedefaultis 查看详情

开源实时日志分析elk平台部署

开源实时日志分析ELK平台部署时间 2015-07-2117:13:10 51CTO推荐博文原文 http://baidu.blog.51cto.com/71938/1676798主题 Logstash ElasticSearch 开源开源实时日志分析ELK平台部署日志主要包括系统日志、应用程序日志... 查看详情

elk进阶部署

虚拟机两台：192.168.1.42192.168.1.46系统环境保持一致：cat/etc/redhat-releaseuname-a elk准备环境保持一致：elasticsearch安装：下载并安装GPGkeyrpm--importhttps://packages.elastic.co/GPG-KEY-elasticsearch添加yum源：安装elasticsearc 查看详情

elk部署实施

ELK核心组成简介![]1.2、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜... 查看详情

elk企业级日志分析系统(代码片段)

...简介ELK的作用完整日志系统基本特征ELK的工作原理ELK集群部署ELKElasticsearch集群部署（在Node1、Node2节点上操作）ELKLogstash部署（在Apache节点上操作）ELKKiabana部署（在Node1节点上操作）ELK概述ELK简介ELK平查看详情

elk企业级日志分析系统(代码片段)

搭建部署分布式elk平台

搭建部署分布式ELK平台ELK是什么？ELK其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写 –Elasticsearch:负责日志检索和储存 –Logstash:负责日志的收集和分析、处理 &n... 查看详情

elk部署elk+filebeat日志收集分析系统(代码片段)

说明：此安装流程只适用于8.0.0以下的版本1.ElasticSearch部署1.1下载ElasticSearch的wget指令：wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.4-linux-x86_64.tar.gz1.2解压安装包到指定目录指定解压缩到/usr/ 查看详情

elk部署

master端：elasticsearch+logstash+redis+kibanaslave端：logstash+nginxor logstash+rsyslog1.slave端收集nginx、syslog日志通过logstash写入到master上的redis中2.master上的logstash读取redis中的日志输出到elastic，kibana再匹配读取elastic上内容查看详情

elk部署详解--logstash

logstash.yml#SettingsfileinYAML##Settingscanbespecifiedeitherinhierarchicalform,e.g.:##pipeline:#batch:#size:125#delay:5##Orasflatkeys:##pipeline.batch.size:125#pipeline.batch.delay:5##------------Nod 查看详情

elk实时日志分部署(代码片段)

ELK简介“ELK”是三个开源项目的首字母缩写：Elasticsearch，Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是一个服务器端数据处理管道，它同时从多个源中提取数据，对其进行转换，然后将其发送到像Elasticsearch这样的... 查看详情

elk部署实战

第1章环境准备1.1系统环境[[email protected] ~]# cat /etc/redhat-releaseCentOS Linux release 7.3.1611 (Core)[[email protected] ~]# uname -r3.10.0-514.2. 查看详情

elk日志系统部署实现(代码片段)

文章目录1.前言2.ELK服务安装部署2.1Log4j配置2.2Filebeat配置2.2.1Filebeat数据流转2.2.2Filebeat部署运行2.3Kafka配置2.3.1Kafka与Zookeeper2.3.2Zookeeper的作用2.3.3Kafka数据流转2.3.4Kafka安装部署2.3.5Kafka优化2.4Logstash配置与数据流转2.4.1Logstash数据流转... 查看详情