dockerelk安装部署使用教程

Soar.py Soar.py     2022-08-31     719

关键词:

一、简介

1、核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成;

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

 

Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用

 

kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

2、四大组件

Logstash: logstash server端用来搜集日志;

 

Elasticsearch: 存储各类日志;

 

Kibana: web化接口用作查寻和可视化日志;

 

Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server;

 

3、ELK工作流程

在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

 

wKioL1YWGBnxpAwyAAGFWRpT6X8070.jpg

4、ELK的帮助手册

Docker Hub官网:https://hub.docker.com/r/sebp/elk/

Docker ELK使用文档:http://elk-docker.readthedocs.io/

5、安装前提条件:

Docker至少得分配3GB的内存;

Elasticsearch至少需要单独2G的内存;

防火墙开放相关端口;

vm.max_map_count至少需要262144,附永久修改vm.max_map_count方法如下图:

 

执行命令:sysctl -p 查看

 

二、安装Docker ELK

1、执行命令:docker pull sebp/elk 将镜像pull到本地来;

2、执行命令:docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -e ES_MIN_MEM=128m  -e ES_MAX_MEM=1024m -it --name elk sebp/elk 将镜像运行为容器,由于我本机内存不符合安装要求,为了保证ELK能够正常运行,加了-e参数限制使用最小内存及最大内存。

3、打开浏览器,输入:http://<your-host>:5601,看到如下界面说明安装成功

 三、配置使用

1、使用命令:docker exec -it <container-name> /bin/bash 进入容器内

2、执行命令:/opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }'

  注意:如果看到这样的报错信息 Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting. 请执行命令:service logstash stop 然后在执行就可以了。

3、当命令成功被执行后,看到:Successfully started Logstash API endpoint {:port=>9600} 信息后,输入:this is a dummy entry 然后回车,模拟一条日志进行测试。

4、打开浏览器,输入:http://<your-host>:9200/_search?pretty 如图,就会看到我们刚刚输入的日志内容

5、打开浏览器,输入:http://<your-host>:5601 点击创建

  6、看到如下界面,到此安装结束。

 

jenkins项目部署使用教程-----01安装

基本配置:1、Linux安装配置jdk环境1.1、上传到Linux服务器;例如:上传至:cd/usr/local1.2、解压:rpm-ivhjdk-8u111-linux-x64.rpm1.3、环境变量配置cd/etc在etc下,找到profile文件,增加如下如下配置:#setjavaenvironmentJAVA_HOME=/usr/java/jdk1.8.0_111CLA... 查看详情

elasticsearch安装部署以及插件head安装,和使用教程

1.环境初始化最小化安装Centos7.3x86_64操作系统的虚拟机,vcpu2,内存4G或更多,操作系统盘50G,主机名设置规则为linux-hostX.exmaple.com,其中host1和host2为elasticsearch服务器,为保证效果特额外添加一块单独的数据磁盘大小为50G并格式... 查看详情

dockerelk

修改/etc/sysctl.conf。要永久设置vm.max_map_count值,vm.max_map_count=262144然后执行sysctl-p请更新中的设置要在重新启动后进行验证,请运行sysctlvm.max_map_count。    查看详情

java并发原理解析!dockerelk微服务

01Kakfa面试疯狂轰炸44问1.1Kakfa基础面试篇1.Kafka的用途有哪些?使用场景如何?2.Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么3.Kafka中的HW、LEO、LSO、LW等分别代表什么?4.Kafka中是怎么体现消息顺序性的?5.Kafka... 查看详情

unity3d中tolua的“安装部署和使用“教程

...万事开头难,中间难,最后难……我反正是没有找到如何安装使用tolua插件的教程。后来问的wp师哥,发现确实想多了,在这里写下来送给像我一样不会弄的同学。 具体是酱的:第一步,把冰箱门打开建个空项目;第二步,... 查看详情

window下redis的安装和部署详细图文教程(redis的安装和可视化工具的使用)(代码片段)

文章目录Redis下载地址:一、zip压缩包方式下载安装1、下载Redis压缩包2、解压到文件夹3、启动Redis服务4、打开Redis客户端进行连接5、使用一些基础操作来测试二、msi安装包方式下载安装1、下载Redis安装包2、进行安装3、进行... 查看详情

jira的安装部署教程

JIRA的安装部署教程https://www.cnblogs.com/sammisammi/p/10429245.html 查看详情

vmwarehorizon7安装部署教程

一.VMwareHorizon7介绍    通过Horizon,IT部门可以在数据中心部署虚拟化环境,并将这些环境交付给员工。最终用户可以获得熟悉的个性化环境,并且可以在企业或家庭网络中的任何地方访问此环境。将桌面数据全部至... 查看详情

rabbitmq消息队列系列教程windows下安装和部署rabbitmq

摘要本篇经验将和大家介绍Windows下安装和部署RabbitMQ消息队列服务器,希望对大家的工作和学习有所帮助!目录一、Erlang语言环境的搭建二、RabbitMQ服务环境的搭建三、RabbitMQ服务Web管理工具 一、Erlang语言环境的搭建RabbitMQ开... 查看详情

djangoblog部署教程(代码片段)

...户server编辑器使用vim,你可以使用你喜欢的编辑器。 安装ftp,把代码上传上去,路径就是~/python/DjangoBlog,注意连接阿里云的时候,使用ssh连接,端口22,准备工作升级系统首先需要升级系统到最新版,终端下执行:sudoaptupdat... 查看详情

使用kubeadm部署k8s(代码片段)

使用Kubeadm部署k8s本文参考官网教程,安装过程一波三折,几次想放弃,但又不甘心,一边翻着源码一边看着教程,最终才有了下面的内容。环境要求1.Ubuntu16.042核4G注意这里最好是2核,部署安装时发现单核导致ingress-nginx部分pod... 查看详情

hyperledgerfabric教程--部署fabric智能合约(代码片段)

...。想要验证交易或查询分类账的组织需要在其peer节点上安装链码。在加入通道的peer节点上安装链码后,通道成员可以将链码部署到通道,并使用链码中的智能合约在通道分类账上创建或更新资产。链码使用一个称为Fabric... 查看详情

docker最新超详细教程——安装与部署(代码片段)

Docker最新超详细教程——安装与部署安装DockerCentOS安装Docker1.卸载(可选)2. 安装yum工具3. 更新本地镜像源4.安装docker 5.注意事项关闭防火墙(重要!!!)Docker的使用1.通过命令启动docker2.输入命令&#... 查看详情

windows部署映像服务和管理(dism)使用教程(代码片段)

...用Dism自定义映像减压系统镜像文件.iso文件查看操作系统安装映像信息。 查看详情

intellijidea2018版热部署jrebel插件安装使用教程

一、什么是JRebel?    JRebel是一款热部署插件。 写的过程中我们需要不断调试,如果没有热部署,则我们每修改一次项目要重启一次,验证问题有没有得到解决。如果项目很小,启动只要几秒或十几秒,可能感... 查看详情

centos7下gitlab安装部署教程(代码片段)

一、前言1、GitLab是什么?GitLab一个开源的git仓库管理平台,方便团队协作开发、管理。在GitLab上可以实现完整的CI(持续集成)、CD(持续发布)流程。而且还提供了免费使用的Plan,以及免费的可以独... 查看详情

centos7下gitlab安装部署教程(代码片段)

一、前言1、GitLab是什么?GitLab一个开源的git仓库管理平台,方便团队协作开发、管理。在GitLab上可以实现完整的CI(持续集成)、CD(持续发布)流程。而且还提供了免费使用的Plan,以及免费的可以独... 查看详情

最新docker在centos7下安装部署(参考官方教程文档)(代码片段)

一、前言  Docker官方安装教程文档网址:https://docs.docker.com/engine/install/centos/本教程指导如何在Centos7下安装部署Docker,参考官方文档教程操作。  二、安装部署1、Docker旧版本称为docker或者docker-engine,如果安装了... 查看详情