正文

docker部署elk与使用(代码片段)

慢慢进步的java小白  慢慢进步的java小白  2023-03-02  328

关键词：

ELK搭建与使用

Docker 安装 Elasticsearch

拉取镜像
docker pull elasticsearch:7.1.1
创建自定义的网络(用于连接到连接到同一网络的其他服务）
docker network create somenetwork
运行elasticsearch
docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” elasticsearch:7.1.1
查看容器状态
docker ps
检测 elasticsearch 是否启动成功
curl 127.0.0.1:9200

Docker 安装 Kibana

拉取镜像
docker pull kibana:7.1.1
运行Kibana
docker run -d --name kibana --net somenetwork -p 5601:5601 kibana:7.1.1
浏览器访问测试
http://10.0.0.101:5601/

Docker 安装 Logstash

拉取镜像
docker pull logstash:7.1.1
创建目录用于存放配置文件(标准商城 bin>docker)
启动Logstash 映射上一步创建的目录
docker run -it -d -p 5044:5044 --name logstash --net somenetwork
-v /root/docker/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml
-v /root/docker/logstash/conf.d/:/usr/share/logstash/conf.d/
-v /usr/mydata/app/logs/:/usr/mydata/app/logs/ \\

索引模式

es自动创建索引使用配置文件
创建索引
索引查询，实时查询索引根据刚刚添加的
通过开发工具查询

GET 索引名称/_search

（1）. 按条件查询全部


  "query": 
    "match_all":

（2）. 按字段的分词查询


  "query": 
    "match": 
      "message": "honghai"

（3）. 按照短语查询是指, 匹配某个 field 的整个内容, 不再利用分词技术


  "query": 
    "match_phrase": 
      "message": "honghai"

（4）. 模糊查询


  "query": 
    "fuzzy": 
      "message":"honghai"

（5）. 指定查询的字段


  "query": "match_all": 
    , "_source": ["message", "score"]

查看实时日志

日志规范

日志级别
error：错误日志，指比较严重的错误，对正常业务有影响，需要运维配置监控的；
warn：警告日志，一般的错误，对业务影响不大，但是需要开发关注；
info：信息日志，记录排查问题的关键信息，如调用时间、出参入参等等；
debug：用于开发DEBUG的，关键逻辑里面的运行时数据；
trace：最详细的信息，一般这些信息只记录到日志文件中。
日志要打印出方法的入参、出参
建议使用参数占位，而不是用+拼接。
不要使用e.printStackTrace(),异常日志不要只打一半，要输出全部错误信息
禁止在线上环境开启 debug
不要记录了异常，又抛出异常
避免重复打印日志
日志文件分离
核心功能模块，建议打印较完整的日志

elk-filebeat收集docker容器日志(代码片段)

目录使用docker搭建elkfilebeat安装与配置docker容器设置参考文章首发地址使用docker搭建elk1、使用docker-compose文件构建elk。文件如下：version:‘3‘services:elk:image:sebp/elk:640ports:-"5601:5601"-"9200:9200"-"5044:5044"environment:-ES_JAVA_OPTS= 查看详情

docker安装部署elk教程(elasticsearch+kibana+logstash+filebeat)(代码片段)

作者：万能付博链接：Docker安装部署ELK教程(Elasticsearch+Kibana+Logstash+Filebeat)ELK是由Elasticsearch、Logstash和Kibana三部分组件组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索... 查看详情

用elk工具收集rancher1.6上容器日志(代码片段)

前言rancher1.6部署的docker集群，在rancher的界面上也能看到日志：但是rancher上看到的日志容量有限，只要稍微早一点的日志，就无法查看了，需要手动到服务器上使用dockerlogs查看日志，不太方便，因此搭建一个elk来收集rancher上部... 查看详情

docker安装部署elk教程(elasticsearch+kibana+logstash+filebeat)(代码片段)

...千台机器的数据发送到Logstash或Elasticsearch。 Docker镜像统一从 https://hub.docker.com/ 下载（安装时请使用统一版本）一、Docker安装Elasticsearch官网镜像地址：https://hub.docker.com/_/elasticsearch找到目前最新的(Tags)是7... 查看详情

elk——elasticstack日志分析平台(代码片段)

...受Beats的输入ES集群基本介绍集群概述集群基本概念集群部署Kibana部署调试ELK日志采集与分析系查看详情

消息队列(mq)与kafaka概述(filebeat+kafka+elk部署)(代码片段)

...（MQ）与kafaka概述（Filebeat+Kafka+ELK）部署一、消息队列(MQ)概述1、为什么需要消息队列(MQ)？2、使用消息队列的好处3、消息队列的两种模式二、Kafka定义1、Kafka简介2、Kafka的特性3、kafaka系统架构三、部署Zo... 查看详情

linux12elk--＞02elasticsearch部署(代码片段)

...#xff08;单台测试）7、启动服务二、安装集群head插件1、docker安装2、设置elasticsearch跨越访问三、部署elastics 查看详情

gitbook安装与使用，并使用docker部署(代码片段)

本文简单介绍如何安装并使用gitbook，最后如何使用docker构建书籍镜像。1.前置条件需要Nodejs环境，安装npm，国内用户再安装cnpmnpminstall-gcnpm--registry=https://registry.npm.taobao.org2.安装gitbookcnpminstall-ggitbook-cligitbook-VCLIversion:2.3.2Installi 查看详情

elk日志系统部署实现(代码片段)

文章目录1.前言2.ELK服务安装部署2.1Log4j配置2.2Filebeat配置2.2.1Filebeat数据流转2.2.2Filebeat部署运行2.3Kafka配置2.3.1Kafka与Zookeeper2.3.2Zookeeper的作用2.3.3Kafka数据流转2.3.4Kafka安装部署2.3.5Kafka优化2.4Logstash配置与数据流转2.4.1Logstash数据流转... 查看详情

elk日志系统部署实现(代码片段)

elk——使用docker快速搭建(代码片段)

前言"ELK"是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸... 查看详情

docker的介绍与部署(代码片段)

Docker的介绍与部署一、何为Docker？二、Docker的使用场景三、Docker三大重点四、CentOS下安装Docker1、安装依赖包2、设置阿里云镜像源3、安装和部署Docker服务a、配置阿里云加速3、查看docker信息4、查看docker信息5、镜像操作基础a... 查看详情

docker的部署与相关命令(代码片段)

Docker的部署与相关命令一、部署20版docker1、关闭防火墙及安全机制2、设置阿里云镜像源3、安装Docker-CE4、配置阿里云的镜像加速5、优化网络二、docker基础命令1、docker简单命令2、容器的操作3、私有仓库的操作4、Docker数据卷和数... 查看详情

在k8s集群部署elk(代码片段)

在k8s集群部署ELK目录1准备环境使用kubeadm或者其他方式部署一套k8s集群。在k8s集群创建一个namespace：halashowkubectlcreatenshalashow2ELK部署架构3部署elasticSearch这是一个单节点部署，高可用方案我在研究研究。。。es与mysql的概念对应关... 查看详情

elk日志系统部署实现(代码片段)

docker网络管理与本地私有registry创建部署(代码片段)

概述上一篇博客大致描述了docker的原理与传统虚拟机的使用，以及docker基本使用，本文主要描述docker的网络管理及重点介绍docker本地(内部)registry仓库的搭建及私有registry，用来统一保存与管理企业docker镜像;docker网络docker网络分... 查看详情

elk完整部署和使用-每天5分钟玩转docker容器技术（90）

...都有自己的日志文件，容器也不例外。前面我们已经知道Docker会将容器日志记录到 /var/lib/docker/containers/<contarinerID>/<contarinerID>-json.log，那么只要我们能够将此文件发送给ELK就可以实现日志管理查看详情