正文 

当前位置： 首页 > java > java教程

k8s日志收集：es集群安装(代码片段)

不忘初心-铃 不忘初心-铃     2022-11-06     307

关键词：

集群设备

ip role
192.168.19.93 master、data
192.168.19.94 data

安装java

elasticsearch 需要java环境

elasticsearch-6.x 要求java版本1.8.0_131 or later

rpm  -ivh http://192.168.19.111:8080/panjunbai/jdk-8u141-linux-x64.rpm

安装elasticsearch

可以使用yum源安装，也可以下载rpm包直接安装

cat /etc/yum.repos.d/elastic.repo 
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

yum install -y  elasticsearch
rpm -ivh http://192.168.19.111:8080/panjunbai/elasticsearch-6.2.4.rpm

配置elasticsearch通用配置

配置java运行内存大小，修改/etc/elasticsearch/jvm.options文件中-Xms -Xmx的值，为java虚拟机运行的内存最小和最大值，必须相同。其他使用默认值即可。

[[email protected] elasticsearch]# cat /etc/elasticsearch/jvm.options |grep "^-Xm"
-Xms6g
-Xmx6g

创建elasticsearch运行的日志路径和数据路径

[[email protected] elasticsearch]# mkdir /data/es-data
[[email protected] elasticsearch]# mkdir /data/es-log
[[email protected] elasticsearch]# chown -R elasticsearch.elasticsearch /data

192.168.19.93 elasticsearch 配置

[[email protected] elasticsearch]# cat elasticsearch.yml |grep -v "^#"
cluster.name: test-panjunbai
node.name: node-94
path.data: /data/es-data
path.logs: /data/es-log
network.host: 192.168.19.94
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.19.93", "192.168.19.94"]
discovery.zen.minimum_master_nodes: 1
node.master: true
node.data: true

192.168.19.94 elasticsearch 配置

[[email protected] elasticsearch]# cat elasticsearch.yml
cluster.name: test-panjunbai
node.name: node-93
path.data: /data/es-data
path.logs: /data/es-log
network.host: 192.168.19.93
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.19.93", "192.168.19.94"]
discovery.zen.minimum_master_nodes: 1
node.master: false
node.data: true

在192.168.19.93、192.168.19.94 启动elasticsearch

systemctl start elasticsearch

启动成功后访问结果

[[email protected] es-log]# curl 192.168.19.93:9200

  "name" : "node-93",
  "cluster_name" : "test-panjunbai",
  "cluster_uuid" : "joXSilqGTiyvah-VcIqlYQ",
  "version" : 
    "number" : "6.2.4",
    "build_hash" : "ccec39f",
    "build_date" : "2018-04-12T20:37:28.497551Z",
    "build_snapshot" : false,
    "lucene_version" : "7.2.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  ,
  "tagline" : "You Know, for Search"



[[email protected] es-log]# curl 192.168.19.94:9200

  "name" : "node-94",
  "cluster_name" : "test-panjunbai",
  "cluster_uuid" : "joXSilqGTiyvah-VcIqlYQ",
  "version" : 
    "number" : "6.2.4",
    "build_hash" : "ccec39f",
    "build_date" : "2018-04-12T20:37:28.497551Z",
    "build_snapshot" : false,
    "lucene_version" : "7.2.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  ,
  "tagline" : "You Know, for Search"

k8s日志收集：logstash安装(代码片段)

下载logstashwgethttps://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.rpmrpm-ivhhttp://192.168.19.111:8080/panjunbai/logstash-6.2.4.rpm编写配置文件[[email protected]logstash]#cat/etc/logstash/co 查看详情

k8s日志收集：kibana安装(代码片段)

下载官方docker镜像https://hub.docker.com/r/library/kibana/dockerpullkibana:5.69dockertagkibana:5.69192.168.19.111/baseimages/kibana:5.69dockerpush192.168.19.111/baseimages/kibana:5.69启动kibana镜像dockerrun--na 查看详情

k8s~为pod添加sidecar进行日志收集(代码片段)

...服务会对应一类pod，而pod通过rs实现副本集，而这些pod的日志一般有控制台stdout和文件的，一般会把这些日志最终输出到elasticsearch里，再通过kabana进行分析，而在实现由pod到elasticsearch（es）时有多种方法，下面我列举一下：直接... 查看详情

k8s日志收集：head插件安装(代码片段)

下载nodewgethttps://npm.taobao.org/mirrors/node/v6.9.5/node-v6.9.5-linux-x64.tar.gztarxfnode-v6.9.5-linux-x64.tar.gz添加环境变量[[email protected]~]#cat/etc/profileexportNODE_HOME=/root/node-v6.9.5-linux 查看详情

k8s使用filebeat统一收集应用日志(代码片段)

...对应用整合进pod提出了几个问题，主要围绕在java应用的日志统一收集、集中存放和javajvm内存监控数据收集相关的点上，本文将介绍使用filebeat实现pod日志的统一收集，集中存放使用集群外的elasticsearch，后续可以加上kibana及模板... 查看详情

docker：elk+kibana日志收集系统(代码片段)

1、简述ELK作为一套日志收集工具，顾名思义，ELK包含了三个开源工具，它们分别是elasticsearch、logstash、kibana，其中elasticsearch是一款搜索和数据分析引擎，Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据... 查看详情

部署elk+kafka+filebeat日志收集分析系统(代码片段)

ELK+Kafka+Filebeat日志系统文章目录ELK+Kafka+Filebeat日志系统1.环境规划2.部署elasticsearch集群2.1.配置es-1节点2.2.配置es-2节点2.3.配置es-3节点2.4.使用es-head插件查看集群状态3.部署kibana4.部署zookeeper4.1.配置zookeeper-1节点4.2.配置zo... 查看详情

k8s集群之日志收集efk架构

k8s集群之日志收集EFK架构参考文档http://tonybai.com/2017/03/03/implement-kubernetes-cluster-level-logging-with-fluentd-and-elasticsearch-stack/https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/flu 查看详情

elk日志收集(代码片段)

ELK日志系统整体架构： 结构解读：整个架构从左到右，总共分为5层最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给多个kafka服务。第二层、数据缓存层，把数据转存到本地的kafkabroke... 查看详情

k8s日志收集：生产日志(代码片段)

修改docker启动的log参数修改文件/etc/sysconfig/docker--log-driver=json-file创建一个deploymentapiVersion:extensions/v1beta1kind:Deploymentmetadata:name:busybox-log-dmspec:replicas:3strategy:rollingUpdate:maxSurge:2max 查看详情

k8s日志的收集(代码片段)

filebeat的ConfigMap的文件[root@lasoyaml]#catconfigmap.yamlapiVersion:v1kind:ConfigMapmetadata:name:filebeat-configdata:filebeat.yml:|filebeat.prospectors:-input_type:logpaths:-"/log/*"fields:type:"filebet 查看详情

k8s~fluentd从kafka到elk(代码片段)

有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。我的k8s-fluentd的相关文章k8s~部署EFK框架k8s~为服务添加sidecar边... 查看详情

1.es简介,安装

  ElasticSearch:用于存储和搜索日志,分析日志LogStash:用于收集日志(把所有日志收集到一个地方)Kibana:用于日志的web展示ElasticSearch简介: ElasticSearch集群: 环境:centos7方式:1.安装https://www.elastic.co/guide/en/elasticsearch/referen 查看详情

k8s日志收集-利用hostname环境变量对多个pod挂载不同目录方案(代码片段)

k8s的日志收集有多种方案，其中一种是将pod的日志挂载到node节点，然后在node节点运行单独的日志收集客户端，将日志收集并分发到其他日志分析服务如elasticsearch上。1、阿里云k8s部署服务日志挂载参数注释：启动后处理：是pod... 查看详情

k8s搭建efk日志管理系统(代码片段)

efk就是目前比较受欢迎的日志管理系统。kubernetes可以实现efk的快速部署和使用，通过statefulset控制器部署elasticsearch组件，用来存储日志数据，还可通过volumenclaimtemplate动态生成pv实现es数据的持久化。通过deployment部署kibana组件，... 查看详情

k8s部署elk（es集群需提前安装好,版本6.8.2）(代码片段)

...s|grep镜像名),es集群地址填写实际地址!部署kibana,提供存储日志展示ui界面部署svc,使用NodePort对外暴露端口，可被外部访问。vimhqs-kibana-svc.yaml(编写kibanasvcyaml文件）apiVersion:v1kind:Servicemetadata:creationTimestamp:nulllabels:app:hqs-kibanan... 查看详情

elk采集mysql慢日志实现(代码片段)

文章目录一、ELK采集MySQL慢日志架构二、filebeat三、logstash四、es+kibana一、ELK采集MySQL慢日志架构MySQL服务器安装Filebeat作为agent收集slowLogFilebeat读取MySQL慢日志文件做简单过滤传给Kafka集群Logstash读取Kafka集群数据并按字段拆分后... 查看详情

k8s日志收集：在k8s创建fluentd的ds(代码片段)

下载fluentd的imageshttps://hub.docker.com/r/fluent/fluentd-kubernetes-daemonset/dockerpull192.168.19.111/baseimages/fluentd-kubernetes-daemonset:v0.12-alpine-elasticsearch由于镜像没有kafka插件修改镜像，dockerfile文件如下 查看详情