k8s集群日志

puroc puroc     2022-08-01     140

关键词:

硬件环境:

三台虚拟机,

10.10.20.203 部署docker、etcd、flannel、kube-apiserver、kube-controller-manager、kube-scheduler、elsticsearch、kibana

10.10.20.206 部署docker、flannel、kubelet、kube-proxy、filebeat

10.10.20.207 部署docker、flannel、kubelet、kube-proxy、filebeat

 

【elsticsearch】

1、下载rpm安装包,wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.5/elasticsearch-2.3.5.rpm

2、安装,yum localinstall elasticsearch-2.3.5.rpm

3、修改配置文件,vi /etc/elasticsearch/elasticsearch.yml

network.host: 10.10.20.203

4、重启服务

systemctl enable elasticsearch.service
systemctl restart elasticsearch.service
systemctl status elasticsearch.service

【kibana】

1、下载rpm安装包,wget https://download.elastic.co/kibana/kibana/kibana-4.5.4-1.x86_64.rpm

2、安装,yum localinstall kibana-4.5.4-1.x86_64.rpm

3、修改配置文件,vi /opt/kibana/config/kibana.yml

elasticsearch.url: "http://10.10.20.203:9200"

4、重启服务

systemctl enable kibana.service
systemctl restart kibana.service
systemctl status kibana.service -l

【filebeat】

在需要搜集日志的服务器上安装filebeat

1、下载rpm安装包,wget https://download.elastic.co/beats/filebeat/filebeat-1.2.3-x86_64.rpm

2、安装,yum localinstall filebeat-1.2.3-x86_64.rpm

3、修改配置文件,vi /etc/filebeat/filebeat.yml

filebeat:
  prospectors:
    -
      paths:
        - /var/log/messages
      input_type: log
      document_type: syslog
    -
      paths:
        - /opt/logs/tomcatlog/catalina.*.log
      input_type: log
      document_type: tomcatlog
    -
      paths:
        - //var/lib/docker/containers/*/*-json.log
      input_type: log
      document_type: containerlog
  registry_file: /var/lib/filebeat/registry
 
output:
  elasticsearch:
    hosts: ["10.10.20.203:9200"]
    index: "filebeat"

4、重启服务

systemctl enable filebeat
systemctl restart filebeat
systemctl status filebeat -l

5、访问http://10.10.20.203:5601/,新建filebeat-*这个index,即可查看日志

搞定排错k8s集群日志管理(代码片段)

目标:提示:本节只讲第一种k8s集群日志主要有两种方式管理,指定主机上的指定目录、输出到某个外部系统。内容:容器应用输出到三个目标位置:输出到标准输出设备,就是通过命令让它显示在屏幕;输出到日志文件;输出... 查看详情

k8s日志收集:es集群安装(代码片段)

集群设备iprole192.168.19.93master、data192.168.19.94data安装javaelasticsearch需要java环境elasticsearch-6.x要求java版本1.8.0_131orlaterrpm-ivhhttp://192.168.19.111:8080/panjunbai/jdk-8u141-linux-x64.rpm安装elasticsearc 查看详情

k8s集群应用例如jenkins启动问题排查思路

k8s集群应用例如jenkins启动问题排查思路待办rancher上的事件报告>pods日志>pods内容器日志(现获取容器id再查看容器日志,获取容器id使用的是相应问题pod的名来抓取,dockerps|grep"podname" 查看详情

k8s集群调度

k8s集群调度一、概述二、Pod启动典型创建过程三、调度过程指定调度节点强制约束亲和性键值运算关系亲和性与反亲和性四、污点(Taint)和容忍(Tolerations)污点(Taint)容忍(Tolerations)其它注意事项五、相位Phase六、故障排除步骤查看Pod... 查看详情

在k8s上部署elk7.14集群实现采集容器日志

参考技术A1.创建单独的namespace2.生成开启x-pack时的ssl证书3.部署elasticsearchmaster节点4.部署elasticsearchdata节点5.部署elasticsearchclient/ingest节点6.暴露elasticsearchservice7.设置elasticsearch的密码这时就可以通过账号elastic和密码03sWFWzGOjNOCioqcbV3... 查看详情

k8s集群调度(代码片段)

k8s集群调度一、概述二、Pod启动典型创建过程三、调度过程指定调度节点强制约束亲和性键值运算关系亲和性与反亲和性四、污点(Taint)和容忍(Tolerations)污点(Taint)容忍(Tolerations)其它注意事项五、相位Phase六、故障排除步骤查看Pod... 查看详情

k8s集群调度(代码片段)

k8s集群调度一、概述二、Pod启动典型创建过程三、调度过程指定调度节点强制约束亲和性键值运算关系亲和性与反亲和性四、污点(Taint)和容忍(Tolerations)污点(Taint)容忍(Tolerations)其它注意事项五、相位Phase六、故障排除步骤查看Pod... 查看详情

k8s的dashboard日常操作

...操作一、k8s的dashboard介绍1.dashboard介绍2.dashboard的功能①集群管理②工作负载③服务发现和负载均衡④存储⑤配置⑥日志视图三、查看集群的所有角色四、查看集群的命令空间五、查看集群的节点信息1.查看所有节点信息2.查看单... 查看详情

记一次k8s集群节点镜像存储容量报警问题

参考技术A自从我们的kubernetes集群部署到生产环境后,将流量从原有的服务器上切过来之后,部分节点出现挂载目录容量爆满的情况。运维的同事报给我们之后,我们首先想到的是节点镜像过多,于是我们提供一个命令用于清理... 查看详情

云原生|kubernetes篇自建高可用k8s集群优化(代码片段)

文末有惊喜 文章目录自建高可用k8s集群优化一、Docker配置优化二、优化kubelet三、时区问题自建高可用k8s集群优化一、Docker配置优化#所有节点执行//max-concurrent-downloads:最大并发下载//"max-concurrent-uploads":最大并发上传//... 查看详情

linux内核参数引起的k8s集群血案

...题描述1、首先从Kubernetes事件中心告警信息如下,该告警集群常规告警事件(其实从下面这些常规告警信息是无法判断是什么故障问题)2、最初怀疑是docker服务有问题,切换至节点上查看docker&kubelet日志,如下:kubelet无法初... 查看详情

[问题记录]k8s集群中coredns解析失败(代码片段)

目录[问题记录]k8s集群中coredns解析失败故障现象问题排查问题解析举例说明:解决方案修改ndots参数参考文档[问题记录]k8s集群中coredns解析失败故障现象在k8s集群,使用coredns提供集群内部dns服务但是在使用过程中,偶现解析公网... 查看详情

k8s高可用方案系列---集群多master搭建

参考技术A在执行平台CTE使用面越来越扩大,底层的k8s集群就越来越需要得到可靠性的保证之前的执行服务CTE,环境申请服务matrix,调度服务apollo是在一台单节点的k8s集群上,集群是由虚拟机组成,而虚拟机又是由服务器提供的... 查看详情

devops架构师--04kubernetes集群的日志及监控-更新版

文章目录第四天Kubernetes集群的日志及监控k8s日志收集架构使用节点级日志代理使用sidecar容器和日志代理方式一:sidecar容器将应用程序日志传送到自己的标准输出。方式二:sidecar容器运行一个日志代理,配置该日志代理以便从... 查看详情

k8s使用filebeat统一收集应用日志(代码片段)

...将介绍使用filebeat实现pod日志的统一收集,集中存放使用集群外的elasticsearch,后续可以加上kibana及模板文件实现更友好的数据展示。一、准备和测试tomcat基础镜像该镜像主要是配置jdk环境变量和to 查看详情

云原生微服务设计经验汇总

 k8s使用经验: 云原生集群的部署方法:应用-资源声明:应用-优雅上下线集群生产环境k8s集群监控与日志告警监控和日志监控事件监控工具:kubeEvent组件资源监控:prometheus/metrics-serverFlutedK8s集群的弹性伸缩... 查看详情

k8s知识点总结

...进行分配任务(pod)  4.ETCD:键值对数据库,储存k8s集群所有重要信息(持久化)node包含组件:  5.Kubelet:直接跟容器引擎交互实现容器的生命周期管理。  6.Kube-Proxy:负责写入规则至IPTABLES、IPVS实现服务映射... 查看详情

k8s集群调度(代码片段)

k8s集群调度一、概述二、Pod启动典型创建过程三、调度过程指定调度节点强制约束亲和性键值运算关系亲和性与反亲和性四、污点(Taint)和容忍(Tolerations)污点(Taint)容忍(Tolerations)其它注意事项五、相位Phase六、故障排除步骤查看Pod... 查看详情