正文

kubernetes集群部署之多master节点实现高可用(代码片段)

奋斗的蜗牛灬  奋斗的蜗牛灬  2022-12-04  173

关键词：

前言

之前我做过 单Master节点的二进制安装部署k8s服务。但是万一这台 Master 宕机了，整个服务就崩了，所以为了实现集群高可用，需要增加多台 Master 解决单点故障。

https://blog.csdn.net/duanbaoke/article/details/119593573
https://blog.csdn.net/duanbaoke/article/details/117997765

一、K8s Master 高可用架构

Keepalived + Load Balancer ： LB 可以是 LVS、Haproxy 或 Nginx，结合 keepalived 实现负载均衡高可用。
Load Balancer 服务接受前台用户发送过来的 kubectl 等请求，再通过反向代理转发到后台的 Master 节点上面，
单节点的话，多台 Node 直接指向一台Master 节点；而多Master集群结构中，Master 会指向 Load Balancer 服务，请求都来自负载均衡服务，所以LB要做高可用。
Master 的 Apiserver 都指向 Keepalived 的虚拟 IP上
Master 上通过 Apiserver 直接操作 Node 节点上的 kubelet，不需要再通过 VIP 的负载均衡转发。Node 节点会由 Master 管理实现高可用。
首先 ETCD 集群实现去中心化高可用（奇数台机器），通过 Raft 算法保持数据库数据一致性。

由于LVS 消耗资源，我们用 keeplived，实现负载均衡高可用。

二、在单Master节点基础上搭建多Master集群架构

2.1 环境准备与搭建步骤

搭建步骤：
多Master 高可用

从master01 复制 etcd，k8s 的证书、可执行命令文件、配置文件、master组件的服务管理文件到 master02 节点
在master02 节点修改 apiserver 的配置文件
启动 master02 相关组件
部署 keepalived + LB（nginx，haproxy）实现高可用和负载均衡
keepalived 需要健康检查脚本来实现自动的故障切换
在 nodes 节点上修改 node相关组件的 kubeconfig 文件配置，把对接的 server ip 指定为 VIP

环境准备：

在上一篇单节点二进制部署的基础上扩充，需要新增一台 master02 ，和两台 LB 负载均衡机器。

准备机器需要是和 master01 中 /opt/k8s/k8s-cert/ k8s-cert.sh 生成证书文件中定义的地址。否则要重新生成证书。

Master 节点


k8s集群master01	192.168.10.40	kube-apiserver、kube-controller-manage、kube-scheduler、etcd
k8s集群master02	192.168.10.70

Worker Node 节点


k8s集群node01	192.168.10.50	kubelet、kube-proxy、docker、flannel
k8s集群node02	192.168.10.60

ETCD（实验为了节省机器，和Master Node 节点共用机器）


etcd集群节点1	192.168.10.40
etcd集群节点2	192.168.10.50
etcd集群节点3	192.168.10.60

web 服务负载均衡


负载均衡 Nginx + keepalive01 (master)	192.168.10.111
负载均衡 Nginx + keepalive02 (backup)	192.168.10.101

keepalived 生成的虚拟漂移IP 就是 192.168.10.120

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0


systemctl daemon-reload
systemctl restart docker
systemctl restart kubelet
systemctl restart kube-proxy

修改主机名

hostnamectl set-hostname master02  192.168.10.70
hostnamectl set-hostname lb1   192.168.10.111
hostnamectl set-hostname lb2   192.168.10.101

2.2 首先部署 Master02 节点

Master 01、02 和 ETCD 通信用的证书都是一样的。因为 ETCD 和 Node 节点不管你是哪个 master

2.2.1 从 Master01 节点上拷贝`etcd 证书文件`、各Master组件的 `配置文件` 和 `服务管理文件` 到 Master02 节点上**。

在 master01 上操作

scp -r /opt/etcd/ root@192.168.10.70:/opt/
scp -r /opt/kubernetes/ root@192.168.10.70:/opt

scp /usr/lib/systemd/system/kube-apiserver,kube-controller-manager,kube-scheduler.service root@192.168.10.70:/usr/lib/systemd/system/

2.2.2 Master02 修改配置文件 kube-apiserver 中的 IP

在 master02 上操作

修改配置文件 kube-apiserver 中的 IP

vim /opt/kubernetes/cfg/kube-apiserver

KUBE_APISERVER_OPTS="--logtostderr=true \\
--v=4 \\
--etcd-servers-https://192.168.10.40:2379,https://192.168.10.50:2379,http://192.168.10.60:2379 --bind-address=192.168.10.70\\
--secure-port=6443 \\    #修改
--advertise-address=192.168.10.70\\  #修改

在 Master02 节点上启动 Master上各服务并设置开机自启

systemctl start kube-apiserver.service
systemctl enable kube-apiserver.service
systemctl start kube-controller-manager.service
systemctl enable kube-controller-manager.service
systemctl start kube-scheduler.service
systemctl enable kube-scheduler.service

systemctl restart kube-apiserver.service
systemctl restart kube-controller-manager.service
systemctl restart kube-scheduler.service

2.3 查看 Node 节点状态

//查看node节点状态
ln -s /opt/kubernetes/bin/* /usr/local/bin/

kubectl get nodes
kubectl get nodes -o wide			#-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名

//此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接，因此需要使用一个VIP 把node节点与master节点都关联起来

三、负载均衡集群部署

配置 Load Balancer 集群双机热备负载均衡（Nginx 实现负载均衡，keepalived 实现双机热备）

3.1 在线安装 Nginx

在 lb01、lb02 节点上操作

#配置 Nginx 的官方在线yum源，配置本地 Nginx 的yum源，因为Centos 中默认没有nginx的yum源
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF

#使用在线yum源安装
yum install nginx -y

yum 安装其实就是先通过编译安装，重新封装成 yum 包。

3.2 配置 Nginx 反向代理（四层）

注意：使用四层单项代理功能，需要在安装 Nginx 时安装 stream 模块。

lb1

//修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集 2台master的节点ip和6443端口
vim /etc/nginx/nginx.conf

events 
    worker_connections  1024;


stream
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
	access_log  /var/log/nginx/k8s-access.log  main;
	
	upstream k8s-apiserver
		server 192.168.10.40:6443;    #两个master服务
		server 192.168.10.70:6443;
	
	server
		listen 6443;
		proxy_pass k8s-apiserver;
		


http

nginx -t
systemctl start nginx
systemctl enable nginx
netstat -natp | grep nginx

启动成功
lb2
同样的，另一台负载均衡集群中的 Nginx lb2 也要做相同的配置，直接将配置文件复制过去。

==lb1==
scp nginx.conf root@192.168.10.101:/etc/nginx/nginx.conf

==lb2==
nginx -t
systemctl start nginx
systemctl enable nginx
netstat -natp | grep nginx

3.3 部署 keepalived 服务高可用

3.3.1 部署 keepalived 服务

lb1
安装 keepalived

yum install keepalived -y

修改keepalived配置文件

vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs 
   # 接收邮件地址
   notification_email 
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   
   # 邮件发送地址
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id NGINX_MASTER	#lb01节点的为 NGINX_MASTER，lb02节点的为 NGINX_BACKUP


#添加一个周期性执行的脚本
vrrp_script check_nginx 
    script "/etc/nginx/check_nginx.sh"	#指定检查nginx存活的脚本路径


vrrp_instance VI_1 
    state MASTER			#lb01节点的为 MASTER，lb02节点的为 BACKUP
    interface ens33			#指定网卡名称 ens33
    virtual_router_id 51	#指定vrid，两个节点要一致
    priority 100			#lb01主Master节点的为 100，lb02节点的为 90
    advert_int 1
    authentication 
        auth_type PASS
        auth_pass 1111
    
    virtual_ipaddress 
        192.168.10.120/24	#指定 VIP，用之前master 证书中的VIP，见上一篇博客的6.3节
    
    track_script 
        check_nginx			#指定vrrp_script配置的脚本

3.3.2 创建Nginx状态检查脚本，启动 keepalived 服务

lb1 lb2 都安装 keepalived 服务

keepalived 默认的配置项都是围绕LVS 配置的，但是我们用的Nginx来做负载均衡。所以，我们需要自己创建 Nginx 检查脚本，用来检查Nginx 节点的存活状态。
然后在 keepalived 的配置中，添加这个脚本。

创建 Nginx 检查脚本

vim /etc/nginx/check_nginx.sh

#!/bin/bash
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
if [ "$count" -eq 0 ]; then
	systemctl stop keepalived
fi

chmod +x /etc/nginx/check_nginx.sh

lb2
创建nginx 检查脚本，安装 keepalived ，修改配置文件中的优先级等

==lb1 lb2 ==


//启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务）
systemctl start keepalived
systemctl enable keepalived

ip addr				#查看VIP是否生成

验证：

在 lb1 上执行 systemctl stop nginx ，过一会，再查看 ip a，看 VIP 是不是漂移已到了 BACKUP上，成为新的 MASTER。
注意，关闭 nginx 时，会将 keepalived 也一起管理==关闭，启动时应该一定要先启动了nginx服务，再启动keepalived服务。

3.4 K8S + Keepalived 集群配置

Keepalived 集群对接 Node 节点

3.4.1 修改Node节点上一些配置文件指定为VIP

node01 node02 都修改

//修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP
cd /opt/kubernetes/cfg/

vim bootstrap.kubeconfig 
server: https://192.168.10.120:6443
                      
vim kubelet.kubeconfig
server: https://192.168.10.120:6443
                        
vim kube-proxy.kubeconfig
server: https://192.168.10.120:6443

两个节点改6次

//重启kubelet和kube-proxy服务
systemctl restart kubelet.service 
systemctl restart kube-proxy.service

//在lb01上查看nginx的k8s日志（keepalived 的 Master机器上看）
tail /var/log/nginx/k8s-access.log

3.4.2 在 master01 节点上操作

//测试创建pod
kubectl run nginx --image=nginx

3.5 验证 keepalived + LB 高可用集群

//查看Pod的状态信息
kubectl get pods
STATUS ContainerCreating   #正在创建中

kubectl get pods
STATUS   Running   #创建完成，运行中

kubectl get pods -o wide

//READY为1/1，表示这个Pod中有1个容器

//在对应网段的node节点上操作，可以直接使用浏览器或者curl命令访问
curl 172.17.49.4


//这时在master01节点上查看nginx日志，发现没有权限查看

#pod 查看节点日志

kubectl logs nginx-dbddb74b8-x2dxp

Error from server (Forbidden): Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) ( pods/log nginx-dbddb74b8-x2dxp)


//在master01节点上，将cluster-admin角色授予用户system:anonymous
kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

clusterrolebinding.rbac.authorization.k8s.io/cluster-system-anonymous created

//再次查看nginx日志
kubectl logs nginx-dbddb74b8-x2dxp

五、Dashboard UI 界面

K8S 网站管理系统（网页展示集群状态）。

5.1 Dashboard 介绍

仪表板是基于Web的 Kubernetes用户界面。
您可以使用仪表板将容器化应用程序部署到 Kubernetes集群，对容器化应用程序进行故障排除，并管理集群本身及其伴随资源。
您可以使用仪表板来概述群集上运行的应用程序，以及创建或修改单个Kubernetes资源（例如部署，作业，守护进程等）。
例如，您可以使用部署向导扩展部署，启动滚动更新，重新启动 Pod 或部署新应用程序。
仪表板还提供有关群集中Kubernetes资源状态以及可能发生的任何错误的信息。
Dashboard 是在Pod 中，以容器运行的

5.2 部署 Dashboard UI

5.2.1 准备软件包

在 master01 节点上操作

//在k8s工作目录中创建dashborad工作目录
mkdir /opt/k8s/dashboard
cd /opt/k8s/dashboard

//上传 Dashboard.zip 压缩包，并解压，一共有6个yaml文件，一个脚本文件。
//包含了5个构建该界面的核心文件，
//一个k8s-admin.yaml文件是自己写的，用来生成待会在浏览器中登录时所用的令牌；
//一个dashboard-cert.sh，用来快速生成解决谷歌浏览器加密通信问题所需的证书文件

unzip Dashboard.zip


#因为dashboard-cert.sh 脚本是在Windows 中写的，需要用工具 dos2unix 转换成 Linux 能识别的格式
cat -v dashboard-cert.sh 
yum install -y dos2unix.x86_64
dos2unix dashboard-cert.sh



//核心文件官方下载资源地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dashboard
dashboard-configmap.yaml   dashboard-rbac.yaml    dashboard-service.yaml	
dashboard-controller.yaml  dashboard-secret.yaml  	  k8s-admin.yaml		 
dashboard-cert.sh

------------------------------------------------------------------------------------------
1、dashboard-rbac.yaml：用于访问控制设置，配置各种角色的访问控制权限及角色绑定（绑定角色和服务账户），内容中包含对应各种角色所配置的规则（rules）
2、dashboard-secret.yaml：提供令牌，访问API服务器所用（个人理解为一种安全认证机制）
3、dashboard-configmap.yaml：配置模板文件，负责设置Dashboard的文件，ConfigMap提供了将配置数据注入容器的方式，保证容器中的应用程序配置从 Image 内容中解耦
4、dashboard-controller.yaml：负责控制器及服务账户的创建，来管理pod副本
5、dashboard-service.yaml：负责将容器中的服务提供出去，供外部访问
------------------------------------------------------------------------------------------

在 node01 node02节点上操作

//上传 dashboard.tar 压缩包，使用 docker load 加载这个镜像，是一种加载方法。
docker load -i dashboard.tar
docker imags

5.2.2 通过 kubectl create 命令创建 resources

master01

cd /opt/k8s/dashboard

1、规定 kubernetes-dashboard-minimal 该角色的权限：例如其中具备获取更新删除等不同的权限

kubectl create -f dashboard-rbac.yaml 

//有几个kind就会有几个结果被创建，格式为kind+apiServer/name
role.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created
rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created


//查看类型为 Role,kubernetes单master节点集群二进制部署(代码片段)
目录前言Kubernetes单Master节点集群二进制部署一.Kubernetes单Master集群架构二.环境准备三.Etcd集群部署1.准备签发证书环境2.生成CA证书、etcd服务器证书以及私钥3.安装Etcd4.在Master01节点启动Etcd集群节点015.将证书，命令文件，...  查看详情  
                
kubernetes多master节点集群二进制部署(代码片段)
...件到master02节点scp-r/opt/etcd/root@192.168.110.20:/opt/scp-r/opt/kubernetes/r  查看详情  
                
kubernetes多master节点集群二进制部署(代码片段)
...件到master02节点scp-r/opt/etcd/root@192.168.110.20:/opt/scp-r/opt/kubernetes/r  查看详情  
                
kubernetes二进制部署单节点master(代码片段)
Kubernetes二进制部署单节点一.环境准备二部署etcd集群1.master节点部署2.在node1与node2节点修改3.在master1节点上进行启动三.flannel网络配置四.部署master组件五.部署node组件六.总结k8s集群单节点搭建：一.环境准备k8s集群master1：1...  查看详情  
                
kubernetes二进制部署单节点master(代码片段)
Kubernetes二进制部署单节点一.环境准备二部署etcd集群1.master节点部署2.在node1与node2节点修改3.在master1节点上进行启动三.flannel网络配置四.部署master组件五.部署node组件六.总结k8s集群单节点搭建：一.环境准备k8s集群master1：1...  查看详情  
                
kubernetes集群之二进制安装部署（单master节点）(代码片段)
目录前言一、常见的K8S按照部署方式二、安装部署分析三、首先部署ETCD集群3.1ETCD介绍3.2准备CFSSL证书签发环境3.3环境部署3.3.1搭建ETCD步骤3.3.2下载准备CFSSL证书制作工具3.3.3上传etcd-cert.sh和etcd.sh到/opt/k8s/目录中3.3.4安装ETCD服务3.3....  查看详情  
                
kubernetes（k8s）单matser集群架构的搭建（v1.20）(代码片段)
文章目录Kubernetes单Matser集群架构的搭建架构图环境准备操作系统初始化配置部署etcd集群准备签发证书环境在master01节点上操作在node01节点上操作在node02节点上操作部署docker引擎部署Master组件在master01节点上操作部署WorkerNode组件...  查看详情  
                
kubernetes二进制部署（单master节点）（理论部分，详细部署步骤在下一篇哦~）(代码片段)
Kubernetes二进制部署（单Master节点）（理论部分，详细部署步骤在下一篇哦~）Kubernetes二进制部署一、环境准备二、部署etcd集群1、准备签发证书环境2、签发证书步骤3、etcd-cert.sh和etcd.sh脚本4、部署流程5、使用...  查看详情  
                
超详细部署kubernetes教程
Kubeadm部署k8s单点master1、环境准备：主机名IP说明宿主机系统master10.0.0.17Kubernetes集群的master节点CentOS7.9node110.0.0.27Kubernetes集群的node节点CentOS7.9#所有master和node节点执行：#关闭防火墙、iptables和selinuxsystemctlstopfirewalld&&  查看详情  
                
kubernetes多节点二进制部署(代码片段)
Kubernetes多节点二进制部署一、部署master02节点修改主机名，关闭防火墙在k8smaster01上操作在k8smaster02上操作二、部署负载均衡1.配置nginx的官方在线yum源，配置本地nginx的yum源2.部署keepalived服务3.修改k8snode节点上的bootstrap.kub...  查看详情  
                
k8s------kubernetes单master集群二进制搭建(代码片段)
目录前言Kubernetes单Master节点集群二进制部署一.Kubernetes单Master集群架构二.环境准备三.Etcd集群部署1.准备签发证书环境2.生成CA证书、etcd服务器证书以及私钥3.安装Etcd4.在Master01节点启动Etcd集群节点015.将证书，命令文件，...  查看详情  
                
k8s------kubernetes单master集群二进制搭建(代码片段)
目录前言Kubernetes单Master节点集群二进制部署一.Kubernetes单Master集群架构二.环境准备三.Etcd集群部署1.准备签发证书环境2.生成CA证书、etcd服务器证书以及私钥3.安装Etcd4.在Master01节点启动Etcd集群节点015.将证书，命令文件，...  查看详情  
                
k8s------kubernetes单master集群二进制搭建(代码片段)
目录前言Kubernetes单Master节点集群二进制部署一.Kubernetes单Master集群架构二.环境准备三.Etcd集群部署1.准备签发证书环境2.生成CA证书、etcd服务器证书以及私钥3.安装Etcd4.在Master01节点启动Etcd集群节点015.将证书，命令文件，...  查看详情  
                
快速搭建kubernetes容器集群平台（kubeadm）
kubeadm简介kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。这个工具能通过两条指令完成一个kubernetes集群的部署： #创建一个Master节点kubeadminit#将一个Node节点加入到当前集群中kubeadmjoin<Master节点的IP和端口> 1....  查看详情  
                
kubeoperator入门
...VMware、Openstack或者物理机上规划、部署和运营生产级别的Kubernetes集群。KubeOperator是JumpServer明星开源团队在Kubernetes领域的的又一全新力作。KubeOperator的产品架构如图：KubeOperator的技术优势按需创建：调用云平台API，一键快速创建...  查看详情  
                
k8s------kubernetes双master负载均衡集群搭建(代码片段)
....解压Dashboard压缩包4.通过ubectlcreate命令创建resources①规定kubernetes-dashboard-minimal该角色的权限②证书和密钥创建③配置文件，对于集群dashboard设置的创建④创建容器需要的控制器以及服务账户⑤将服务提供出去5.访问5.执行脚...  查看详情  
                
kubernetes集群之二进制安装部署（单master节点）(代码片段)
目录前言一、常见的K8S按照部署方式二、安装部署分析三、首先部署ETCD集群3.1ETCD介绍3.2准备CFSSL证书签发环境3.3环境部署3.3.1搭建ETCD步骤3.3.2下载准备CFSSL证书制作工具3.3.3上传etcd-cert.sh和etcd.sh到/opt/k8s/目录中3.3.4安装ETCD服务3.3....  查看详情  
                
kubernetes节点服务搭建————二进制部署|单master节点配置（一)(etcd和flannel)(代码片段)
文章目录常见的K8s按照部署方式Kubernetes二进制部署部署etcd集群master01上操作部署在node节点上修改配置部署Docker引擎flannel网络配置常见的通信方式flannel的工作流程flannel的搭建部署总结常见的K8s按照部署方式MinikubeMinikube是一个工...  查看详情

正文

kubernetes集群部署之多master节点实现高可用(代码片段)

目录

前言

一、K8s Master 高可用架构

二、在单Master节点基础上搭建 多Master集群架构

2.1 环境准备 与 搭建步骤

2.2 首先部署 Master02 节点

2.2.1 从 Master01 节点上拷贝etcd 证书文件、各Master组件的 配置文件 和 服务管理文件 到 Master02 节点上**。

2.2.2 Master02 修改配置文件 kube-apiserver 中的 IP

2.3 查看 Node 节点状态

三、负载均衡 集群部署

3.1 在线安装 Nginx

3.2 配置 Nginx 反向代理（四层）

3.3 部署 keepalived 服务高可用

3.3.1 部署 keepalived 服务

3.3.2 创建Nginx状态检查脚本，启动 keepalived 服务

3.4 K8S + Keepalived 集群配置

3.4.1 修改Node节点上一些配置文件指定为VIP

3.4.2 在 master01 节点上操作

3.5 验证 keepalived + LB 高可用集群

五、Dashboard UI 界面

5.1 Dashboard 介绍

5.2 部署 Dashboard UI

5.2.1 准备软件包

5.2.2 通过 kubectl create 命令创建 resources

kubernetes多master节点集群二进制部署(代码片段)

kubernetes多master节点集群二进制部署(代码片段)

kubernetes二进制部署单节点master(代码片段)

kubernetes二进制部署单节点master(代码片段)

kubernetes集群之二进制安装部署（单master节点）(代码片段)

kubernetes（k8s）单matser集群架构的搭建（v1.20）(代码片段)

kubernetes二进制部署（单master节点）（理论部分，详细部署步骤在下一篇哦~）(代码片段)

超详细部署kubernetes教程

kubernetes多节点二进制部署(代码片段)

k8s------kubernetes单master集群二进制搭建(代码片段)

k8s------kubernetes单master集群二进制搭建(代码片段)

k8s------kubernetes单master集群二进制搭建(代码片段)

快速搭建kubernetes容器集群平台（kubeadm）

kubeoperator入门

k8s------kubernetes双master负载均衡集群搭建(代码片段)

kubernetes集群之二进制安装部署（单master节点）(代码片段)

kubernetes节点服务搭建————二进制部署|单master节点配置（一)(etcd和flannel)(代码片段)

二、在单Master节点基础上搭建多Master集群架构

2.1 环境准备与搭建步骤

2.2.1 从 Master01 节点上拷贝`etcd 证书文件`、各Master组件的 `配置文件` 和 `服务管理文件` 到 Master02 节点上**。

三、负载均衡集群部署