正文 

当前位置： 首页 > IT > java教程

k8s容器集群工作负载节点跨越多个云计算厂商(代码片段)

hzwy23 hzwy23     2023-04-15     322

关键词：

文章目录

1. 背景介绍

  随着亚马逊云、阿里云、华为云、腾讯云等云计算服务厂商越来越安全、稳定，以及价格越来越便宜，越来越多的企业或个人开始尝试或正在使用云计算服务厂商提供的IaaS服务替代自建IDC机房中的基础设施资源。面对各个云计算厂商的营销套路，不少企业不知道选哪家云商的服务比较合适，一怕被绑架，上车容易下车难，第一年免费用，第二年没折扣；二怕今年上阿里，明年华为更便宜，后年腾讯更优惠，服务迁移难。如何让业务在不同云商之间随意切换呢？这样就能实现想用哪家的云就选哪家的资源。
  下边通过实验的方式尝试一种实现上述诉求的方法，即搭建一套k8s容器集群平台，不同云商上云主机部署工作负载节点，并注册到k8s集群。实现一套容器集群管理多个云商的工作负载节点，于是根据云商的优惠政策，动态的将容器化部署的服务有侧重点的分布到性价比更高的云商上。

  如上图所示，华为云上部署3个节点，阿里云上部署3个节点，其中华为云上 k8s-master1 与 k8s-master2 为 k8s 集群的管理服务，k8s-node1 为 k8s 集群的工作负载节点，阿里云上的 k8s-node2、k8s-node3、k8s-node4 为 k8s 集群的工作负载节点。

2. 跨云商内网打通

  通过建立GRE隧道，在华为云 k8s-master2 与阿里云 k8s-node2 节点之间建立 GRE 隧道，打通华为云与阿里云内网通信。同时使用 iptables 设置流量转发规则，例如 k8s-master2 通过设置 iptables 规则将阿里云上的主机对 k8s-master1 与 k8s-node1 的流量进行转发，同理，k8s-node2 通过设置 iptables 规则将华为云上的主机对 k8s-node3 与 k8s-node4 的流量进行转发，从而实现华为云与阿里云上所有主机之间的内网互通。
  建立 GRE 隧道的方法请参考 构建GRE隧道打通不同云商的云主机内网 。这篇文章主要介绍了在两个云商之间搭建 GRE 隧道实现两个内网互通的方法。由于使用 route 工具添加的路由并不会持久话的保存（服务器重启将会丢失），所以，本章将会介绍如何搭建 GRE 隧道，并持久话保存。

2.1 阿里云环境安装部署

2.1.1 加载驱动模块

  在阿里云 k8s-node2 节点上执行下边命令

cat >  /etc/sysctl.d/gre.conf <<EOF
net.ipv4.ip_forward=1
EOF

2.1.2 添加 GRE 隧道开机启动脚本

  在阿里云 k8s-node2 节点上执行下边命令

cat > /etc/init.d/gre.sh <<EOF
#!/bin/bash
ip tunnel del tunnel999
ip tunnel add tunnel999 mode gre remote 112.124.59.21 local 172.26.32.235
ip link set tunnel999 up mtu 1476
ip addr add 192.168.100.2 peer 192.168.100.1/32 dev tunnel999
ip route add 192.168.0.0/24 dev tunnel999
EOF

chmod +x /etc/init.d/gre.sh

cat > /usr/lib/systemd/system/gre.service <<EOF
[Unit]
Description=GRE Service
After=network.target

[Service]
Type=oneshot
User=root
ExecStart=/etc/init.d/gre.sh

[Install]
WantedBy=multi-user.target
EOF

systemctl enable gre
systemctl start gre

2.1.3 配置 iptalbes 规则

  在阿里云 k8s-node2 节点上执行下边命令

iptables -t nat -A POSTROUTING -o eth0 -s 192.168.100.1 -j MASQUERADE
iptables -A FORWARD -s 192.168.100.1 -o eth0 -j ACCEPT


iptables -t nat -A POSTROUTING -o tunnel999 -s 192.168.0.0/24 -j MASQUERADE
iptables -A FORWARD -s 192.168.0.0/24 -o tunnel999 -j ACCEPT

2.1.4 在其他节点配置路由

  在阿里云 k8s-node3 和 k8s-node4 节点上执行下边的命令，添加华为云内网CIDR路由到 k8s-node2 节点内网IP上。

route add -net 192.168.0.0/24 gw 172.26.32.235

  添加完成后 k8s-node3 和 k8s-node4 暂时无法访问华为云主机内网IP，等待华为云上安装部署完成后，才可以访问华为云上主机内网IP。

2.2 华为云上安装部署

2.2.1 加载驱动模块

  在华为云 k8s-master2 节点上执行下边命令

cat >  /etc/sysctl.d/gre.conf <<EOF
net.ipv4.ip_forward=1
EOF

2.2.2 添加 GRE 隧道开机启动脚本

  在华为云 k8s-master2 节点上执行下边命令

cat > /etc/init.d/gre.sh <<EOF
#!/bin/bash
ip tunnel del tunnel999
ip tunnel add tunnel999 mode gre remote 114.116.84.123 local 192.168.0.200
ip link set tunnel999 up mtu 1476
ip addr add 192.168.100.1 peer 192.168.100.2/32 dev tunnel999
ip route add 172.26.32.0/24 dev tunnel999
EOF

chmod +x /etc/init.d/gre.sh

cat > /usr/lib/systemd/system/gre.service <<EOF
[Unit]
Description=GRE Service
After=network.target

[Service]
Type=oneshot
User=root
ExecStart=/etc/init.d/gre.sh

[Install]
WantedBy=multi-user.target
EOF

systemctl enable gre
systemctl start gre

2.2.3 配置 iptalbes 规则

  在华为云 k8s-master2 节点上执行下边命令

iptables -t nat -A POSTROUTING -o eth0 -s 192.168.100.2 -j MASQUERADE
iptables -A FORWARD -s 192.168.100.2 -o eth0 -j ACCEPT


iptables -t nat -A POSTROUTING -o tunnel999 -s 172.26.32.0/24 -j MASQUERADE
iptables -A FORWARD -s 172.26.32.0/24 -o tunnel999 -j ACCEPT

2.2.4 在其他节点配置路由

  在华为云 k8s-master1 和 k8s-node1 节点上执行下边命令，添加阿里云内网CIDR路由到 k8s-master2 节点内网IP上。

route add -net 172.26.32.0/24 gw 192.168.0.200

  添加完成后就可以在 k8s-node1 和 k8s-master1 节点上访问阿里云上所有云主机的内网IP，并且阿里云上的所有云主机可以访问华为云上所有云主机的内网IP。

3. 构建K8S集群

  首先在华为云上安装部署 kubernetes 集群主节点，具体操作步骤请参考：部署安装kubernetes集群。

4. 容器集群跨云商添加工作负载节点

  在阿里云主机上安装 kubernetes worker 节点配置。主要涉及到：Linux 内核升级，Containerd 容器安装，Linux 参数优化，Kubelet与Kube-Proxy 组件部署。下边操作以阿里云 172.26.32.235 主机为例。

4.1 安装Containerd 容器服务

  • 在线安装 containerd 服务
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

yum install containerd
  • 导出 containerd 默认配置
containerd config default > /etc/containerd/config.toml
  • 编辑 /etc/containerd/config.toml 文件
	sandbox_image = "registry.k8s.io/pause:3.6"
    
    替换成
    
    sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6"

	[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
        SystemdCgroup = false
        
	替换成
	
	[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
        SystemdCgroup = true

添加国内镜像仓库，这个非常关键，否则将会导致镜像下载失败，Pod中服务无法启动。

    [plugins."io.containerd.grpc.v1.cri".registry]
      ......
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
      
      在containerd 配置文件中找到上边内容，并在此处添加下边两行, 注意缩进，下边两行内容与上边一行有2个空格的缩进，下边两行内容之间也存在2个空格的缩进。
      
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["http://hub-mirror.c.163.com","https://docker.mirrors.ustc.edu.cn","https://registry.docker-cn.com"]
  • 重启 containerd 容器运行时服务
systemctl enable containerd
systemctl restart containerd

4.2 Linux 参数优化

  Linux 参数优化请参考 K8S安装过程七：Kubernetes 节点配置调整

4.3 Kubernetes Worker 节点组件安装

4.3.1 获取安装包

  从华为云已经安装部署好的节点上获取 kubernetes 的安装包。详细过程请参考：K8S安装过程九：Kubernetes Worker 节点安装

  • 获取安装包以及ssl证书。
scp root@192.168.0.200:/opt/kubernetes.tar.gz /opt/
mkdir -p /etc/kubernetes/ssl
scp root@192.168.0.200:/etc/kubernetes/ssl/* /etc/kubernetes/ssl/

cd /opt
tar -xvf kubernetes.tar.gz
mkdir /opt/kubernetes/manifests

4.3.2 kubelet 创建 systemctl 启动服务

cat > /usr/lib/systemd/system/kubelet.service <<EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/server/bin/kubelet \\$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

4.3.3 启动 kubelet

systemctl enable kubelet
systemctl start kubelet
  • 查看 kubelet 服务启动状态
systemctl status kubelet

4.3.4 为 kube-proxy 创建 systemctl 启动服务

cat > /usr/lib/systemd/system/kube-proxy.service <<EOF
[Unit]
Description=Kubernetes Proxy
After=network.target

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/server/bin/kube-proxy \\$KUBE_PROXY_OPTS
Restart=on-failure
RestartSec=10
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

4.3.5 启动 kube-proxy 服务

systemctl enable kube-proxy
systemctl start kube-proxy
  • 查看 kube-proxy 服务的启动状态
systemctl status kube-proxy

  到此，跨越不同云商搭建容器集群完成，此时的容器集群中工作负载节点涵盖了华为云与阿里云。后续添加其他云商的云主机，流程与上述类似。

5. 总结

  • 容器集群中工作负载节点跨越多个云商，不同云商之间的服务互相调用实际上走的是公网流量，如果公网带宽资源不足，将会导致跨云服务调用存在性能瓶颈。
  • 采用跨云商部署容器集群，建议将不同云商工作负载中运行的业务具备独立性，也即是减少不同云商上服务之间的互相调用。
  • 涉及到中间件的使用时，需要考虑跨越云商访问中间件时，保证访问性能。

k8s

...进行管理。node类似蜂群中的工蜂。3、podk8s并不直接运行容器，而是使用一个抽象的资源对象来封装一个或者多个容器，这个抽象即为pod，它也是k8s的最小调度单元。同一pod中的容器共享网络名称空间和存储资源，这些容器可经... 查看详情

docker和k8s

1、docker不是容器，而是创建容器的工具；容器和虚拟机镜像、仓库、容器2、k8s一个K8S系统，通常称为一个K8S集群（Cluster）。这个集群主要包括两个部分：一个Master节点（主节点）一群Node节点（计算节点）一看就明白：Master节... 查看详情

addonsuperedge让原生k8s集群可管理边缘应用和节点(代码片段)

...云原生开源爱好者，SuperEdge开发者，现负责TKEX-TEG容器平台运维相关工作。王冬，腾讯云TKE后台研发工程师，专注容器云原生领域，SuperEdge核心开发人员，现负责腾讯云边缘容器TKEEdge私有化相关工作。李腾... 查看详情

k8s实战

...件可以部署在多个节点上以保证高可用性工作节点是运行容器化应用的机器当一个pod包含多个容器时候,这些容器总是会运行在同一个节点.也就是一个pod绝不会跨越多个工作节点由于不能讲多个进程聚集在一个单独的容器中,因此... 查看详情

网络和负载均衡器如何在dockerswarm模式下工作？(代码片段)

我是Dockers和容器的新手。我正在浏览docker的教程，并发现了这些信息。https://docs.docker.com/get-started/part3/#docker-composeymlnetworks:-webnetnetworks:webnet:什么是网络？该文件说指示Web容器通过称为webnet的负载平衡网络共享端口80。（在内部... 查看详情

dockerswarm

...排工具。DockerSwarm是Docker官方三剑客项目之一，提供Docker容器集群服务，是Docker官方对容器云生态进行支持的核心方案。使用它，用户可以将多个Docker主机封装为单个大型的虚拟Docker主机，快速打造一套容器云平台。Swarmmode内置k... 查看详情

k8s重要节点组件以及工作流程介绍(代码片段)

...工作流程一.k8s概述1.K8S作用用于自动部署、扩展和管理“容器化(containerized)应用程序”的开源系统可以理解成K8S是负责自动化运维管理多个容器化程序(比如Docker)的集群， 查看详情

k8s重要节点组件以及工作流程介绍(代码片段)

...工作流程一.k8s概述1.K8S作用用于自动部署、扩展和管理“容器化(containerized)应用程序”的开源系统可以理解成K8S是负责自动化运维管理多个容器化程序(比如Docker)的集群， 查看详情

云计算之路-阿里云上-容器难容：容器服务故障以及自建dockerswarm集群故障(代码片段)

...稳定，我们将自建dockerswarm集群上的所有应用切换阿里云容器服务swarm版（非swarmmode）。3月22日，我们进行移除与重启节点的操作时引发了故障，详见云计算之路-阿里云上-容器服务：移除节点引发博问站点短暂故障。3月24日，我... 查看详情

k8s

...ubernetes云平台部署1.部署架构Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术... 查看详情

如何入门k8s？

Kubernetes（简称K8S）是Google开源的分布式的容器管理平台，方便我们在服务器集群中管理我们容器化应用。节点 （MasternodeandWorkernode）节点通常指的就是服务器，在k8s中有两种节点：管理节点（MasterNode）和工作节点（WorkerNode... 查看详情

云原生•kubernetes搭建k8s集群(kubeadm方式)(代码片段)

目录一、k8s集群平台规划1.单master集群2.多master集群(推荐)二、集群环境硬件配置要求三、k8s集群搭建(Kubeadm方式)1.主机准备2.系统初始化3.Docker的安装4.添加阿里云yum源5.kubeadm、kubelet、kubectl的安装6.在Master节点中部署集群7.将node节... 查看详情

kubeadm安装kubernetesv1.24.0docker

参考技术A一、Kubernetes简介Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术的... 查看详情

k8s介绍及部署方式(代码片段)

kubernetes简介：kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。kubernetes... 查看详情

k8s介绍及部署方式(代码片段)

kubernetes简介：kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。kubernetes... 查看详情

kubernetes概念(代码片段)

...文字母，所以也称为k8s，k8s的主要作用是对docker容器的编排管理，如果我们的docker容器只有几个的情况下，开发或者运维人员完全可以轻松管理这些容器，但是像一些大公司里面，它们的服务有几百上千个... 查看详情

kubernetes概念(代码片段)

...文字母，所以也称为k8s，k8s的主要作用是对docker容器的编排管理，如果我们的docker容器只有几个的情况下，开发或者运维人员完全可以轻松管理这些容器，但是像一些大公司里面，它们的服务有几百上千个... 查看详情

k8s入门系列之介绍篇

...cker技术突飞猛进　　　　-一次构建，到处运行　　　　-容器的快速轻量　　　　-完整的生态环境2.什么是kubernetes　　Kubernetes(k8s)是Google开源的容器集群管理系统（谷歌内部:Borg）。在Docker技术的基础上，为容器化的应用提供部... 查看详情