关键词:
Docker&K8s—K8s跨宿主机pod通信之Flannel
Kubernetes设计了网络模型,但却将它的实现交给了网络插件,CNI网络插件最主要的功能就是实现POD资源能够跨宿主机进行通信。
常见的CNI网络插件:
- Flannel
- Calico
- Canal
- Contiv
- OpenContrail
- NSX-T
- Kube-router
Flannel
flannel的三种网络模型
-
host-gw模型:所有node ip必须在同一个物理网关设备下才能使用 它的原理就是:给宿主机添加一个静态路由,指明到达pod之前要经过的宿主机
-
Vxlan模型:
-
直接路由模型:当node不在同一个物理网关下,走vxaln模型,在同一个网关下,走host-gw模型
host-gw模型
12-11下载二进制包
[root@hdss68-21 ~]# cd /opt/src
[root@hdss68-21 src]# wget https://github.com/flannel-io/flannel/releases/download/v0.14.0/flannel-v0.14.0-linux-amd64.tar.gz
[root@hdss68-21 opt]# mkdir flannel-v0.11.0
[root@hdss68-21 src]# tar xf flannel-v0.11.0-linux-amd64.tar.gz -C /opt/flannel-v0.11.0
[root@hdss68-21 src]# cd /opt
[root@hdss68-21 opt]# ln -s /opt/flannel-v0.11.0 flannel
12-11拷贝证书,因为要通过etcd来通信
[root@hdss68-21 opt]# cd flannel
[root@hdss68-21 flannel]# ls
flanneld mk-docker-opts.sh README.md
[root@hdss68-21 flannel]# mkdir cert
[root@hdss68-21 flannel]# cd cert/
[root@hdss68-21 cert]# scp hdss68-200:/opt/certs/ca.pem .
root@hdss68-200's password:
ca.pem 100% 1342 108.3KB/s 00:00
[root@hdss68-21 cert]# scp hdss68-200:/opt/certs/client.pem .
root@hdss68-200's password:
client.pem 100% 1363 100.7KB/s 00:00
[root@hdss68-21 cert]# scp hdss68-200:/opt/certs/client-key.pem .
root@hdss68-200's password:
client-key.pem
配置文件&启动脚本
[root@hdss68-21 cert]# cd ..
[root@hdss68-21 flannel]# vim subnet.env
FLANNEL_NETWORK=172.68.0.0/16
FLANNEL_SUBNET=172.68.21.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false
[root@hdss68-21 flannel]# vi flanneld.sh
#!/bin/sh
./flanneld \\
--public-ip=192.168.68.21 \\
--endpoints=https://192.168.68.12:2379,https://192.168.68.21:2379,https://192.168.68.22:2379 \\
--ca-file=./cert/ca.pem \\
--cert-file=./cert/client.pem \\
--key-file=./cert/client-key.pem \\
--iface=ens33 \\
--subnet-file=./subnet.env \\
--healthz-port=2401
[root@hdss68-21 flannel]# chmod u+x flanneld.sh
--endpoints=https://192.168.68.12:2379,https://192.168.68.21:2379,https://192.168.68.22:2379 \\
--etcd-prefix=/coreos.com/network
etcd增加host-gw模型
[root@hdss68-21 flannel]# cd /opt/etcd/
[root@hdss68-21 etcd]# ./etcdctl set /coreos.com/network/config '"Network": "172.68.0.0/16", "Backend": "Type": "host-gw"'
"Network": "172.68.0.0/16", "Backend": "Type": "host-gw"
[root@hdss68-21 etcd]# ./etcdctl get /coreos.com/network/config
"Network": "172.68.0.0/16", "Backend": "Type": "host-gw"
启动flannel
vi /etc/supervisord.conf
[program:flanneld-68-21]
command=/opt/flannel/flanneld.sh ; the program (relative uses PATH, can take args)
numprocs=1 ; number of processes copies to start (def 1)
directory=/opt/flannel ; directory to cwd to before exec (def no cwd)
autostart=true ; start at supervisord start (default: true)
autorestart=true ; retstart at unexpected quit (default: true)
startsecs=30 ; number of secs prog must stay running (def. 1)
startretries=3 ; max # of serial start failures (default 3)
exitcodes=0,2 ; 'expected' exit codes for process (default 0,2)
stopsignal=QUIT ; signal used to kill process (default TERM)
stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
user=root ; setuid to this UNIX account to run the program
redirect_stderr=true ; redirect proc stderr to stdout (default false)
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log ; stderr log path, NONE for none; default AUTO
stdout_logfile_maxbytes=64MB ; max # logfile bytes b4 rotation (default 50MB)
stdout_logfile_backups=4 ; # of stdout logfile backups (default 10)
stdout_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0)
stdout_events_enabled=false ; emit events on stdout writes (default false)
# 如果不能启动,最好重启一下然后关闭防火墙就会启动起来
supervisorctl update
supervisorctl status
另一种方式启动
# flanneld配置项
cat << EOF | tee /opt/kubernetes/cfg/flanneld
FLANNEL_OPTIONS="--etcd-endpoints=https://192.168.68.12:2379,https://192.168.68.21:2379,https://192.168.68.22:2379 \\
-etcd-cafile=/opt/flannel/cert/ca.pem \\
-etcd-certfile=/opt/flannel/cert/client.pem \\
-etcd-keyfile=/opt/flannel/cert/client-key.pem \\
-etcd-prefix=/coreos.com/network"
EOF
# flanneld启动服务
cat << EOF | tee /usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service
[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \\$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
# 启动
systemctl daemon-reload
systemctl start flanneld
systemctl enable flanneld
Flannel模型详解
host-gw模型
所有的主机必须要处在同一个网关下面,flannel就是在每个主机上加静态路由,让所有主机间可以互相通信。
VxLan模型
主机在两个不同的网关下,flannel会在宿主机上加一个虚拟ip(vip),然后通过解包在flannel网络隧道中传输到另一台主机的vip
直接路由模型
智能模型,会自动判断并选择是gw还是vxlan。
如何实现跨主机之间docker容器通信问题(代码片段)
...网段的ip)dockernetworkcreate--subnet=192.168.17.100/16br0这里我的宿主机ip为192.168.17.9网关为192.168.17.254docker的ip需要同网段即为192.168.17.*3.利用网桥工具将docker的网桥挂载到宿主机网卡上brctladdifbr0eth0brctladdifbr0(docker网桥)eth0(宿主机网卡)4.... 查看详情
46-跨主机网络概述
跨主机网络方案包括:docker原生的overlay和macvlan。第三方方案:常用的包括flannel、weave和calico。docker网络是一个非常活跃的技术领域,不断有新的方案开发出来,那么要问个非常重要的问题了:如此众多的方案是如何与docker集成... 查看详情
[k8s]k8s的控制层kubelet+docker配合调度机制(k8架构)
...问题,研究了下调度的细节k8s架构控制层-kubelet(配合节点docker工作)数据层-kube-proxy逻辑图:测试pod调度停掉n1的kubelet,等几min后kubectlgetnode显示n1notready在等几min后kubectlgetno-owideAGE字段显示unkown.在等几min.发现开始调度了,调度结果注:... 查看详情
深入k8s:k8s部署&在k8s中运行第一个程序(代码片段)
搭建k8s集群由于在国内网络问题,我们无法很好的使用minikube进行部署k8s实验环境,所以可以使用阿里提供的minikube进行搭建。除了minikube,也可以使用kubeasz进行部署。下面我基于kubeaze给出部署方法。1.基础系统配置准备一台虚... 查看详情
docker容器的跨主机访问
在同一宿主机下的Docker的容器之间是默认互相联通的。通过dockerinspectid或name可以查看到ip地址。在不同的容器中来执行ping是可以ping通的,然而跨容器则行不通,于是总结了以下3种方法Docker容器默认跨主机之间的链接方法第一种... 查看详情
docker跨主机网络(十六)(代码片段)
一、跨主机网络概述前面已经学习了Docker的几种网络方案:none、host、bridge和joined容器,它们解决了单个DockerHost内容器通信的问题。本章的重点则是讨论跨主机容器间通信的方案。docker原生的overlay和macvlan。第三方方案:常用的... 查看详情
基于路由转发+iptables方式实现docker容器跨节点通信
...。 有两个物理主机1和主机2,在各自宿主机上启动一个容器,启动成功之后,两个容器分别运行在两个宿主机之上,默认的IP地址分配如图所示,这也是Docker自身默认的网络在master节点进行测试注意,这里仅... 查看详情
聊聊k8s:k8s集群搭建实战(代码片段)
一、环境准备1.1硬件要求序号硬件硬件1CPU至少2核2内存至少2G3磁盘至少50G1.2集群节点主机名主机IPk8s-master0110.211.55.15k8s-node0110.211.55.16k8s-node0210.211.55.17k8s-node0310.211.55.18二、下载centoscentos下载地址:http://mirrors.aliyun.com/ 查看详情
聊聊k8s:k8s集群搭建实战(代码片段)
一、环境准备1.1硬件要求序号硬件硬件1CPU至少2核2内存至少2G3磁盘至少50G1.2集群节点主机名主机IPk8s-master0110.211.55.15k8s-node0110.211.55.16k8s-node0210.211.55.17k8s-node0310.211.55.18二、下载centoscentos下载地址:http://mirrors.aliyun.com/ 查看详情
k8s概念
...8s基本概念Kubernetes是Google开源的容器集群管理系统,基于Docker构建一个容器的调度服务,提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件,目前最新版本为1.0.6;下面是一张简单的架构图650)this.width=650;"src="http://violetg... 查看详情
docker跨主机通信网络(代码片段)
Docker跨主机通信网络跨主机网络方案包括:docker原生的overlay和macvlan。第三方方案:常用的包括flannel、weave和calico。(1)准备Overlay网络实验环境[[email protected]~]#dockerrun-d-p8500:8500-hconsul--nameconsulprogrium/consul-server-bootstrap[[ 查看详情
精讲docker跨主机通信
目录概述一、Dockeroverlay案例1.环境2.配置二、Macvlan案例1.环境同上2.docker01和docker02操作概述跨主机网络意味着将不同主机上的容器用同一个虚拟网络连接起来。这个虚拟网络的拓扑结构和实现技术叫网络模型。提示:本节介... 查看详情
部署flannel,实现跨主机docker容器通信
...nnelisavirtualnetworkthatattachesIPaddressestocontainers)两个主机下的Docker容器之间是不互通的,通过部署flannel,对docker容器的ip进行规划,就能实现跨主机容器之间的通信。官方文档:https://coreos.com/flannel/docs/latest/flannel-config.html以下介 查看详情
入门k8s的学习建议
...一句话概括就是容器编排工具。既然是容器,那就绕不开docker,docker的知识要掌握。容器和容器之间要通信,所以网络知识也要掌握一点,容器间资源要共享要隔离,所以有了命名空间和pod,还有存储、挂载、鉴权、ingress等等... 查看详情
docker实践--使用openvswitch实现跨主机通信
作为目前最火热的容器技术,docker在网络实现和管理方面还存在不足。最开始的docker是依赖于LinuxBridge实现的网络设置,只能在容器里创建一个网卡。后来随着docker/libnetwork项目的进展,docker的网络管理功能逐渐多了起来。尽管... 查看详情
docker-----网络自定义网络容器通信跨主机容器通信(代码片段)
目录一.Docker网络1.桥接网络2.host网络模式3.none模式二.自定义网络1.创建自定义网络2.自定义网络3.手动指定ip4.双网卡实现不同网段间的容器通信三.Docker容器通信1.使用容器名称通信2.–link可以用来链接2个容器3.容器如何访问外网4... 查看详情
docker网络跨主机通讯vxlan和vlan
基于OpenvSwitch实现跨主机通信:环境描述:计算机名称IPDocker01eth0:192.168.124.150/24eth1:172.16.100.20/24docker0:172.17.0.1/24(默认)Docker02eth0:192.168.124.15124eth1:172.16.100.30/24docker0:172.17.0.1/24(默认)dockerothsrvet 查看详情
【swarm】docker跨主机网络:overlay
...明如果容器部署在不同的节点上面,只能通过暴露端口到宿主机上,再通过宿主机之间进行通信。随着dockerswarm集群的推广,docker也有了自家的跨主机通信网络驱动,名叫overlay,overlay网络模型是swarm集群容器间通信的载体,将服... 查看详情