正文

kubernetes跨集群流量调度实战：访问控制(代码片段)

author  author  2022-12-30  261

关键词：

背景

众所周知，Flomesh 的服务网格产品 osm-edge 是基于 SMI（Service Mesh Interface，服务网格接口）标准的实现。SMI 定义了流量标识、访问控制、遥测和管理的规范。在上一篇中，我们体验过了多集群服务（Multi-Cluster Service，MCS），以及流量在多集群中的调度策略，属于最基本最基础的能力，这篇会带大家体验一下基于 SMI 实现的跨集群访问控制。

在开始之前，先回顾一下 SMI 访问控制的规范。在 osm-edge 中的流量策略有两种形式：宽松模式 和 流量策略模式。前者允许网格中的服务互相访问，后者需要提供相应的流量策略才可以访问。

SMI 访问控制策略

在流量策略模式下，SMI 通过 CRD TrafficTarget 来定义基于 ServiceAccount 的访问控制，其中定义了流量源（sources）、目标（destinations）以及规则（rules）。表达的是使用 sources 中指定 ServiceAccount 的应用可以访问 destinations 指定 ServiceAccount 的应用，可访问的流量由 rules 指定。

比如下面的示例，表示的是使用 ServiceAccount promethues 运行的负载，发送 GET 请求到使用 ServiceAccount service-a 运行的负载的 /metrics 端点。HTTPRouteGroup 定义了流量的标识：即访问端点 /metrics 的 GET 请求。

kind: HTTPRouteGroup
metadata:
  name: the-routes
spec:
  matches:
  - name: metrics
    pathRegex: "/metrics"
    methods:
    - GET
---
kind: TrafficTarget
metadata:
  name: path-specific
  namespace: default
spec:
  destination:
    kind: ServiceAccount
    name: service-a
    namespace: default
  rules:
  - kind: HTTPRouteGroup
    name: the-routes
    matches:
    - metrics
  sources:
  - kind: ServiceAccount
    name: prometheus
    namespace: default

那么在多集群中，访问控制的表现如何呢？

FSM 的 `ServiceExport`

FSM 的 ServiceExport 用于导出服务到其他集群，也就是服务注册的过程。ServiceExport 的字段 spec.serviceAccountName 可以用来指定服务负载使用的 ServiceAccount。

apiVersion: flomesh.io/v1alpha1
kind: ServiceExport
metadata:
  namespace: httpbin
  name: httpbin
spec:
  serviceAccountName: "*"
  rules:
    - portNumber: 8080
      path: "/cluster-1/httpbin-mesh"
      pathType: Prefix

接下来，我们在上次的环境基础上开始演示，没有看过上一篇的小伙伴可以参考上一篇来搭建环境。

部署应用

部署示例应用

在集群 cluster-1 和 cluster-3 的 httpbin 命名空间（由网格管理，会注入 sidecar）下，部署 httpbin 应用。这里我们指定 ServiceAccount 为 httpbin。

export NAMESPACE=httpbin
for CLUSTER_NAME in cluster-1 cluster-3
do
  kubectx k3d-$CLUSTER_NAME
  kubectl create namespace $NAMESPACE
  osm namespace add $NAMESPACE
  kubectl apply -n $NAMESPACE -f - <<EOF
apiVersion: v1
kind: ServiceAccount
metadata:
  name: httpbin
---  
apiVersion: apps/v1
kind: Deployment
metadata:
  name: httpbin
  labels:
    app: pipy
spec:
  replicas: 1
  selector:
    matchLabels:
      app: pipy
  template:
    metadata:
      labels:
        app: pipy
    spec:
      serviceAccountName: httpbin
      containers:
        - name: pipy
          image: flomesh/pipy:latest
          ports:
            - containerPort: 8080
          command:
            - pipy
            - -e
            - |
              pipy()
              .listen(8080)
              .serveHTTP(new Message(Hi, I am from $CLUSTER_NAME and controlled by mesh!\\n))
---
apiVersion: v1
kind: Service
metadata:
  name: httpbin
spec:
  ports:
    - port: 8080
      targetPort: 8080
      protocol: TCP
  selector:
    app: pipy
---
apiVersion: v1
kind: Service
metadata:
  name: httpbin-$CLUSTER_NAME
spec:
  ports:
    - port: 8080
      targetPort: 8080
      protocol: TCP
  selector:
    app: pipy
EOF

  sleep 3
  kubectl wait --for=condition=ready pod -n $NAMESPACE --all --timeout=60s
done

在 cluster-2 的命名空间 httpbin 下部署 httpbin 应用，但不指定 ServiceAccount，使用默认的 ServiceAccount default。

export NAMESPACE=httpbin
export CLUSTER_NAME=cluster-2

kubectx k3d-$CLUSTER_NAME
kubectl create namespace $NAMESPACE
osm namespace add $NAMESPACE
kubectl apply -n $NAMESPACE -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: httpbin
  labels:
    app: pipy
spec:
  replicas: 1
  selector:
    matchLabels:
      app: pipy
  template:
    metadata:
      labels:
        app: pipy
    spec:
      containers:
        - name: pipy
          image: flomesh/pipy:latest
          ports:
            - containerPort: 8080
          command:
            - pipy
            - -e
            - |
              pipy()
              .listen(8080)
              .serveHTTP(new Message(Hi, I am from $CLUSTER_NAME! and controlled by mesh!\\n))
---
apiVersion: v1
kind: Service
metadata:
  name: httpbin
spec:
  ports:
    - port: 8080
      targetPort: 8080
      protocol: TCP
  selector:
    app: pipy
---
apiVersion: v1
kind: Service
metadata:
  name: httpbin-$CLUSTER_NAME
spec:
  ports:
    - port: 8080
      targetPort: 8080
      protocol: TCP
  selector:
    app: pipy
EOF

sleep 3
kubectl wait --for=condition=ready pod -n $NAMESPACE --all --timeout=60s

在集群 cluster-2 的命名空间 curl 下部署 curl 应用，这个命名空间是被网格管理的，注入的 sidecar 会完全流量的跨集群调度。这里指定使用 ServiceAccout curl。

export NAMESPACE=curl
kubectx k3d-cluster-2
kubectl create namespace $NAMESPACE
osm namespace add $NAMESPACE
kubectl apply -n $NAMESPACE -f - <<EOF
apiVersion: v1
kind: ServiceAccount
metadata:
  name: curl
---
apiVersion: v1
kind: Service
metadata:
  name: curl
  labels:
    app: curl
    service: curl
spec:
  ports:
    - name: http
      port: 80
  selector:
    app: curl
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: curl
spec:
  replicas: 1
  selector:
    matchLabels:
      app: curl
  template:
    metadata:
      labels:
        app: curl
    spec:
      serviceAccountName: curl
      containers:
      - image: curlimages/curl
        imagePullPolicy: IfNotPresent
        name: curl
        command: ["sleep", "365d"]
EOF

sleep 3
kubectl wait --for=condition=ready pod -n $NAMESPACE --all --timeout=60s

导出服务

export NAMESPACE_MESH=httpbin
for CLUSTER_NAME in cluster-1 cluster-3
do
  kubectx k3d-$CLUSTER_NAME
  kubectl apply -f - <<EOF
apiVersion: flomesh.io/v1alpha1
kind: ServiceExport
metadata:
  namespace: $NAMESPACE_MESH
  name: httpbin
spec:
  serviceAccountName: "httpbin"
  rules:
    - portNumber: 8080
      path: "/$CLUSTER_NAME/httpbin-mesh"
      pathType: Prefix
---
apiVersion: flomesh.io/v1alpha1
kind: ServiceExport
metadata:
  namespace: $NAMESPACE_MESH
  name: httpbin-$CLUSTER_NAME
spec:
  serviceAccountName: "httpbin"
  rules:
    - portNumber: 8080
      path: "/$CLUSTER_NAME/httpbin-mesh-$CLUSTER_NAME"
      pathType: Prefix
EOF
sleep 1
done

测试

我们切换回集群 cluster-2：

kubectx k3d-cluster-2

默认路由类型是 Locality ，我们需要创建一个 ActiveActive 策略，来允许使用其他集群的服务实例来处理请求。

kubectl apply -n httpbin -f  - <<EOF
apiVersion: flomesh.io/v1alpha1
kind: GlobalTrafficPolicy
metadata:
  name: httpbin
spec:
  lbType: ActiveActive
  targets:
    - clusterKey: default/default/default/cluster-1
    - clusterKey: default/default/default/cluster-3
EOF

在 cluster-2 集群的 curl 应用中，我们向 httpbin.httpbin 发送请求。

curl_client="$(kubectl get pod -n curl -l app=curl -o jsonpath=.items[0].metadata.name)"

kubectl exec "$curl_client" -n curl -c curl -- curl -s http://httpbin.httpbin:8080/

多请求几次会看到如下的响应：

Hi, I am from cluster-1 and controlled by mesh!
Hi, I am from cluster-2 and controlled by mesh!
Hi, I am from cluster-3 and controlled by mesh!
Hi, I am from cluster-1 and controlled by mesh!
Hi, I am from cluster-2 and controlled by mesh!
Hi, I am from cluster-3 and controlled by mesh!

演示

调整流量策略模式

我们先将集群 cluster-2 的流量策略模式调整下，这样才能应用流量策略：

kubectx k3d-cluster-2
export osm_namespace=osm-system
kubectl patch meshconfig osm-mesh-config -n "$osm_namespace" -p "spec":"traffic":"enablePermissiveTrafficPolicyMode":false --type=merge

此时，再尝试发送请求，会发现请求失败。因为在流量策略模式下，没有配置策略的话应用间的互访是被禁止的。

kubectl exec "$curl_client" -n curl -c curl -- curl -s http://httpbin.httpbin:8080/
command terminated with exit code 52

应用访问控制策略

文章开头介绍 SMI 的访问控制策略时有提到是基于 ServiceAccount 的，这就是为什么我们部署的 httpbin 服务在集群 cluster-1 、cluster-3 与集群 cluster-2 中使用的 ServiceAccount 不同：

cluster-1：httpbin
cluster-2：default
clsuter-3：httpbin

接下来，我们会为集群内和集群外的服务，分别设置不同的访问控制策略 TrafficTarget，通过在 TrafficTarget 中目标负载的 ServiceAccount 来进行区分。

执行下面的命令，创建流量策略 curl-to-httpbin，允许 curl 访问命名空间 httpbin 下使用 ServiceAccount default 的负载。

kubectl apply -n httpbin -f - <<EOF
apiVersion: specs.smi-spec.io/v1alpha4
kind: HTTPRouteGroup
metadata:
  name: httpbin-route
spec:
  matches:
  - name: all
    pathRegex: "/"
    methods:
    - GET
---
kind: TrafficTarget
apiVersion: access.smi-spec.io/v1alpha3
metadata:
  name: curl-to-httpbin
spec:
  destination:
    kind: ServiceAccount
    name: default
    namespace: httpbin
  rules:
  - kind: HTTPRouteGroup
    name: httpbin-route
    matches:
    - all
  sources:
  - kind: ServiceAccount
    name: curl
    namespace: curl
EOF

多次发送请求尝试，集群 cluster-2 的服务都会做出响应，而集群 cluster-1 和 cluster-3 不会参与服务。

Hi, I am from cluster-2 and controlled by mesh!
Hi, I am from cluster-2 and controlled by mesh!
Hi, I am from cluster-2 and controlled by mesh!

执行下面命令检查 ServiceImports，可以看到 cluster-1 和 cluster-3 导出的服务使用的是 ServiceAccount httpbin。

kubectl get serviceimports httpbin -n httpbin -o jsonpath=.spec | jq


  "ports": [
    
      "endpoints": [
        
          "clusterKey": "default/default/default/cluster-1",
          "target": 
            "host": "192.168.1.110",
            "ip": "192.168.1.110",
            "path": "/cluster-1/httpbin-mesh",
            "port": 81
          
        ,
        
          "clusterKey": "default/default/default/cluster-3",
          "target": 
            "host": "192.168.1.110",
            "ip": "192.168.1.110",
            "path": "/cluster-3/httpbin-mesh",
            "port": 83
          
        
      ],
      "port": 8080,
      "protocol": "TCP"
    
  ],
  "serviceAccountName": "httpbin",
  "type": "ClusterSetIP"

因此，我们创建另一个 TrafficTarget curl-to-ext-httpbin，允许 curl 访问使用 ServiceAccount httpbin 的负载。

kubectl apply -n httpbin -f - <<EOF
kind: TrafficTarget
apiVersion: access.smi-spec.io/v1alpha3
metadata:
  name: curl-to-ext-httpbin
spec:
  destination:
    kind: ServiceAccount
    name: httpbin
    namespace: httpbin
  rules:
  - kind: HTTPRouteGroup
    name: httpbin-route
    matches:
    - all
  sources:
  - kind: ServiceAccount
    name: curl
    namespace: curl
EOF

应用策略后，再测试一下，所有请求都成功。

Hi, I am from cluster-2 and controlled by mesh!
Hi, I am from cluster-1 and controlled by mesh!
Hi, I am from cluster-3 and controlled by mesh!

总结

MCS（Multi-cluster Service）API 的实现目标是能够像 Service 一样，使用其他集群的服务。虽然在 Kubernetes 本身实现还有漫长的路要走，但作为 SMI 标准实现的服务网格来说，可以将其视作 Service 一样来进行操作。

就如本篇的访问控制一样，SMI 的流量拆分一样也可以支持多集群的服务。预告一下，下一篇就为大家介绍多集群服务的流量拆分。

kubernetes云原生实战01kubernetes高可用部署架构

大家好，我是飘渺。从今天开始我们将正式开始Kubernetes云原生实战系列，欢迎持续关注。Kubernets核心组件Kubernetes中组件众多，要完全介绍清楚估计要写上厚厚一本书，我们实战系列主要记住几个核心组件就行，即两种节点，三... 查看详情

kubernetes云原生实战01kubernetes高可用部署架构

运维实战容器部分kubernetes集群部署(代码片段)

运维实战容器部分Kubernetes集群部署简介设计架构安装部署Pod管理Service两种网络类型Pod扩容与缩容更新Pod镜像Pod回滚资源清单Pod生命周期Init容器的作用容器探针重启策略Pod的生命控制器概念解释ReplicationController/ReplicaSetDeploymentDae... 查看详情

kubernetes架构

...交互）·有哪些组件、每个组件负责什么：一个 Kubernetes 集群由很多节点组成。节点上运行 Kubernetes 所管理的容器化应用。集群具有至少一个工作节点。工作节点托管作为应用负载的组件的Pod。控制平面管理集群中的... 查看详情

kubernetes-ingress资源详解

什么是Ingress#阿里云称之为ingress路由！在Kubernetes集群中,主要用于接入外部请求到k8s内部，Ingress是授权入站连接到达集群服务的规则集合，为您提供七层负载均衡能力。您可以给Ingress配置提供外部可访问的URL、负载均衡、SSL、... 查看详情

kubernetes:如何实现跨集群节点均匀调度分布pod(pod拓扑分布约束)(代码片段)

写在前面分享一些k8s跨集群节点均匀调度分布Pod的笔记博文内容涉及：pod调度&&拓扑分布约束简单介绍跨节点均匀分布podDemo&&相关配置字段说明多个拓扑分布约束Demo有冲突拓扑分布约束Demo理解不足小伙伴帮忙指正<... 查看详情

运维实战容器部分kubernetes调度(代码片段)

运维实战容器部分Kubernetes调度需求简介具体调度方法nodeNamenodeSelector亲和与反亲和节点亲和Pod亲和TaintsTaints设置的取值Tolerations相关设置需求简介生产环境有对Pod调度规划的真实需求,比如端口冲突的业务不能部署在同一物理机如... 查看详情

运维实战容器部分kubernetes调度(代码片段)

knativekafka通道调度程序无法在kubernetes集群之外访问kafka(代码片段)

我正在尝试使用以下文档在Knative中设置Kafka频道调度程序：https://github.com/knative/eventing/tree/master/contrib/kafka/config除了渠道调度员找不到我的Kafka经纪人外，其他一切都很顺利。广告连播kafka-channel-dispatcher-0出现错误：“level”：“... 查看详情

云原生之kubernetes实战kubernetes集群的证书管理

【云原生之kubernetes实战】kubernetes集群的证书管理一、kubernetes证书的分类二、检查k8s集群状态三、检查相关证书过期时间1.查看sealos部署的k8s集群证书过期时间2.查看kubeadm部署的k8s集群过期时间3.证书有效期分析四、备份相关证... 查看详情

云原生之kubernetes实战使用yum方式部署kubernetes集群

【云原生之kubernetes实战】使用yum方式部署kubernetes集群一、环境规划1.节点IP规划2.本次k8s部署介绍二、环境检查1.检查docker状态2.检查节点系统版本3.检查防火墙状态三、安装前环境配置工作1.关闭swap2.开启内核对流量转发3.关闭sel... 查看详情

kubernetes:如何实现跨集群节点均匀调度分布pod(pod拓扑分布约束)(代码片段)

写在前面分享一些k8s跨集群节点均匀调度分布Pod的笔记博文内容涉及：pod调度&&拓扑分布约束简单介绍跨节点均匀分布podDemo&&相关配置字段说明多个拓扑分布约束Demo有冲突拓扑分布约束Demo理解不足小伙伴帮忙指... 查看详情

kubernetes:如何实现跨集群节点均匀调度分布pod(pod拓扑分布约束)(代码片段)

kubernetes集群的认证授权准入控制(代码片段)

一、kubernetes集群安全架构用户使用kubectl、客户机或通过REST请求访问API。可以授权用户和Kubernetes服务帐户进行API访问。当一个请求到达API时，它会经历几个阶段，如下图所示: 1.访问K8S集群的资源需要过三关：认证、鉴权、... 查看详情

运维实战容器部分kubernetes集群部署(代码片段)

kubernetes从中心走向边缘

参考技术A1.Kubernetes从中心走向边缘Kubernetes是以应用为中心的技术架构与思想理念，以一套技术体系支持任意负载，运行于任意基础设施之上；向下屏蔽基础设施差异，实现底层基础资源统一调度及编排；向上通过容器镜像标准... 查看详情

k8s-ingress控制器

...的名称空间。裸机安装:版本不同具体根据查看官网https://kubernetes.github.io/ingress-nginx/deploy/配置通过主机80，443端口访问github安装文档Kubernetes中的IngressAPI使大量控制器能够提供简单而强大的方法来管理到Kubernetes工作负载的入站网... 查看详情

kubernetes(k8s)集群安全机制之访问控制(代码片段)

集群安全机制之访问控制访问控制流程访问k8s的APIServer的客户端使用代理查看API信息ServiceAccount创建ServiceAccount账户给SA添加仓库认证UserAccount创建UserAccount账户RBAC（RoleBasedAccessControl）授权RBAC的三个基本概念Role和ClusterRole... 查看详情

正文

kubernetes跨集群流量调度实战：访问控制(代码片段)

背景

SMI 访问控制策略

FSM 的 ServiceExport

部署应用

部署示例应用

导出服务

测试

演示

调整流量策略模式

应用访问控制策略

总结

kubernetes云原生实战01kubernetes高可用部署架构

kubernetes云原生实战01kubernetes高可用部署架构

运维实战容器部分kubernetes集群部署(代码片段)

kubernetes架构

kubernetes-ingress资源详解

kubernetes:如何实现跨集群节点均匀调度分布pod(pod拓扑分布约束)(代码片段)

运维实战容器部分kubernetes调度(代码片段)

运维实战容器部分kubernetes调度(代码片段)

knativekafka通道调度程序无法在kubernetes集群之外访问kafka(代码片段)

云原生之kubernetes实战kubernetes集群的证书管理

云原生之kubernetes实战使用yum方式部署kubernetes集群

kubernetes:如何实现跨集群节点均匀调度分布pod(pod拓扑分布约束)(代码片段)

kubernetes:如何实现跨集群节点均匀调度分布pod(pod拓扑分布约束)(代码片段)

kubernetes集群的认证授权准入控制(代码片段)

运维实战容器部分kubernetes集群部署(代码片段)

kubernetes从中心走向边缘

k8s-ingress控制器

kubernetes(k8s)集群安全机制之访问控制(代码片段)

FSM 的 `ServiceExport`