在集群中自动缩放 DNS 服务
此页面展示如何在 Kubernetes 集群中启用和配置 DNS 服务的自动缩放。
开始之前
你需要有一个 Kubernetes 集群,并且必须配置 kubectl 命令行工具以与你的集群通信。建议在至少有两个非控制平面主机节点的集群上运行本教程。如果你还没有集群,你可以使用 minikube 创建一个,或者你可以使用这些 Kubernetes 游乐场中的一个
要检查版本,请输入kubectl version
。本指南假设你的节点使用 AMD64 或 Intel 64 CPU 架构。
确保启用了 Kubernetes DNS。
确定是否已启用 DNS 水平自动缩放
在 kube-system 命名空间中列出集群中的Deployment
kubectl get deployment --namespace=kube-system
输出类似于这样
NAME READY UP-TO-DATE AVAILABLE AGE
...
kube-dns-autoscaler 1/1 1 1 ...
...
如果在输出中看到“kube-dns-autoscaler”,则表示已启用 DNS 水平自动缩放,你可以跳到调整自动缩放参数。
获取 DNS Deployment 的名称
在 kube-system 命名空间中列出集群中的 DNS Deployment
kubectl get deployment -l k8s-app=kube-dns --namespace=kube-system
输出类似于这样
NAME READY UP-TO-DATE AVAILABLE AGE
...
coredns 2/2 2 2 ...
...
如果你没有看到 DNS 服务的 Deployment,你也可以按名称查找
kubectl get deployment --namespace=kube-system
并查找名为 coredns
或 kube-dns
的 Deployment。
你的缩放目标是
Deployment/<your-deployment-name>
其中 <your-deployment-name>
是你的 DNS Deployment 的名称。例如,如果你的 DNS Deployment 名称是 coredns,则你的缩放目标是 Deployment/coredns。
注意
CoreDNS 是 Kubernetes 的默认 DNS 服务。CoreDNS 设置标签k8s-app=kube-dns
,以便它可以在最初使用 kube-dns 的集群中工作。启用 DNS 水平自动缩放
在本节中,你将创建一个新的 Deployment。Deployment 中的 Pod 运行一个基于 cluster-proportional-autoscaler-amd64
镜像的容器。
创建一个名为 dns-horizontal-autoscaler.yaml
的文件,内容如下
kind: ServiceAccount
apiVersion: v1
metadata:
name: kube-dns-autoscaler
namespace: kube-system
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: system:kube-dns-autoscaler
rules:
- apiGroups: [""]
resources: ["nodes"]
verbs: ["list", "watch"]
- apiGroups: [""]
resources: ["replicationcontrollers/scale"]
verbs: ["get", "update"]
- apiGroups: ["apps"]
resources: ["deployments/scale", "replicasets/scale"]
verbs: ["get", "update"]
# Remove the configmaps rule once below issue is fixed:
# kubernetes-incubator/cluster-proportional-autoscaler#16
- apiGroups: [""]
resources: ["configmaps"]
verbs: ["get", "create"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: system:kube-dns-autoscaler
subjects:
- kind: ServiceAccount
name: kube-dns-autoscaler
namespace: kube-system
roleRef:
kind: ClusterRole
name: system:kube-dns-autoscaler
apiGroup: rbac.authorization.k8s.io
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: kube-dns-autoscaler
namespace: kube-system
labels:
k8s-app: kube-dns-autoscaler
kubernetes.io/cluster-service: "true"
spec:
selector:
matchLabels:
k8s-app: kube-dns-autoscaler
template:
metadata:
labels:
k8s-app: kube-dns-autoscaler
spec:
priorityClassName: system-cluster-critical
securityContext:
seccompProfile:
type: RuntimeDefault
supplementalGroups: [ 65534 ]
fsGroup: 65534
nodeSelector:
kubernetes.io/os: linux
containers:
- name: autoscaler
image: registry.k8s.io/cpa/cluster-proportional-autoscaler:1.8.4
resources:
requests:
cpu: "20m"
memory: "10Mi"
command:
- /cluster-proportional-autoscaler
- --namespace=kube-system
- --configmap=kube-dns-autoscaler
# Should keep target in sync with cluster/addons/dns/kube-dns.yaml.base
- --target=<SCALE_TARGET>
# When cluster is using large nodes(with more cores), "coresPerReplica" should dominate.
# If using small nodes, "nodesPerReplica" should dominate.
- --default-params={"linear":{"coresPerReplica":256,"nodesPerReplica":16,"preventSinglePointFailure":true,"includeUnschedulableNodes":true}}
- --logtostderr=true
- --v=2
tolerations:
- key: "CriticalAddonsOnly"
operator: "Exists"
serviceAccountName: kube-dns-autoscaler
在文件中,将 <SCALE_TARGET>
替换为你的缩放目标。
转到包含你的配置文件的目录,然后输入此命令以创建 Deployment
kubectl apply -f dns-horizontal-autoscaler.yaml
成功命令的输出为
deployment.apps/kube-dns-autoscaler created
DNS 水平自动缩放现已启用。
调整 DNS 自动缩放参数
验证 kube-dns-autoscaler ConfigMap 是否存在
kubectl get configmap --namespace=kube-system
输出类似于这样
NAME DATA AGE
...
kube-dns-autoscaler 1 ...
...
修改 ConfigMap 中的数据
kubectl edit configmap kube-dns-autoscaler --namespace=kube-system
查找此行
linear: '{"coresPerReplica":256,"min":1,"nodesPerReplica":16}'
根据你的需要修改字段。“min”字段表示 DNS 后端的最小数量。使用此公式计算后端的实际数量
replicas = max( ceil( cores × 1/coresPerReplica ) , ceil( nodes × 1/nodesPerReplica ) )
请注意,coresPerReplica
和 nodesPerReplica
的值都是浮点数。
其思路是,当集群使用具有许多核心的节点时,coresPerReplica
占主导地位。当集群使用具有较少核心的节点时,nodesPerReplica
占主导地位。
还有其他支持的缩放模式。有关详细信息,请参阅 cluster-proportional-autoscaler。
禁用 DNS 水平自动缩放
有几个选项可以调整 DNS 水平自动缩放。使用哪个选项取决于不同的条件。
选项 1:将 kube-dns-autoscaler Deployment 缩减到 0 个副本
此选项适用于所有情况。输入此命令
kubectl scale deployment --replicas=0 kube-dns-autoscaler --namespace=kube-system
输出为
deployment.apps/kube-dns-autoscaler scaled
验证副本计数是否为零
kubectl get rs --namespace=kube-system
输出在 DESIRED 和 CURRENT 列中显示 0
NAME DESIRED CURRENT READY AGE
...
kube-dns-autoscaler-6b59789fc8 0 0 0 ...
...
选项 2:删除 kube-dns-autoscaler Deployment
如果 kube-dns-autoscaler 在你的控制之下,则此选项有效,这意味着没有人会重新创建它
kubectl delete deployment kube-dns-autoscaler --namespace=kube-system
输出为
deployment.apps "kube-dns-autoscaler" deleted
选项 3:从主节点删除 kube-dns-autoscaler 清单文件
如果 kube-dns-autoscaler 在(已弃用的)Addon Manager 的控制之下,并且你有权访问主节点,则此选项有效。
登录到主节点并删除相应的清单文件。此 kube-dns-autoscaler 的常见路径是
/etc/kubernetes/addons/dns-horizontal-autoscaler/dns-horizontal-autoscaler.yaml
删除清单文件后,Addon Manager 将删除 kube-dns-autoscaler Deployment。
了解 DNS 水平自动缩放的工作原理
cluster-proportional-autoscaler 应用程序与 DNS 服务分开部署。
一个自动缩放器 Pod 运行一个客户端,该客户端轮询 Kubernetes API 服务器以获取集群中节点和核心的数量。
基于当前可调度的节点和核心以及给定的缩放参数,计算所需的副本计数并将其应用于 DNS 后端。
缩放参数和数据点通过 ConfigMap 提供给自动缩放器,并且它每隔一个轮询间隔刷新其参数表,以便与最新的所需缩放参数保持同步。
允许更改缩放参数,而无需重新构建或重新启动自动缩放器 Pod。
自动缩放器提供控制器接口以支持两种控制模式:线性和阶梯。
下一步
- 阅读关于为关键附加组件 Pod 保证调度。
- 了解有关 cluster-proportional-autoscaler 的实现的更多信息。