本文发表时间已超过一年。较旧的文章可能包含过时的内容。请检查页面中的信息自发布以来是否已变得不正确。
使用 Ansible 和 Vagrant 进行 Kubernetes 设置
目标
这篇博客文章描述了为开发目的设置多节点 Kubernetes 集群所需的步骤。此设置提供了一个类似于生产环境的集群，可以在本地计算机上设置。
为什么我们需要多节点集群设置？
多节点 Kubernetes 集群提供了一个类似于生产环境的环境，具有各种优点。即使 Minikube 为入门提供了一个出色的平台，但它没有提供使用多节点集群的机会，这有助于解决与应用程序设计和架构相关的问题或错误。例如，运维人员可以在多节点集群环境中重现问题，测试人员可以部署多个版本的应用程序来执行测试用例和验证更改。这些好处使团队能够更快地解决问题，从而使其更加敏捷。
为什么要使用 Vagrant 和 Ansible？
Vagrant 是一个工具，可以让我们轻松创建虚拟环境，并消除导致“在我机器上可以运行”现象的陷阱。它可以与多个提供程序一起使用，例如 Oracle VirtualBox、VMware、Docker 等。它允许我们通过使用配置文件来创建可丢弃的环境。
Ansible 是一种基础设施自动化引擎，可自动化软件配置管理。它是无代理的，允许我们使用 SSH 密钥连接到远程计算机。Ansible Playbook 用 YAML 编写，并在简单的文本文件中提供库存管理。
先决条件
- Vagrant 应该安装在您的机器上。可以在此处找到安装二进制文件。
- 可以使用 Oracle VirtualBox 作为 Vagrant 提供程序，或者使用 Vagrant 官方文档中描述的类似提供程序。
- Ansible 应该安装在您的机器上。请参阅Ansible 安装指南，了解特定于平台的安装。
设置概述
我们将设置一个 Kubernetes 集群，它将由一个主节点和两个工作节点组成。所有节点都将运行 Ubuntu Xenial 64 位操作系统，并且将使用 Ansible Playbook 进行配置。
步骤 1：创建 Vagrantfile
使用您选择的文本编辑器创建一个名为 Vagrantfile 的文件，并插入以下代码。N 的值表示集群中存在的节点数，可以根据需要进行修改。在下面的示例中，我们将 N 的值设置为 2。
IMAGE_NAME = "bento/ubuntu-16.04"
N = 2
Vagrant.configure("2") do |config|
config.ssh.insert_key = false
config.vm.provider "virtualbox" do |v|
v.memory = 1024
v.cpus = 2
end
config.vm.define "k8s-master" do |master|
master.vm.box = IMAGE_NAME
master.vm.network "private_network", ip: "192.168.50.10"
master.vm.hostname = "k8s-master"
master.vm.provision "ansible" do |ansible|
ansible.playbook = "kubernetes-setup/master-playbook.yml"
ansible.extra_vars = {
node_ip: "192.168.50.10",
}
end
end
(1..N).each do |i|
config.vm.define "node-#{i}" do |node|
node.vm.box = IMAGE_NAME
node.vm.network "private_network", ip: "192.168.50.#{i + 10}"
node.vm.hostname = "node-#{i}"
node.vm.provision "ansible" do |ansible|
ansible.playbook = "kubernetes-setup/node-playbook.yml"
ansible.extra_vars = {
node_ip: "192.168.50.#{i + 10}",
}
end
end
end
end
步骤 2：为 Kubernetes 主节点创建 Ansible Playbook。
在与 Vagrantfile 相同的目录中创建一个名为 kubernetes-setup 的目录。在 kubernetes-setup 目录中创建两个名为 master-playbook.yml 和 node-playbook.yml 的文件。
在文件 master-playbook.yml 中，添加以下代码。
步骤 2.1：安装 Docker 及其依赖组件。
我们将安装以下软件包，然后将名为“vagrant”的用户添加到“docker”组。
- docker-ce
- docker-ce-cli
- containerd.io
---
- hosts: all
become: true
tasks:
- name: Install packages that allow apt to be used over HTTPS
apt:
name: "{{ packages }}"
state: present
update_cache: yes
vars:
packages:
- apt-transport-https
- ca-certificates
- curl
- gnupg-agent
- software-properties-common
- name: Add an apt signing key for Docker
apt_key:
url: https://download.docker.com/linux/ubuntu/gpg
state: present
- name: Add apt repository for stable version
apt_repository:
repo: deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable
state: present
- name: Install docker and its dependecies
apt:
name: "{{ packages }}"
state: present
update_cache: yes
vars:
packages:
- docker-ce
- docker-ce-cli
- containerd.io
notify:
- docker status
- name: Add vagrant user to docker group
user:
name: vagrant
group: docker
步骤 2.2：如果系统启用了交换，则 Kubelet 将不会启动，因此我们使用以下代码禁用交换。
- name: Remove swapfile from /etc/fstab
mount:
name: "{{ item }}"
fstype: swap
state: absent
with_items:
- swap
- none
- name: Disable swap
command: swapoff -a
when: ansible_swaptotal_mb > 0
步骤 2.3：使用以下代码安装 kubelet、kubeadm 和 kubectl。
- name: Add an apt signing key for Kubernetes
apt_key:
url: https://packages.cloud.google.com/apt/doc/apt-key.gpg
state: present
- name: Adding apt repository for Kubernetes
apt_repository:
repo: deb https://apt.kubernetes.io/ kubernetes-xenial main
state: present
filename: kubernetes.list
- name: Install Kubernetes binaries
apt:
name: "{{ packages }}"
state: present
update_cache: yes
vars:
packages:
- kubelet
- kubeadm
- kubectl
- name: Configure node ip
lineinfile:
path: /etc/default/kubelet
line: KUBELET_EXTRA_ARGS=--node-ip={{ node_ip }}
- name: Restart kubelet
service:
name: kubelet
daemon_reload: yes
state: restarted
步骤 2.3：使用以下代码使用 kubeadm 初始化 Kubernetes 集群（仅适用于主节点）。
- name: Initialize the Kubernetes cluster using kubeadm
command: kubeadm init --apiserver-advertise-address="192.168.50.10" --apiserver-cert-extra-sans="192.168.50.10" --node-name k8s-master --pod-network-cidr=192.168.0.0/16
步骤 2.4：使用以下代码设置 vagrant 用户访问 Kubernetes 集群的 kube 配置文件。
- name: Setup kubeconfig for vagrant user
command: "{{ item }}"
with_items:
- mkdir -p /home/vagrant/.kube
- cp -i /etc/kubernetes/admin.conf /home/vagrant/.kube/config
- chown vagrant:vagrant /home/vagrant/.kube/config
步骤 2.5：使用以下代码设置容器网络提供程序和网络策略引擎。
- name: Install calico pod network
become: false
command: kubectl create -f https://docs.projectcalico.org/v3.4/getting-started/kubernetes/installation/hosted/calico.yaml
步骤 2.6：生成用于将节点加入 Kubernetes 集群的 kube join 命令，并将该命令存储在名为 join-command 的文件中。
- name: Generate join command
command: kubeadm token create --print-join-command
register: join_command
- name: Copy join command to local file
local_action: copy content="{{ join_command.stdout_lines[0] }}" dest="./join-command"
步骤 2.7：使用以下代码设置用于检查 Docker 守护程序的处理程序。
handlers:
- name: docker status
service: name=docker state=started
步骤 3：为 Kubernetes 节点创建 Ansible Playbook。
在 kubernetes-setup 目录中创建一个名为 node-playbook.yml 的文件。
将以下代码添加到 node-playbook.yml 中
步骤 3.1：从步骤 2.1 到 2.3 开始添加代码。
步骤 3.2：使用以下代码将节点加入 Kubernetes 集群。
- name: Copy the join command to server location
copy: src=join-command dest=/tmp/join-command.sh mode=0777
- name: Join the node to cluster
command: sh /tmp/join-command.sh
步骤 3.3：添加步骤 2.7 中的代码以完成此 Playbook。
步骤 4：完成 Vagrantfile 和 Playbook 后，请按照以下步骤操作。
$ cd /path/to/Vagrantfile
$ vagrant up
完成上述所有步骤后，Kubernetes 集群应该已启动并正在运行。我们可以使用 Vagrant 登录到主节点或工作节点，如下所示
$ ## Accessing master
$ vagrant ssh k8s-master
vagrant@k8s-master:~$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 18m v1.13.3
node-1 Ready <none> 12m v1.13.3
node-2 Ready <none> 6m22s v1.13.3
$ ## Accessing nodes
$ vagrant ssh node-1
$ vagrant ssh node-2