Kubernetes v1.21.11的基本部署
主机准备
4台主机，1主3从，都至少分配2个CPU和2g内存以上，主机信息如下。
| 主机 | Username@IP | 角色 | 主机名 |
|---|---|---|---|
| CentOS Linux 1 | root@192.168.1.15 | Manager | k8s-master |
| CentOS Linux 2 | root@192.168.1.14 | Worker | k8s-node1 |
| CentOS Linux 3 | root@192.168.1.18 | Worker | k8s-node2 |
| CentOS Linux 4 | root@192.168.1.34 | Worker | k8s-node3 |
操作系统版本均为：CentOS Linux release 7.9.2009 (Core) 操作系统内核版本均为：3.10.0-1160.el7.x86_64 使用命令ip addr show可以看到主机的IP地址，要保证4台主机可以相互ping通。
如果你使用ssh安装openssh服务，需要安装openssh-server：yum install openssh-server -y
修改主机名
系统初始的主机名是localhost.localdomain，我们需要将其修改一下，因为后面工作节点加入主节点以后，如果他们的主机名相同，那么主节点是看不到工作节点的。
按照上面的表格，我们将主机名进行修改
hostnamectl --static set-hostname k8s-master # 主节点
hostnamectl --static set-hostname k8s-node1 # 工作节点1
hostnamectl --static set-hostname k8s-node2 # 工作节点2
hostnamectl --static set-hostname k8s-node3 # 工作节点3重启后生效，也可以运行hostname $hostname直接生效
安装docker-ce 20.10.14（所有机器）
所有安装k8s的机器都需要安装docker，命令如下：
# 安装docker所需的工具
yum install -y yum-utils device-mapper-persistent-data lvm2
# 配置阿里云的docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 指定安装这个版本的docker-ce
yum install -y docker-ce-20.10.14-3.el7
# 启动docker
systemctl enable docker && systemctl start docker设置k8s环境准备条件（所有机器）
# 关闭防火墙
systemctl disable firewalld
systemctl stop firewalld
# 关闭selinux
# 临时禁用selinux
setenforce 0
# 永久关闭 修改/etc/sysconfig/selinux文件设置
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
# 禁用交换分区
swapoff -a
# 永久禁用，打开/etc/fstab注释掉swap那一行。
sed -i 's/.*swap.*/#&/' /etc/fstab
# 修改内核参数
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system安装k8s v1.21.11 (仅master管理节点)
如果还没安装docker，请参照步骤二安装docker-ce 20.10.14（所有机器）安装。如果没设置k8s环境准备条件，请参照步骤三设置k8s环境准备条件（所有机器）执行。
以上两个步骤检查完毕之后，继续以下步骤。
安装kubeadm、kubelet、kubectl
由于官方k8s源在google，国内无法访问，这里使用阿里云yum源
# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装kubeadm、kubectl、kubelet
yum install -y kubectl-1.21.11-0 kubeadm-1.21.11-0 kubelet-1.21.11-0
# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet初始化k8s
下面命令中--apiserver-advertise-address的192.168.1.15要改成你master节点的IP地址。
注意，如果是在云服务器上安装，不要填写云服务器的公网IP。填入通过ifconfig查看到的eth0的ipv4地址。初始化过程中会访问--apiserver-advertise-address的6443端口，以检查服务是否健康。
# 下载管理节点中用到的6个docker镜像，你可以使用docker images查看到
kubeadm init --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers --kubernetes-version v1.21.11 --apiserver-advertise-address 192.168.1.15 --pod-network-cidr=10.244.0.0/16 --token-ttl 0上面安装完后，会提示你输入如下命令，复制粘贴过来，执行。
# 上面安装完成后，k8s会提示你输入如下命令，执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config记住node加入集群的命令 上面kubeadm init执行成功后会返回给你node节点加入集群的命令，等会要在node节点上执行，需要保存下来，如果忘记了，可以使用如下命令获取。
kubeadm token create --print-join-command以上，安装master节点完毕。可以使用kubectl get nodes查看一下，此时master处于NotReady状态，是因为还没有安装CNI网络插件，后面我们会安装flannel作为CNI网络插件。
安装k8s v1.21.11 (仅node工作节点)
如果还没安装docker，请参照步骤二安装docker-ce 20.10.14（所有机器）安装。如果没设置k8s环境准备条件，请参照步骤三设置k8s环境准备条件（所有机器）执行。
以上两个步骤检查完毕之后，继续以下步骤。
安装kubeadm、kubelet
# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装kubeadm、kubectl、kubelet
yum install -y kubeadm-1.21.11-0 kubelet-1.21.11-0
# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet使用上面master输出的命令加入集群，这里加入集群的命令每个人都不一样，可以登录master节点，使用kubeadm token create --print-join-command来获取。获取后执行如下。
# 加入集群，如果这里不知道加入集群的命令，可以登录master节点，使用kubeadm token create --print-join-command 来获取
kubeadm join 192.168.1.15:6443 --token 0f700h.3isbt1pihv13ibfj --discovery-token-ca-cert-hash sha256:83020ba5ee2881b845958cfc007767c59e2052c18432f2d426d82fbf2bdcb59f加入成功后，可以在master节点上使用kubectl get nodes命令查看到加入的节点。
安装flannel（仅master管理节点）
下载官方flannel配置文件kube-flannel.yml(需科学上网)，我将文件内容放在文章最后，复制下来直接粘贴到一个名为kube-flannel.yml的文件中即可。
安装flannel
kubectl apply -f kube-flannel.yml执行此命令可以看到有行警告：
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+可以忽略。
安装完成后，稍作等待即可看到各个节点的状态由NotReady变为Ready。 此时Kubernetes的部署就完成了，可以在上面启动自己的服务，如nginx等。
如果你只启动了一个master节点。 出于安全考虑Pod不会被调度到master节点上，也就是说master节点不参与工作负载。 部署时会报错
0/1 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate.错误表示有一个污点。
允许master节点部署pod，使用命令如下：
kubectl taint nodes --all node-role.kubernetes.io/master-节点维护命令 cordon,drain和uncordon
在主节点执行这些操作。
cordon
kubectl cordon <node name>cordon将节点标记为不可调度(unschedulable)，但此时节点依然处于Ready状态，节点内的Pod依然正常运行，只是被禁用了调度，这意味着新的Pod将不会被调度到此节点上。
drain
kubectl drain <node name>drain命令可以将节点上的所有Pod安全平滑地驱逐到其他节点上，一旦它返回（没有报错），就可以下线此节点（如关掉此节点所在的虚拟机）。
uncordon
kubectl uncordon <node name>在执行完kubectl drain <node name>后，并未将节点下线，而是进行了某些升级操作，工作节点与主节点连接，那么可以使用uncordon命令，使节点重新变得可调度(schedulable）。
节点删除与重新加入
在主节点执行这些操作。
kubectl delete node <node name>在使用drain命令驱逐掉节点上的所有Pod后，可以使用delete node命令删除节点。删除之后可以kubectl get nodes查看节点是否被删除。
节点被删除后，如果要重新加入，需要在工作节点执行如下操作：
停掉kubelet : systemctl stop kubelet
删除之前的相关文件 : rm -rf /etc/kubernetes/*
重新加入集群(需要在主节点重新生成) : kubeadm join 192.168.1.15:6443 --token 2sfc0m.luzp9zcps2231dro --discovery-token-ca-cert-hash sha256:83020ba5ee2881b845958cfc007767c59e2052c18432f2d426d82fbf2bdcb59f
kube-flannel.yml
---
apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
name: psp.flannel.unprivileged
annotations:
seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default
seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default
apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default
apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default
spec:
privileged: false
volumes:
- configMap
- secret
- emptyDir
- hostPath
allowedHostPaths:
- pathPrefix: "/etc/cni/net.d"
- pathPrefix: "/etc/kube-flannel"
- pathPrefix: "/run/flannel"
readOnlyRootFilesystem: false
# Users and groups
runAsUser:
rule: RunAsAny
supplementalGroups:
rule: RunAsAny
fsGroup:
rule: RunAsAny
# Privilege Escalation
allowPrivilegeEscalation: false
defaultAllowPrivilegeEscalation: false
# Capabilities
allowedCapabilities: ['NET_ADMIN', 'NET_RAW']
defaultAddCapabilities: []
requiredDropCapabilities: []
# Host namespaces
hostPID: false
hostIPC: false
hostNetwork: true
hostPorts:
- min: 0
max: 65535
# SELinux
seLinux:
# SELinux is unused in CaaSP
rule: 'RunAsAny'
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: flannel
rules:
- apiGroups: ['extensions']
resources: ['podsecuritypolicies']
verbs: ['use']
resourceNames: ['psp.flannel.unprivileged']
- apiGroups:
- ""
resources:
- pods
verbs:
- get
- apiGroups:
- ""
resources:
- nodes
verbs:
- list
- watch
- apiGroups:
- ""
resources:
- nodes/status
verbs:
- patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: flannel
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: flannel
subjects:
- kind: ServiceAccount
name: flannel
namespace: kube-system
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: flannel
namespace: kube-system
---
kind: ConfigMap
apiVersion: v1
metadata:
name: kube-flannel-cfg
namespace: kube-system
labels:
tier: node
app: flannel
data:
cni-conf.json: |
{
"name": "cbr0",
"cniVersion": "0.3.1",
"plugins": [
{
"type": "flannel",
"delegate": {
"hairpinMode": true,
"isDefaultGateway": true
}
},
{
"type": "portmap",
"capabilities": {
"portMappings": true
}
}
]
}
net-conf.json: |
{
"Network": "10.244.0.0/16",
"Backend": {
"Type": "vxlan"
}
}
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: kube-flannel-ds
namespace: kube-system
labels:
tier: node
app: flannel
spec:
selector:
matchLabels:
app: flannel
template:
metadata:
labels:
tier: node
app: flannel
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/os
operator: In
values:
- linux
hostNetwork: true
priorityClassName: system-node-critical
tolerations:
- operator: Exists
effect: NoSchedule
serviceAccountName: flannel
initContainers:
- name: install-cni-plugin
#image: flannelcni/flannel-cni-plugin:v1.0.1 for ppc64le and mips64le (dockerhub limitations may apply)
image: rancher/mirrored-flannelcni-flannel-cni-plugin:v1.0.1
command:
- cp
args:
- -f
- /flannel
- /opt/cni/bin/flannel
volumeMounts:
- name: cni-plugin
mountPath: /opt/cni/bin
- name: install-cni
#image: flannelcni/flannel:v0.17.0 for ppc64le and mips64le (dockerhub limitations may apply)
image: rancher/mirrored-flannelcni-flannel:v0.17.0
command:
- cp
args:
- -f
- /etc/kube-flannel/cni-conf.json
- /etc/cni/net.d/10-flannel.conflist
volumeMounts:
- name: cni
mountPath: /etc/cni/net.d
- name: flannel-cfg
mountPath: /etc/kube-flannel/
containers:
- name: kube-flannel
#image: flannelcni/flannel:v0.17.0 for ppc64le and mips64le (dockerhub limitations may apply)
image: rancher/mirrored-flannelcni-flannel:v0.17.0
command:
- /opt/bin/flanneld
args:
- --ip-masq
- --kube-subnet-mgr
resources:
requests:
cpu: "100m"
memory: "50Mi"
limits:
cpu: "100m"
memory: "50Mi"
securityContext:
privileged: false
capabilities:
add: ["NET_ADMIN", "NET_RAW"]
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
volumeMounts:
- name: run
mountPath: /run/flannel
- name: flannel-cfg
mountPath: /etc/kube-flannel/
- name: xtables-lock
mountPath: /run/xtables.lock
volumes:
- name: run
hostPath:
path: /run/flannel
- name: cni-plugin
hostPath:
path: /opt/cni/bin
- name: cni
hostPath:
path: /etc/cni/net.d
- name: flannel-cfg
configMap:
name: kube-flannel-cfg
- name: xtables-lock
hostPath:
path: /run/xtables.lock
type: FileOrCreate