一、环境准备(在全部设备上进行)
3 台 centos7.5 服务器,网络使用 Calico。
IP地址 | 节点角色 | CPU | 内存 | Hostname |
---|---|---|---|---|
10.0.1.45 | master | 2c | 4G | k8s-master |
10.0.1.20 | node | 2c | 4G | node1 |
10.0.1.18 | node | 2c | 4G | node2 |
- 设置主机名 hostname。
hostnamectl set-hostname k8s-master
对应上面表格的Hostname,node1与node2同理。
- 编辑3台设备的 host 文件,添加域名解析。
cat <>/etc/hosts10.0.1.45 k8s-master10.0.1.20 node110.0.1.18 node2EOF
- 关闭防火墙、selinux 和 swap
systemctl stop firewalldsystemctl disable firewalld
禁用SELINUX:
setenforce 0vim /etc/selinux/configSELINUX=disabled
关闭swap
swapoff -ased -i 's/.*swap.*/#&/' /etc/fstab
- 配置内核参数,将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf <
- kube-proxy 开启 ipvs。 由于ipvs已经加入到了内核的主干,所以为kube-proxy开启ipvs的前提需要加载以下的内核模块:
ip_vsip_vs_rrip_vs_wrrip_vs_shnf_conntrack_ipv4
创建 /etc/sysconfig/modules/ipvs.modules 文件,保证在节点重启后能自动加载所需模块。 使用 lsmod | grep -e ip_vs -e nf_conntrack_ipv4 命令查看是否已经正确加载所需的内核模块。
cat > /etc/sysconfig/modules/ipvs.modules <
- 安装docker
Kubernetes 1.15当前支持的 docker 版本列表是1.13.1, 17.03, 17.06, 17.09, 18.06, 18.09。 这里在各节点安装 docker 的18.09.7版本。
yum install -y yum-utils device-mapper-persistent-data lvm2 &&\yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo &&\yum install docker-ce-18.09.7-3.el7 -y
- 修改docker cgroup driver为systemd
根据文档中的内容,对于使用 systemd 作为init system 的 Linux 的发行版,使用 systemd 作为docker 的 cgroup driver 可以确保服务器节点在资源紧张的情况更加稳定,因此这里修改各个节点上 docker 的 cgroup driver 为 systemd。
vim /etc/docker/daemon.json{ "exec-opts": ["native.cgroupdriver=systemd"]}#重启dockersystemctl restart docker#验证docker info | grep CgroupCgroup Driver: systemd
- 安装 Kubernetes 工具
配置国内 yum 源
yum install -y wgetmkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bakwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repowget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repoyum clean all && yum makecache
配置国内 Kubernetes 源
cat </etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgEOF
安装kubeadm、kubelet、kubectl
yum install -y kubeadm kubelet kubectlsystemctl enable kubelet
二、k8s-master 节点配置
1.使用 kubeadm 初始化 Kubernetes 集群
kubeadm init --kubernetes-version=1.15.0 \--apiserver-advertise-address=10.0.1.45 \--image-repository registry.aliyuncs.com/google_containers \--pod-network-cidr=10.244.0.0/16
参数含义:
--apiserver-advertise-address=10.0.1.45#定义api server地址就是master本机IP地址。--image-repository registry.aliyuncs.com/google_containers#由于kubeadm默认从官网k8s.grc.io下载镜像,以防网络原因,改为阿里云镜像仓库地址。--pod-network-cidr=10.244.0.0/16#定义POD网段为: 10.244.0.0/16。
集群初始化成功后返回如下信息:
join 10.0.1.45:6443 --token bybzi7.7201j7f7mtiwtmg4 \--discovery-token-ca-cert-hash sha256:9186c9b0709af151079bcb034f1771f10f382341bfb45024e5d0c541a055f2eb
- 配置 kubectl 工具
mkdir -p ~/.kubecp /etc/kubernetes/admin.conf ~/.kube/config#查看集群状态,确认所有组件都处于healthy状态kubectl get csNAME STATUS MESSAGE ERRORcontroller-manager Healthy ok scheduler Healthy ok etcd-0 Healthy {"health":"true"}
集群初始化如果遇到问题,可以使用下面的命令进行清理(慎用):
kubeadm reset
- 安装 Calico v3.8 网络服务
wget https://docs.projectcalico.org/v3.8/manifests/calico.yaml#由于默认的 calico.yaml 的 Pod 网段为192.168.0.0/16,打开 calico.yaml 文件找到这行改为10.244.0.0/16。vim calico.yaml- name: CALICO_IPV4POOL_CIDR value: "10.244.0.0/16"kubectl apply -f ./calico.yaml#查看创建情况,等待每个 pod 的 STATUS 变为 Running。watch kubectl get pods --all-namespacesNAMESPACE NAME READY STATUS RESTARTS AGEkube-system calico-kube-controllers-6ff88bf6d4-tgtzb 1/1 Running 0 2m45skube-system calico-node-24h85 1/1 Running 0 2m43skube-system coredns-846jhw23g9-9af73 1/1 Running 0 4m5skube-system coredns-846jhw23g9-hmswk 1/1 Running 0 4m5skube-system etcd-jbaker-1 1/1 Running 0 6m22skube-system kube-apiserver-jbaker-1 1/1 Running 0 6m12skube-system kube-controller-manager-jbaker-1 1/1 Running 0 6m16skube-system kube-proxy-8fzp2 1/1 Running 0 5m16skube-system kube-scheduler-jbaker-1 1/1 Running 0 5m41s
4 设置环境变量
cat > ~/.bash_profile << EOFexport KUBECONFIG=/etc/kubernetes/admin.confEOF
三、node 节点配置(在所有node节点上操作)
添加 node 节点,执行如下命令,使所有 node 节点加入 Kubernetes 集群。
kubeadm join 10.0.1.45:6443 --token bybzi7.7201j7f7mtiwtmg4 \ --discovery-token-ca-cert-hash sha256:9186c9b0709af151079bcb034f1771f10f382341bfb45024e5d0c541a055f2eb
成功后,在 k8s-master 中输入命令检查集群状态。
kubectl get nodesNAME STATUS ROLES AGE VERSIONk8s-master Ready master 36m v1.15.0node1 Ready3m10h v1.15.0node2 Ready 3m v1.15.0
四、部署 Dashboard(在k8s-master上进行操作)
- 下载 Dashboard 的 yaml 文件。
wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml#修改 yaml 文件中使用的源镜像。sed -i 's/k8s.gcr.io/loveone/g' kubernetes-dashboard.yaml#使用 NodePort 模式映射 30001 至 k8s 所有宿主机的 30001 端口上。sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 30001\n\ \ type: NodePort' kubernetes-dashboard.yaml
- 部署 Dashboard。
kubectl apply -f kubernetes-dashboard.yaml
- 创建完成后,检查相关服务运行状态。
kubectl get deployment kubernetes-dashboard -n kube-systemNAME READY UP-TO-DATE AVAILABLE AGEkubernetes-dashboard 1/1 1 1 3mkubectl get services -n kube-systemNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEkube-dns ClusterIP 10.96.0.1053/UDP,53/TCP,9153/TCP 40mkubernetes-dashboard NodePort 10.99.190.175 443:30001/TCP 4m
在 Firefox 浏览器输入 Dashboard 访问地址: https://10.0.1.45:30001
注: 由于 Dashborad 的认证原因,谷歌浏览器和 IE 可能无法打开,请使用 Firefox 浏览器。- 查看访问 Dashboard 的认证令牌。
kubectl create serviceaccount dashboard-admin -n kube-systemkubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-adminkubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
- 使用输出的 token 登录 Dashboard。
五 创建
1 使用命令创建pod
[root@k8s-master mainfests]# kubectl run nginx-deploy --image=nginx:1.14 --port=80 --replicas=3[root@k8s-master mainfests]# kubectl get podsNAME READY STATUS RESTARTS AGEnginx-deploy-bc9ff65dd-6kvfg 1/1 Running 0 16hnginx-deploy-bc9ff65dd-ffcl5 1/1 Running 0 16hnginx-deploy-bc9ff65dd-pvjzt 1/1 Running 0 17h
2 使用yaml创建pod
[root@k8s-master mainfests]# cat pod-demo.yml apiVersion: v1kind: Podmetadata: name: pod-demo namespace: default labels: app: myapp tier: frontendspec: containers: - name: myapp image: nginx:1.14 - name: busybox image: busybox:latest command: - "bin/sh" - "-c" - "sleep 3600"[root@k8s-master mainfests]# kubectl create -f pod-demo.yml
创建一个serviceaccount,使其token只能进入default空间kubectl create serviceaccount def-ns-admin -n default kubectl create rolebinding def-ns-admin --clusterrole=admin --serviceaccount=default:def-ns-admin将token转换为config文件 ADMIN_TOKON=$(kubectl get secret `kubectl get secret | awk '/^dashboard-admin-01/{print $1}'` -o jsonpath={.data.token} | base64 -d) kubectl config set-credentials default --token=$ADMIN_TOKON --kubeconfig=/root/admin-test.conf kubectl config set-context default@kubernetes --cluster=kubernetes --user=def-ns-admin --kubeconfig=/root/admin-test.conf kubectl config use-context default@kubernetes --kubeconfig=/root/admin-test.conf