1、yum 安装

目前CentOS官方已经把Kubernetes源放入到自己的默认 extras 仓库里面，使用 yum 安装，好处是简单，坏处也很明显，需要官方更新 yum 源才能获得最新版本的软件，而所有软件的依赖又不能自己指定，尤其是你的操作系统版本如果低的话，使用 yum 源安装的 Kubernetes 的版本也会受到限制，通常会低于官方很多版本，我安装的时候目前官方版本为1.12，而 yum 源中的版本为1.5.2。

2、二进制安装

使用二进制文件安装，好处是可以安装任意版本的 Kubernetes，坏处是配置比较复杂，很多软件包因为一些原因，我们在大陆是访问不到的。

3、Kubeadm 安装

kubeadm 是 Kubernetes 官方提供的用于快速安装 Kubernetes 集群的工具，伴随Kubernetes每个版本的发布都会同步更新，kubeadm会对集群配置方面的一些实践做调整，通过实验 kubeadm 可以学习到 Kubernetes 官方在集群配置上一些新的最佳实践。

1.4 版本对于Linux主要发行版本Ubuntu Xenial和Red Hat centos7的用户，可以使用熟悉的 apt-get 和 yum 来直接安装 Kubernetes。再比如，1.4版本引入了 kubeadm 命令，将集群启动简化为两条命令，不需要再使用复杂的kube-up脚本。

Kubernetes 的官方文档更新的速度太快了，我们注意到在 Kubernetes 1.9 的文档Using kubeadm to Create a Cluster中已经给出了目前1.9的 kubeadm 的主要特性已经处于beta状态了，在2018年将进入GA状态，说明kubeadm离可以在生产环境中使用的距离越来越近了，这也是我们以后注意使用的安装方式，但是为了了解其中的安装过程，我们先从其他两种安装方式入手。

这里我们选用第一种方式安装。

二、主要组件说明

1、Master组件

Master组件提供集群的管理控制中心。

Master组件可以在集群中任何节点上运行。但是为了简单起见，通常在一台VM/机器上启动所有Master组件，并且不会在此VM/机器上运行用户容器

kube-apiserver
kube-apiserver用于暴露Kubernetes API。任何的资源请求/调用操作都是通过kube-apiserver提供的接口进行。

ETCD
etcd是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。

kube-controller-manager
kube-controller-manager运行管理控制器，它们是集群中处理常规任务的后台线程。逻辑上，每个控制器是一个单独的进程，但为了降低复杂性，它们都被编译成单个二进制文件，并在单个进程中运行。

这些控制器包括：

• 节点（Node）控制器。
• 副本（Replication）控制器：负责维护系统中每个副本中的pod。
• 端点（Endpoints）控制器：填充Endpoints对象（即连接Services＆Pods）。
• Service Account和Token控制器：为新的Namespace 创建默认帐户访问API Token。

cloud-controller-manager
云控制器管理器负责与底层云提供商的平台交互。云控制器管理器是Kubernetes版本1.6中引入的，目前还是Alpha的功能。

云控制器管理器仅运行云提供商特定的（controller loops）控制器循环。可以通过将--cloud-provider flag设置为external启动kube-controller-manager ，来禁用控制器循环。

cloud-controller-manager 具体功能：

1. 节点（Node）控制器
2. 路由（Route）控制器
3. Service控制器
4. 卷（Volume）控制器

kube-scheduler
kube-scheduler 监视新创建没有分配到Node的Pod，为Pod选择一个Node。

2、Node 组件

kubelet
kubelet是主要的节点代理，它会监视已分配给节点的pod，具体功能：

• 安装Pod所需的volume。
• 下载Pod的Secrets。
• Pod中运行的 docker（或experimentally，rkt）容器。
• 定期执行容器健康检查。
• Reports the status of the pod back to the rest of the system, by creating a mirror pod if necessary.
• Reports the status of the node back to the rest of the system.

kube-proxy
kube-proxy通过在主机上维护网络规则并执行连接转发来实现Kubernetes服务抽象。

docker
docker用于运行容器。

flannel
Flannel 是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，需要另外下载部署。我们知道当我们启动 Docker 后会有一个用于和容器进行交互的 IP 地址，如果不去管理的话可能这个 IP 地址在各个机器上是一样的，并且仅限于在本机上进行通信，无法访问到其他机器上的 Docker 容器。Flannel 的目的就是为集群中的所有节点重新规划 IP 地址的使用规则，从而使得不同节点上的容器能够获得同属一个内网且不重复的 IP 地址，并让属于不同节点上的容器能够直接通过内网 IP 通信。

三、环境准备

1、节点准备

节点及网络规划图如下：

2、现在仓库中的版本

3、主机名和解析

修改文件/etc/hostname。
编辑文件/etc/hosts，增加如下内容，

172.18.8.200 master.wzlinux.com master172.18.8.201 node01.wzlinux.com node01172.18.8.202 node02.wzlinux.com node02

4、关闭防火墙

systemctl stop firewalld.servicesystemctl disable firewalld.service

四、系统仓库yum安装

1、master节点安装

yum install kubernetes-master etcd -y

2、node节点安装

yum install kubernetes-node flannel docker -y

五、集群配置

1、配置etcd（matser）

• 在master节点上编辑文件/etc/etcd/etcd.conf，修改为如下内容，主要是修改监听IP：

[root@master ~]# cat /etc/etcd/etcd.conf#[Member]#ETCD_CORS=""ETCD_DATA_DIR="/var/lib/etcd/default.etcd"#ETCD_WAL_DIR=""#ETCD_LISTEN_PEER_URLS="http://localhost:2380"ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"#ETCD_MAX_SNAPSHOTS="5"#ETCD_MAX_WALS="5"ETCD_NAME="default"#ETCD_SNAPSHOT_COUNT="100000"#ETCD_HEARTBEAT_INTERVAL="100"#ETCD_ELECTION_TIMEOUT="1000"#ETCD_QUOTA_BACKEND_BYTES="0"#ETCD_MAX_REQUEST_BYTES="1572864"#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"##[Clustering]#ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"#ETCD_DISCOVERY=""#ETCD_DISCOVERY_FALLBACK="proxy"#ETCD_DISCOVERY_PROXY=""#ETCD_DISCOVERY_SRV=""#ETCD_INITIAL_CLUSTER="default=http://localhost:2380"#ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"#ETCD_INITIAL_CLUSTER_STATE="new"#ETCD_STRICT_RECONFIG_CHECK="true"#ETCD_ENABLE_V2="true"##[Proxy]#ETCD_PROXY="off"#ETCD_PROXY_FAILURE_WAIT="5000"#ETCD_PROXY_REFRESH_INTERVAL="30000"#ETCD_PROXY_DIAL_TIMEOUT="1000"#ETCD_PROXY_WRITE_TIMEOUT="5000"#ETCD_PROXY_READ_TIMEOUT="0"##[Security]#ETCD_CERT_FILE=""#ETCD_KEY_FILE=""#ETCD_CLIENT_CERT_AUTH="false"#ETCD_TRUSTED_CA_FILE=""#ETCD_AUTO_TLS="false"#ETCD_PEER_CERT_FILE=""#ETCD_PEER_KEY_FILE=""#ETCD_PEER_CLIENT_CERT_AUTH="false"#ETCD_PEER_TRUSTED_CA_FILE=""#ETCD_PEER_AUTO_TLS="false"##[Logging]#ETCD_DEBUG="false"#ETCD_LOG_PACKAGE_LEVELS=""#ETCD_LOG_OUTPUT="default"##[Unsafe]#ETCD_FORCE_NEW_CLUSTER="false"##[Version]#ETCD_VERSION="false"#ETCD_AUTO_COMPACTION_RETENTION="0"##[Profiling]#ETCD_ENABLE_PPROF="false"#ETCD_METRICS="basic"##[Auth]#ETCD_AUTH_TOKEN="simple"

• 启动并校验。

systemctl start etcdsystemctl enable etcdsystemctl status etcd

若要部署多节点集群也比较简单，参见 https://github.com/etcd-io/etcd/blob/master/Documentation/op-guide/clustering.md
[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS：该成员节点在整个集群中的通信地址列表，这个地址用来传输集群数据的地址。因此这个地址必须是可以连接集群中所有的成员的。
ETCD_INITIAL_CLUSTER：配置集群内部所有成员地址。

2、配置apiserver（master）

• 编辑文件/etc/kubernetes/apiserver，修改为如下，注意KUBE_ADMISSION_CONTROL参数：

[root@master ~]# cat /etc/kubernetes/apiserver#### kubernetes system config## The following values are used to configure the kube-apiserver## The address on the local server to listen to.#KUBE_API_ADDRESS="--insecure-bind-address=127.0.0.1"KUBE_API_ADDRESS="--address=0.0.0.0"# The port on the local server to listen on.KUBE_API_PORT="--port=8080"# Port minions listen onKUBELET_PORT="--kubelet-port=10250"# Comma separated list of nodes in the etcd clusterKUBE_ETCD_SERVERS="--etcd-servers=http://172.18.8.200:2379"# Address range to use for servicesKUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"# default admission control policies#KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQuota"# Add your own!KUBE_API_ARGS=""

• 配置/etc/kubernetes/controller-manager和/etc/kubernetes/scheduler暂时不做修改，启动服务。

systemctl start kube-apiserversystemctl start kube-controller-managersystemctl start kube-schedulersystemctl enable kube-apiserversystemctl enable kube-controller-managersystemctl enable kube-scheduler

3、配置node节点

• 所有node节点编辑配置文件/etc/kubernetes/config，修改为如下内容：

[root@node01 ~]# cat /etc/kubernetes/config#### kubernetes system config## The following values are used to configure various aspects of all# kubernetes services, including## ??kube-apiserver.service# ??kube-controller-manager.service# ??kube-scheduler.service# ??kubelet.service# ??kube-proxy.service# logging to stderr means we get it in the systemd journalKUBE_LOGTOSTDERR="--logtostderr=true"# journal message level, 0 is debugKUBE_LOG_LEVEL="--v=0"# Should this cluster be allowed to run privileged docker containersKUBE_ALLOW_PRIV="--allow-privileged=false"# How the controller-manager, scheduler, and proxy find the apiserverKUBE_MASTER="--master=http://172.18.8.200:8080"

• 编辑文件/etc/kubernetes/kubelet，修改内容如下：

[root@node01 ~]# cat /etc/kubernetes/kubelet#### kubernetes kubelet (minion) config# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)KUBELET_ADDRESS="--address=127.0.0.1"# The port for the info server to serve onKUBELET_PORT="--port=10250"# You may leave this blank to use the actual hostnameKUBELET_HOSTNAME="--hostname-override=172.18.8.201"# location of the api-serverKUBELET_API_SERVER="--api-servers=http://172.18.8.200:8080"# pod infrastructure containerKUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"# Add your own!KUBELET_ARGS=""

• 启动服务。

systemctl start kubeletsystemctl start kube-proxysystemctl enable kubeletsystemctl enable kube-proxy

4、配置flannel

编辑所有node节点/etc/sysconfig/flanneld，修改内容如下：

[root@node01 ~]# cat /etc/sysconfig/flanneld# Flanneld configuration options ?# etcd url location. ?Point this to the server where etcd runsFLANNEL_ETCD_ENDPOINTS="http://172.18.8.200:2379"# etcd config key. ?This is the configuration key that flannel queries# For address range assignmentFLANNEL_ETCD_PREFIX="/atomic.io/network"# Any additional options that you want to pass#FLANNEL_OPTIONS=""

在master节点上为 falnnel 创建分配的网络。

[root@master ~]# ?etcdctl mk /atomic.io/network/config ‘{"Network": "10.244.0.0/16"}‘

在各node节点上启动 flannel。

systemctl start flanneldsystemctl enable flanneld

六、检查验收

1、创建Pod检查

在master查看各node节点情况。

[root@master ~]# kubectl get nodesNAME ??????????STATUS ???AGE172.18.8.201 ??Ready ????59m172.18.8.202 ??Ready ????14m

部署nginx测试，因为拉取镜像速度可能慢，可以先在各node节点拉取好。
创建文件nginx-pod.ymal。

apiVersion: v1kind: Podmetadata: ?name: nginx-pod ?labels: ???name: nginx-podspec: ?containers: ?- name: nginx ???image: nginx ???ports: ???- containerPort: 80

创建容器。

kubectl create -f nginx-pod.ymal

发现容器一直在创建。

[root@master ~]# kubectl get pods -o wideNAME ???????READY ????STATUS ?????????????RESTARTS ??AGE ??????IP ???????NODEnginx-pod ??0/1 ??????ContainerCreating ??0 ?????????12m ??????<none> ???172.18.8.201

这种情况，我们可以使用kubectl describe pod查看Pod因为什么原因一直卡主。

2、问题解决方法

看到问题之后我们就好去进行解决，我们在node节点上执行下面命令获取。

[root@node01 ~]# docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latestTrying to pull repository registry.access.redhat.com/rhel7/pod-infrastructure ... open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory

发现还是有问题，通过提示的路径查找该文件，是个软连接，链接目标是/etc/rhsm，并且是空的。
这里我们不能使用yum来安装rhsm，因为我们需要的软件会被覆盖掉，我们需要手动操作。

# 手动添加证书wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem# 重新手动拉取docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest

现在查看pod的状态就已经正常了。

[root@master ~]# kubectl get pods -o wideNAME ???????READY ????STATUS ???RESTARTS ??AGE ??????IP ???????????NODEnginx-pod ??1/1 ??????Running ??0 ?????????40m ??????10.244.98.2 ??172.18.8.201

3、创建replicationController （RC）

创建文件nginx-rc.ymal，修改内容如下：

apiVersion: v1kind: ReplicationControllermetadata: name: nginx-rcspec: replicas: 3 selector: ?name: nginx-pod template: ?metadata: ??labels: ???name: nginx-pod ?spec: ??containers: ??- name: nginx-pod ????image: nginx ????ports: ????- containerPort: 80

创建副本控制器

[root@master ~]# kubectl create -f nginx-rc.ymal replicationcontroller "nginx-rc" created

[root@master ~]# kubectl get pods -o wideNAME ????????????READY ????STATUS ???RESTARTS ??AGE ??????IP ???????????NODEnginx-rc-3gtpg ??1/1 ??????Running ??0 ?????????4m ???????10.244.98.4 ??172.18.8.201nginx-rc-9rc3m ??1/1 ??????Running ??1 ?????????4m ???????10.244.64.3 ??172.18.8.202nginx-rc-g3bh0 ??1/1 ??????Running ??1 ?????????4m ???????10.244.64.2 ??172.18.8.202nginx-rc-vqw38 ??1/1 ??????Running ??0 ?????????4m ???????10.244.98.2 ??172.18.8.201nginx-rc-w3xh8 ??1/1 ??????Running ??0 ?????????4m ???????10.244.98.3 ??172.18.8.201

如果遇到MissingClusterDNS的问题，可以重启node节点。

4、创建Service

创建文件nginx-svc.ymal，修改为如下内容：

apiVersion: v1kind: Servicemetadata: name: nginx-svcspec: type: NodePort ports: - port: 80 ??nodePort: 30001 selector: ?name: nginx-pod

创建service。

[root@master ~]# kubectl create -f nginx-svc.ymal service "nginx-svc" created[root@master ~]# kubectl get svcNAME ????????CLUSTER-IP ??????EXTERNAL-IP ??PORT(S) ???????AGEkubernetes ??10.254.0.1 ??????<none> ???????443/TCP ???????3hnginx-svc ???10.254.135.249 ??<nodes> ??????80:30001/TCP ??15s

目前自带的 yum 源的软件版本都比较低，也可以更改仓库，使用稍微较高的一个版本。
http://cbs.centos.org/repos/virt7-kubernetes-110-release/x86_64/os/Packages/

CentOS 7.5 使用 yum 源安装 Kubernetes 集群(二)

原文地址：http://blog.51cto.com/wzlinux/2321767