kubernetes(十二) 准入控制和helm v3包管理

准入控制

kubernetes的安全框架

  • 访问k8s集群需要过三关: 鉴权(Authentication),授权(Authorization),准入控制(AdX I x =mission Control)
  • 普通用户要安全访问apiServer往往需要证书,token或者用户名

kubernetes(十二) 准入控制和helm v3包管理

传输安全,认证,授权,准入控制

传输安全

  • 告别8080,迎接6443
  • 全面基于HTTPS通信

鉴权:三种客户端身份Y ? O | ,认证:

  • HTTPS 证书认证:基于CA证书签名的数字证书认证

  • HTTP Token认证:通过一个Token来识别用户

  • HTTP Base认证:用户名+密码的方式认证

授权:

RBAC(Role-Based Accm u pess Control,基于z n Y O角色的访问控制):负责完成授权(Authorization)工作。

根据API请求属性,决定允许还是拒绝。

准入控制:

Adminssion CH r 2 Nontrol实际上是一个准入控制器插件列表,发送到API Server的请求都需要经过这个列表中的每个准入控制n q F x i K 2器插件的检查,检查不通过,则拒绝请求。

RBAC授权

R& ; # 2BAC(Role-Based Access Control,基于角色的访问控制),允许通u w | G Y | ` S f过Kubernete@ E X o # E ) t ?s API动态配置策略。

角色

  • Role:授权特定命名空间的访问权限

  • ClusterRole:授权所有命名空间的访[ c 0 y s & c ( ?问权限

角色绑定

  • RoleBinding:将角色绑定到主体(即subject)

  • ClusterRoleBinding:将集群角色绑定到主体

主体Y t M { -(subject)

  • User:用户
  • Group:用户组
  • ServiceAccount:服务账号

kubernetes(十二) 准入控制和helm v3包管理

7 D , i r

  • 为aliang用户创建defaM - K ^ k /ult名称空间Pod读取权限

    • k8s CA签发证书
cat > ca-config.json <<EOF
{
"y 1 o b & 8 2 ?signing":4 / [ a {
"default": {
"expiry": "87600h"
},
"profiles": {
"kubernetes, c M S J": {
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
],
"expiry": "87600h"
}
}
}
}
EOF
cat > alianL x U }g-csr.json <<EOF
{
"CN": "alianQ 2 5 xg",
"hosts": [],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "BeiJing",; x 3
z G ( n a f q z"L": "BeiJing",
"O": "k8s",
H e s ="OU": "Syste; o Wm"
}
]
}
EOF
cfssl ge9 T b x I 9 ] 5 Xncert -ca=/data/kube! 9 H 6rnetes/s( ] O +sl/ca.pem -ca-key=/dI = {ata/kubernetes/ssl/ca-key.pem -config=cU u } 5 j w Q 4a-config.json -profile=v [ I m D D v ~ bkubernetes aliang-csr.json | cfssljson -bare aliang
  • 生成kubeconfig授权文件
# kubeconfig
kubectl config set-cluster kubernetes \
--certificate-authority=/data/kubernetes/ssl/ca.pem \
--embed-ce] ) q V 9 7 { .rts=true \
--server=https://192.168.56.14:6443 \
--kud J $ nbeconfig=aliang.kubeconfig
# 设置客户端认证
kubectl config set-credenH ; Z J H Ptials aliang \
--client-key=aliang-key.pem \
--client-certificate=aliang.pem \
--embed-certs=true \
--kubeconfig=aliang.kubecA l  _ ` 7 = 3onfig
# 设置默认上下文
kube% ] n vctl conf, ! F ~ig set-context kubernetes \
--cluster=kubernetes \
--user=aliang \
--kubecY ] F / 0  ( Sonfig=aliang.kubeconfig
# 设置当前使用配置
kubectl confil f y ? I K N S Qg use-context kubernetes --kubeconfig=aliang.kubeconfig
  • RBAC准入
 $ vim role.yml
apiVersion: rbac.authorization.k8s.iO } * z m # K Q `o/v1
kind: Role
metadata:
namespace: dI : ) e B 0efZ : 1 V [ 2 ] D |ault
name: pod-reader
rules:
- apiGroups: [""]p M F | q
resoI o e r , t (urces: ["podsq Q D"]
verbs: ["get", "watch", "list"]
$ kubectl apply -f role.yml
$ vim  binding.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
nam s ` e Y q s + Xe: rX $ # O J , 2 vead-pods
namespace: default
subj z ( 7 8 Vjects:
- kind: User
name: aliang
apiGroup: rbac.authorization.k8s.$ 1 F 6 Rio
roleRef:
kind: Role
name: pod-reader
apiGroup: rbac.authorization.k8s.io
$ kubectl apply -f binding.yml
  • 测试权限
 $ kubectl --kubeconfig=aliang.kubeconfig get pods
NAME                                      READY   STATUS    RESTARTS=  c f f 2    AGE
nfs-client-pr1 , l E O ^ / [ bovisioner-75f9fd7b57-67jtk   1/1     Running   0          5h49m

用户组权限设置

  • N Y #发证书
$ cat > ca-con. ; { _ $ 6 yfig.json <<EOF
{
"signing": {
"defau! ; u 8 - *lt": {
"expiry": "87600h"
}F k -,
"profiles": {
"kubernetes": {
"usages": [
"signing",
"key encipherment",
"server auth",
"E u @ ; -client auth"
],i 2 B 1 - n e *
"expiry": "87600h"
}
}
}
}
EOF
$ c( { J y {at > k8s-csr.json <<EOF
{
"CN": "aliang",
"hosts": [],
"key": {
"algo":x 0 O a d { "rsa",
"size": 2048
},
"names": [
{
"C": "K - f { { nCN",
"ST": "BeiJing",
"L": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
cfssl gencert -ca=/data/kubernetes/ssl/ca.pem -ca-key=/data/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes k8s-N - j J r dcs4 e : f 3 S  c 9r.json | cfssljsonr C  S 6 l R -bare k8s
  • 生成kubeconfig授权文件
# kubeconfig
kubectl config set-cluster kubernetes $ 7 Y d B O ]
--certificb 5 z I ( H + } )ate-authority=/data/kubernetes/ssl/ca.pem \
--embed-certs=t: # U  D [ ~ . +rue \
--server=https://192.168.56.14:x g o : 3 Q , /6443 \
--kubeconfig=k8s.kubec9 8 S ] d y | w Ponfig
# 设置客户端认证
kubectl config set-credentials k8s \
--client-key=k8s-key.pem \
--client-certificate=k8s.pem \
--embed-certs=true $ - @ _ V F d o
--kubeconfig=k- Z e / $ J8s.kubeconfig
# 设置默认上下文
kubectl config set-context kubernetes \
--cluster=kubernetes \
--user=k8s . . s
--kubeconfig=k8s.kubeconfigu f h X d 9
# 设置当前使用配置
kubx ] K i Q q Xectl config uset t q V _ 3 E V (-context kubernetes --kubeconfig=k8! L U Qs.kubeconf[ { E i [ - M |ig
  • 创建RBAC
$ vim role.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
namespace: default
name: pod-reader
rules:
- apiGroups: ["*"]
resources: ["pods","services","deployments"]# } W @ l a
verbs: ["get", "watch", "list"]
$ kubectl apply -f role.yml
$ vim  binding.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
name: read-pods
namespace: default
subjects:
- kind: Group
name: k8s
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: Role
name: pod-reader
apiGroup: rbac.D F +aut& e , d 2horization.k8s.io
$ kubectl apply -f binding.yml

Helm包管理

为什么要使用he% P * ] d s ) {lm

K8S上的应用对象,都是由特定的资源描述组成,包括dep= { Uloy? 7 & g pment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。

如果应用只由一个或几个这样的服务组成,上面部署方式足够了。

而对于一个复杂的应用,会有很多类似上面的资源描述文件,例如微服务- Q $ 5架构应用,组成应用的服务可能多达十个,几十个。如果有更新或回滚应用的需求,可能要修改和维护所涉及的大量资源文件,而这种组织和管理应用的方式就显得力不从心了。

且由于缺少对发布过的应用版本管理和控制,使Kubernetes上的应用维护和更新等面临诸多的挑战,主要面临以下问题:

  1. 如何t ( $将这些服务作为一个整体管理
  2. 这些资源文Z X 8件如何高效复用
  3. 不支持应用级别的版本管理

helm介绍

Helm是U | j & i一个Kubernetes的包管理工具,就像Linux下的包管理器,t I V } ? T . h @如yum/apt等,可以很方便的将之前打包好的yaml文件部署到 I Dkubernetes上。

Helm有3个重要概念:

  • hel2 C N h 1 1 i { Bm:一个命令行客户端工具,主要用于KubernetesU c P _ 3 ? $应用chart的创建、打包、发布和管理。

  • Chart:应用描述,一系列用于描述 k8s 资源相关文件的集合。
  • Release:基于Chart的部署实体,一个 chart 被 Helm 运行后将会生成对应的一个 releasu f x ! f , fe;将在k8s中创$ g O H Y i . M建出真3 H 9 S M z ?实运行的资源对象。

helm V3

2019年11月13日, Helm团队发布 Helm v3的第一个稳定版本。

该版本主要变化如下:v ] . % l + e m =

1、 架构变化

最明显的变化是 Tiller的删除

kubernetes(十二) 准入控制和helm v3包管理

2、Release名称可以在不同命名空间重用

3、支持将 Chart 推送至 Docker 镜像仓库中

4、使用JSONSchema验证chart values

5、其9 X 0 / g s &

1)为了更好地协调其他包管理者的措辞 Helm CLI个别更名

helm delete` 更名为 `helm{ $ ! S uninstall
helm inspU z t S ?ect` 更名为] p _ I | X x 1 `heh s B d ) (lm sU ~ , - ~ ^ m Khow
hez ) $ * Olm fetch` 更名为 `helm pull

但以上旧的命令当前仍能使用。

2)移除了用于本地临时搭建 Chart Repositoryhelm serveL m B i a k e令。

3)自动创建名称空间

在不t } * l ] D w ` g存在的命名空间中创建发行版时,Helm 2创建了命名空间。Helm 31 V L c R遵循其他KubernetA 2 1 [ b , zes对象的行为,如果命名空间不存在则返回错误。

4) 不再需要requirements.yaml, 依赖关系是直接在chart.yaml中定义

helm 客户端工具

Helm客户端下载地址:https://github.com/helm/helm/releases

解压移动到/usr/bin/目录即可。

wget https://g: % j W 9 get.helm.[ c G 5 tsh/ c f O b ( 9helm-v3.2.4-linux-amd64.tar.gz
tar zxvf helm-T u | tv3.2.4-linux-as _ omd64.tar.gz
mv linux-amd64/helm /usr/binq } , ; 3 D ./

2、Helmq G 6常用命令

命令 描述
completion 命令补全,source <(helm completion bash)
create 创建一个chart并指定名字
depe% ~ @ I t 2 _nd& X A d eency 管理chart依赖
get 下载一个release。可用子命令:all、hooks、manifest、notes、values
history 获取release历( j ! ( = X 1 Z @
install 安装一个chart
list 列出release
package 将chart目录打包到chart存档文件中
pull 从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar
repo 添加,列v s c ( F 3 k出,移除,更新和索引chart仓x n g # #库。可用子命令:add、index、list、remove、update
rollback 从之前版本回滚
search 根据关键字搜索chart。可用子命令:hub、repo
show 查看chart详细信息。可用子p I 7命令:all、chart、readme、values
stD F s S gatus 显示已命名版本的状态
template 本地呈现模板
u! } ( S wninstall 卸载一个release
upgrade 更新一个release
versioq & M : ) 6n 查看helm客户端版本

3、配置国内Chart仓库

  • 微软仓库(http://mirrore N /.azure.cn/kubernetes/charts/)这个仓库推荐,基本上官网有的chart这里都有。
  • 阿里云仓库(https://kuberneL x H Q M +tes.oss-cn-hangzhou.aliyuncs.com/charts )
  • 官方a 9 | ) l {仓库(https://hub.kubeappt _ C -s.2 3 w ~ 1 Scom/charts/incubator)官方chart仓库,国内有点不好使。

添加存储库:

helm re3 K 6 8 z fpo add stableZ . E 8 http://mirror.azure.cn/kubernetes/charts
helm repx 6 _o add aliyun https://kubernete~ 4  N B 7s.osi x ( 1s-cn-hangzhou.aliyuncs.cc _ Lom/charts
helm repo update

查看配置的存储库:

helm repo list
hel~ j C :m search repo stable

一直在stable存储库中安装charts,你可以配置其他存储库。

删除存储库:

helm repo remove aw . % p U [ ! = Iliyun

1; 0 p A4.5 Helm基本使用

主要介绍三个命令:

  • helm install

  • helm upgrade

  • helm rollb` ] lack

1、使用chart部署一个应用

kubernetes(十二) 准入控制和helm v3包管理

查找chara D ; X g o Dt:

$ helm search repo
$ h^ k ] S |elm search reps = W % o mysqlB A = a

为什么mariadb也在列表中?因为他和mysql有关。

查看chart信息

# helm show chart stable/mysql

安装包:

$ expm ) r E c 0 ort KUBERNETES_MASTER=http://127.0.0.1:8080   #必须指定,不然报错
$ helm install db stable/mysql
$ heO  O =lm search weave
$ helm install stable/weave-scope
$ kubectl get pod,deploy,svc
ui-weave-scope   ClusterIP    10.0.0.64
$ kubectrl edit svc ui-weave-scope
type: NodePort   # 改成nodeport
### web访问ui

查看发布状态:

$ helm status db    #此时数据库时pendin8 B K q % }g的状态,缺少存储

2、helm install自定义chab @ ` S rt* D ;配置选项

上面部署的mysql并没有成功,这是因为并不是所有的chart都能按照默认配置运行成功,可能会需要一些环境依赖,例如PV。

所以我们需要自定义chart配置选项( | 2 A l U R p,安装过程中有两种方法可6 $ ! n O以传递配置数据:

  • --values(或-f):指定带有覆盖的YAML文件。这可以多次指定,最右边的文件优先
  • --sn 1 P { ; met:在命令行上指定替代。如果两者Q D v ] K b 1 G都用,--set优先级高

--values使d g a H y 2用,先将修改的变量写到一个文件中

$ helm show values stab1 $ 0 k O ( tle/myd / 6 2sql
$ cat config.yaml
persistence:
enabled% K R M x 8 % N: true
storay V 7 hgeClass: "managed-nfs-storage"
accn ^ / # ; CessMod^ U Ne: ReadWriteOnce
size: 8Gi
mysqlUser: "k8s"
mysqlPassword: y 9 - s 2"123456"
mysqlDatabase: "k8s"
$ helm install db -f cor { M p * V o ! Wnfig.yaml stable/m*  a ! R cysql
$ kZ | ? T J ^ 9ubectl get pod
NAME                                      REA/ s d ~DY   STATUS    RESTA_ 2 b oRTS   AGE
db-mysql-589c6c5b87-tltwf                 1/1     Running   0          13m
$ MYSQL_ROOT_PASSWORD=$(kubectl geti d G $ r Q D ~ secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo)
$ echo $MYSQL_ROOT_PASSWORD
64Ch57770e
$  kubectl run  mys} M s @ql-test --rm -it --image=mysql:5.7 -- bash
root@u3 # X n Lbuntu:/# apt-get update && apt-get install mysql-client -y
rootl k 3 ; i@ubuntu:/# mysql  -h db-mysql -p

![image-20200729162824167](/Users/wan8 ] y Mghui/Library/Application Support/typora-user-iw y ^ p {mages/image-20200729162824167.png)

以上将创建具有名称的默认MySQL用户k8s,并授予此用户访问新创建的k8s数据库的权限,但将接受该图表的所有其余默认值。

命令行替代变量:

# helm install db --set persistence.storageClass="managed-n Y 3 l Bnfs-storage" stable/mysql

也可以把chart包下载下来查看详情:

# helm pull stable/myJ j I Psql --untarY 4 | 0 3 / $ w 1

values yaml与set使用:

kubernetes(十二) 准入控制和helm v3包管理

该helm install命令可以从多个来源安装:

  • chart存储库
  • 本地chP G x D 1 , ? ! *art存档(helm install foo-0.1.1.tgz)
  • charB T ] *t目4 { P z % - j录(helm install path/to/foo)
  • 完整的URL(helm install https://exampX k Hle.com/charts/foo-1.2.3.tgz)

3、构建一个Helm Chart

$ helm c: y 9 ? ) + xreate mychart
$ tree mychart/
mycw y ( 3hart/
├── charts
├── Chart.yaml
├── templates
│   ├── deployment.yaml
│V t q ) . { i A q   ├── _helpers.td Z * 1 / tpl
│   ├── ingress.yaml
│   ├── NOTES.txt
│   └── service.yaml
└── values.yaml
  • Chart.yaml:用于描述这个D , 3 k a n 2 j ; Chart的基本信息,包括名字A Y / u v ` z、描述信息以及版本等。
  • values.yaml :用于存储 templates 目录中模板文件中用到变量的值。
  • Templates: 目录里面存放所有yamx ? ? k P p 2 7 l模板文件。
  • chartsQ 2 + ~ p r:目录里存放这个chart依赖的所有子c$ q - e ` _ &hart。
  • NOTES.txt_ 8 Y u :用于介绍Chart帮助信息, helm install 部署后展示给用户。例如:如何使用这个G | = + w = ` a Chart、列出缺省的设置等。
  • _helpers.tpl:放置模板助手的地方,可以在整个 chart 中重` _ x ( $ % i r {复使用

创建Chart后,接下来就是将其部署:

helm insta # & / 9 dll web mychart/

也可以打包推送的4 L I w ( !charts仓库共享别人使用。

# helm package mychart/
mychart-0.1.0.tgz

4、升级、回滚和删除

发布新版本的chart时,或者当您要更改发布的配置时,可以使. ` 用该helm upgrade 命令。

$ helm upgrade --set imageTag=1.17 web mychart
$ helm upgrade -f values.yaml web mycharB = 7   2 x Vt

如果在发布后没有达到预期的效果,则可以使用helm rollback回滚到之前的版本。

例如将应用回滚到第一个版本:

$ helm history web
$ helm rollback web 2

卸载发行版,请使用以下helm uninstall命令:

$ helm uninstall wE f B : J # p y meb

查看历W _ U j W a y X R史版本配置信息

$ helm get all web
$ helm get all --revision 4 web

14.6 Chart模板

Helm最核J I 0 E o %心的就是模板,即模板化的K8S manifests文件。

它本b } Z 2 I I W质上就是一个m 1 c n [ 1 NGo的template模板。Helm在Go template模板的- / 3 :基础上,还会增加很多东西。如一些自定义的元数据信息、扩! z ) 2 O展的库以及一些类似于编程形式的工作流,例如条件语r R n句、管道等等。这些东西都会使得我们的模板变得更加丰富。

1、模板

有了模板,我们怎么把我们的配置融入进去呢?用的就是这个valuej g ] s文件。这两部分内容其实就是chart的核心功能。

接下来,部署nginx应用,熟悉模板使用,先把templates 目录下面所有文件全部删除Y B y I掉,这里我们自己来创建模板文件:

$ rm -rf mychart/templates/*
$ vi tempK v G ylates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx
spec:
replicas: 1
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containZ j k f ` ] aers:
- image: nginx:1.16
name: nginx

这个deployment就是一个Go template的模s K C p A板,这里定义的Release模板对象属于Helm内置的一种对象,是从values文件中读取出来的。这4 2 * ~ s样一来,我们可以将需要变化的地方都定义变量。

再执行helm install c6 4 R {hart 可以看到现在生成的名Y w I称变成了web-deployment,证明已经生效了。也可以使用命令helm get manifest查看最终生成的文件内容。

2、调试

H O O j ` @ nelm也提供--dry-run --debug调试参数,帮助你验证模板正确q b H Q性。在执行helm install时候带上这两个参数V H y ( a x K就可以把对应的values值和渲染的资源清单打印出来,而不会# v = u 真正的去部署一个release? O G w I q P

比如我们来调试上面创建的 chart 包:

# helm install web2 --dry-run /root/mychart

3、内置对象

刚刚我们使用 {{.Release.Name}}将 ru s k A l 3 Belease 的名称插入到模板中。这里的 Release 就是 Helm 的内) l k .置对象,下面是一些常用的内置对象:

Release.Name release 名称
Release.Name release 名字
Release.Namc x [ Q q b A 2espace release 命名空间
Release.Servicy F T |e release 服务的名称
Release.Revx j 1 i qision release 修订版本号,从1开始累加

4、Values

Values对象是为Chart模板r ; m q 提供值,这个对象的值有4个来源:

  • c* G a Chart 包中的 val/ Z l ~ ) Jues.yaml 文件

  • 父 chart 包的 values.yamlu ) g Y u v T 文件

  • 通过 helm install 或者 helm upgrade 的 -f或者 -Z S V f } p Z-vax e w vlues参数传入的自定义的 yaml 文件k y 7

  • 通过T ^ U ^ X j b --set 参数传入的值

chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖,而该文件同样可以被 --set提供的参数所覆盖。

这里我们来重新编辑 mychart/values.yaml 文件,将默认的值全部清空,然后添加一个副本数:

$ cat vw e O % 5alues.yaml
replicaCount: 1
laI p } ]bel:
pr) s C K | yoject: test
app: nginx
image:
r[ 0 p | _ S /epository: nginx
tags: 1.17
name: web
service:
type: ClusterIP
port: 80
tK ( A iargetport: 8# x C0
$ cat template9 I P ` :s/deployment.yaml
apiVersion: apps/v1
kip % Y ^ R ^nd: Deployment
metadata:
labels:
app: web
name: {{ .Releaj w [ : % Ose.Name }}
spec:
replicas: {{ .Values.replicl D B 0 OaCount }}
selector:
matchLabels:
project: {{ .Values.label.project }}
app:[ B q {{ .Values.label.app }}
template:
metadata:
labels:
project: {{ .Values a 2 9 y.label.project }}
app: {{ .Values.label.appY |  I J + @ }}
spec:
containers:
- image: {{ .Values.image.repository }}:{{ .0 . E 6 [ p ;Values.image.tags }}
name: {{ .Values.image.& Z 5 & A 0name }}
$ vim templat~ S b G ? Tes/service.yaml
apiVersion: v1
kind: Service
metadata:
name: {{ .Releas3 } 5 2 T c J Ie.Name }}
spec:
ports:
- port: {{ .Values.service.port }}
protocol: TC4 r k o K l A OP
targetPort: {{ .Values.service.targetport }}
type: {{ .Values.service.type }}
selector:
project: {{ .Values.label.project }}
app: {{1 I D .Values.label.app }}

查看渲染结果:

$ helm install --dry-run web ../mycM l r N 1 Khart/
$ helm install we * c $ * bb ../mychartR & b B i / ~

values 文件也可以包含结构化内容,例如:

$ helmt n = P G 6 5 upgrade web --set  image.tags[ G ! _ y ; Q="1.18" --set service.tg x D f rype="NodePort" ../mychart
$ helm upgrade web --set image.tags="1.19" --set service.type="NodePort" ../mychart
$ helm history web
$ helm ro0 ) q } S `llback web 2    #回滚到2版本,不能回滚到第一个版本,因为serviceType不一致的话回滚是失败的

小结

开发Chart大致流程:

  1. 先创建模板 helm create demo

  2. 修改ChartH w ] r i k F Z.yaml,Values.yaml,] y Y w 2 P S F添加常用的变量
  3. 在templates目录下创建部署镜像所需要的yaml文件,并变量引用yaml里经常变动的字段