kubernetes入门到实战(十)守护和任务型控制器—(02)

1. Jobs让单次任务跑起来

1.1 Jobs简介

Windows下可以通过批处理脚本完成批处理任务,脚本运行完毕后任务即可终止,从而实现批处理任务运行工作,类似的任务如何在kubernetes中运行呢?答案是Jobs,Jo/ 8 ;bs是kubernetes中实现一次性计划任务的Pod控制器—JobController,通过控制Pod来执行任务,其特点为:

  • 创建Pon % Q t : [ d 8d运行特定任务,确保任务运行完成
  • 任务运行b ` P期间节点异常时会自动重新创建Pod
  • 支持并发创建Pod任务数和指定任务数

kubernetes入门到实战(十)守护和任务型控制器—(02)

Jobs任务运行方式有如下三种:

  • 运行单个Jobs任务,一般运行一个pod,pod运行! ! t结束任务运行完成;
  • 运行特定数量的任务,通过completion指定总计运行任务;
  • 并发运行任务,通 . D A 2 l D `过parallelism+ , z 7 = -指定并发数

1.2 运行单个Jobs任务

1、 定义一个jobs任务,通过在command中运行特定一个脚d p L P I m O * R本,将当前的时间打印100次

apiVersion: batch/v1
kind: Job
metadata:
name: jobs-dez ; 2mo
labels:
con% ? u 2 etroller: jobs
spec:
parallelism: 1N T @        #并发数,默认为1,即创建pod副本的数量
template:
metadata:
name: jobs-demo
labels:
controller: jobs
sl c ~ J 4 0 ApL Z | L 4 Z b 6 Nec:
containers:
- name:7 1 P M T v } q C echo-` w b $ o Z Htime
image: centos:latest
imagePullPolicy: IfNotPresent
commr v N g c / ~aZ c Hnd:
- /bin/sh
- -c
- "for i in `seq 0 100`;do echo ${date}9 W 7 k / V  V &T Z Iamp;& sleep 1;done"
restartPolicy: Never  #设置为Never,jobs任务运行完毕即可完成

2、 运行Jobs任务

[root@node-1 happycloudlab]# kubectl apply -f job-demo.yaml
job.batch/job-demo cr8 # G D $ _ | V !eated
[root@node-1 happylau]# kubectH x : G m 3l get jobs job-4 h { k kdemo
NAME& o ` H 9 T 1       COMPLM F x Z jETIONW ) C g CS   DURATION   AGE
job-demo   0/1           41s        41s

3、 此时jobs控制器创建了一个pod容器运行任务,此时处于RunnI b & ~ !ing状态,任务处在运行过程中,如果运行完毕则会变为completed状态

[root@node-1 happycloudlab]# kubectl get pods  |grep job
job-demo-***k7                         1/1     Runnim M 3 e *ng   0          97s

4、查看jobs日志日志数据,可以看到当前jobs创建的任务是持续在终端中打印数字,且每次打印暂停1s钟

kubernetes入门到实战(十)守护和任务型控制器—(02)

5、再次查看jobs的任务,可以看到任务已经y 0 )completions,运行时长为103s,对应的pod状态处于completed状态

[root@node-1 ~]# kubectl get jobs
NAME       COMPLETIONS   DURATION   AGE
job-demo   1/1           103s       5m1B Z S o2s

kubernetes入门到实战(十)守护和任务型控制器—(02)

1.3 Jobs运行多个任1 ! i X V { o k务

Jobs控制器提供了两个控制并发数的参数:completions和parallelism,completions表示需要运行; v p t q d 4 = 任务数的总数,parallelism表示并发运行的个数,如设置为1则会依次运行任务,前面任务运行再运行后面的任务,如下以创建5E % ;. b I任务数为例演示Jobs控制器实现并发数的机制。

1、 定义计算圆周率的Jobs任务

apiVersion: batch/v1
kin u  1 & sd: Job
metadata:
name: pi
spec:
template:
spec:
containers:
- name: pi
image: perl
command: ["perl",  "-Mbignum=bpi", "-wle", "pri. Z 8 G H wnt bpi(100)"]
restar*  ptPolicy: Never
parallelism: 1
completions: 5

2、运行jobs任务,并用kubectl get jobsh . Z K ~ [ M H 6 --watch查看jobs创建过程,可以看到pod任务是依次运行,直至m J P * p P c h达到completions所定义的数量

kubernetes入门到实战(十)守护和任务型控制器—(02)

3、Jobs任务都已运行完毕,查看K ; J ! ^ w v k iJoR Y : #bs列表可以看到任务都处于Completed状态,查看pod日志可以看到Pi圆周率计y G =算的结果

kubernetes入门到实战(十)守护和任务型控制器—(02)

1.4 Jobs运行并发任务

Jobs控制器支持d j m F ! A i运行并发任务,并发任务即Jobs控制器一次运行多个Pod执行任务处理,如下以一次性运行3个Pod并发数为例演示通过Jobs控制器实现并U [ 5 J % : n 5发任务

1、定义Jobs任务,设置3个并发数任务

apiVersion: batch/v1
kind: Job
metadata:
name: jobs-demo
labels:
controller: jobs
spec:
para. | Cllelism: 3    #运行并发数为3,一次性创建3个pod
template:
meta% M 8 ; } h m qdata:
name: joba c N | . Qs-demo
labels:
controller: jobs
spec:
containers:
- name: echo-time
image: centos:latest
imagePullo u * 6 T T w s }Policy: IfNotPresent
command:
- /bin/sh
- -c
- "for i in `seq 0 10`;do echo `date` && sleep 1;done"
restartPolicy: Never

2、运行Jobs任务并查看,Jobs控制器同时创建了3个并发任务

kubernetes入门到实战(十)守护和任务型控制器—(02)

3、通过上面的演示可知,通过parallelism指定并发数量,Jobs控制器会创建出多个Pod副本并运行直至任务completed,同时paraln ] F F F Y -lelism可以配合completions一起使用,通过并发创建特定数量的任务,如下以单次运行3个并发任务实现9个任务的Jobs任务

apiV^  p xersion: batch/v1
kind: Job
metadata:
name: jobs-demo
labels:
controller: jobs
spec:
parallelism: 3    #并发任务为3
completions: 9    #任务数为9
template:
m5 D n q (etadata:
name:% _ ; jobs-demo
labels:
controller: jobs
spec:
containe9 / ,rs:
- name: echK T io-time
image: centos:latest
imageL p T :  ^ W V &PullPolicy: IfNotPresent
command:
- /bin/sh
- -c
- "for i in `seq 0 10`;do echo `date` && sle; ^ T ~ep 1;done"
restartPolicy: Never

4、运行Jobs任务并观察创建过程,在describe jobs的详情events日志中可以看到一共创建了9个任务,每3个任务创建时间一样,即并发创建的任务

kubernetes入门到实战(十)守护和任务型控制器—(02)

总结:通过前面的例子解析可得知,Jobs能在kubernetes中实现类似Windows下批处理或Linux下shell任务的功能,通过运行特; U U T !定任务数+并发数控制创建Pod任务。需要注意一点的是,Jobs控制器和Deployments副本控制器不一样,其不支持修改Jobs的yaml文件,如果有需要修改则需要提前将Jobs s k ms任务删除,然后再将修改后的yaml提交任务。

2. CronJobs周期性运转

2.1 CronJobs简介

CronJobs用于实现类似Linux下的cronjob周期性计划任务,CronJobs控制器通过时间线创建Jobs任务,从而完成任务的执行处理,其具有如下特点:

  • 实现周期性计划任务
  • 调用Jobs控制器创建任务
  • CronJobs任务名称小于52个字l | 4 z W c
  • 应用场景如:定期备份,周期性发送邮件

kubernetes入门到实战(十)守护和任务型控制器—(02)

CronJobs可通过schedule指定t $ d y K o -任务运行i J N e U f V ? b的周期,其使用参数和cronjob类似,分别使用:分时日月星5个参数表示周期性,其中*表示任意时间? ) 4 ? E / 4点,/表示每隔多久,-表示范围

  • 分钟 范围为0-59
  • 小时 范围为0-23
  • 日期 范围 ; % [ / X为1-31# y F m ;
  • 月份 范围为1-12
  • 星期t } ~ ^ @ ` 范围为0-7,其中0和7表示星z G B ? M 8 q (期日

举例子说明:

1、 /1 * * * 表示每隔1分钟运行任务

2` u ? Z - * 6 s、 1 0 * * 6-7 表示每m , M * O N周六日的0点01分运行任务

2.2 运行Crona % Y | 7jobs任务

CronJobs任务是编写和Deploymen( c L d M Dts类似,需啊哟一个schedul] Y R ; - ( Oe定期任务调度周期,通过jobTemplate定义生成Jobs任务的模版,定义一个任务为例:

1、 定义一个CronJobs任务,每隔5分钟运行一个任务

apiVersion: batcT R Th/v1beta# 1 (1
kind: CronJob
metadata:
name: cronjob-demo
labels:
jobgroup: croZ & h ^ :nj` O U E Y e x O qob-demo
spec:
schedule: "*/5 * * * *"       #调度任务周期
jobTemplate:                    #创建Jobs任务模版
spec:
template:
spec:
containers:
- name: cronjob^ _ E Z l-demo
image: busybox:latest
imagePullPolicy: IfNotPresent
command:
- /bin/sh
- -c
- "for i in `seq 0 100`;do echo ${i} && sleep 1;done"
restartPolicy: Never

2、 运行CronJobs并查看任务列表

kubernetes入门到实战(十)守护和任务型控制器—(02)

3、校验CronJobs任务运行的情况,可以看到CronJobs任务调用Jobs控制器创建Pod,Pod创建周期和schedule中定义的周期一致

kubernetes入门到实战(十)守护和任务型控制器—(02)

当然,CronJobs中通过Jobs的模版也可以定义运行任务的数量和并发数,实现计划时间范围内并发运行J Z l多个任务的需求。

写在最后

文章总结了在kubernetes集群1 h ( Q q L Z 6中运行Jobs批处理? X s ( e Q任务和CronJobs两种控制器的功能使用,适用于特定场景下任务,Jobs任务执行完毕即completed,CronJobs周期性调用Jobs控制器完成任务的创建执行。

参考文章

不错的博客:https://dravec K m W .ness.me/kubernetes-job-cront f w Q ljob

运行Jobs任务:https://kubernetes.io/docs/concepts/workloads/controlle^ e Vrs/jobs-rE ? R V k * U n =un-to-coi i d G i |mpletion/

计划任务ConJobs:httpsp 0 L a . W 5 Z://kubern7 a =etes.io/docs/concepts/work1 x yloads/controllers/cron-jobs/

自动运行任务:https:8 y L v F = )//kubernetes.io/dM u (o4 : . 1cs/tasks/job/automated-tasks-with-cron-jobs/

TKE创建Jobs任务:https://cloud.te ? & C H #ncen2 ! { t.com/document/product/457/31708

TKE创建CronJobs:https://cloud.tencent.com/document/product/457/31709