Kubernetes Pod 如何获取 IP 地址

作者:Ronak Nathani

翻译:Bach(才云)

校对:星空下的文仔(才云)、bot(才云)

Kubernetes 网络模型的核心要求之一是每个 Pod 都拥有 Z L自己的 IP 地址并可以使用该 IP 地址进行/ ^ C J 5 s通信。很多人刚开始使用 Kubernetes 时,还不清楚如何为每个 Pod 分配 IP 地址。他们了解各种组件如何独立工作,但不清楚这些组件如何组合在一起使用。例如,他们了解什么是 CNI 插件,但是不知道它们是如何被调用的。本文q x 4 3 #就介绍了各种网络组件在 Kubernetes 集群中是如何交互的,以及如何帮助每个 Pod 都获取 IP 地址。

在 Kubernetes 中有多种网络设置方法,以及 container runtime 的各种选项。这篇文章将使用 Flannel 作为 network provider,并使用 C] v }onm ` L D ltainered 作为 contaz K z 4 Yiner runtimf $ ] :e。

K8sMeetup

背景概念

容器网络

同一主机上的容器

在同一主机上运行的容器通过 IP 地址相互通信的方法之一是使用 Linux Bridge,即在 Kubernetes(和 Docker)世界中,创建 veth(虚拟以太6 g q )网)设备s 5 . n , p。该 veth 设备的一端连接在容器网络命名空间,另一端连接到主机网络上的 Linux Bridge。同一主机上的所有容器都将这 veth pair 的一端连接到 Linux BM n Y % 2 Y nridge,它们可以通过 Bridge 使用 IP 地) g h =址相互通信。Linux Brz & d x , A o u kidge 也被分配了一个 IP 地址,它充当从目的地到不同节点的 Pod 流出流量的网关。

Kubernetes Pod 如何获取 IP 地址

不同主机上的容器

在不同主机上运行F o - 3 g |的容1 H 器可: Z m v k以通过其 IP 地址相互通信的方式之一是使用数据包封装C o Y 5 4 d [ Wpacket encapsula& : J ] Z w otion)。Flannel 通过 vxlan 使用该功能,vxlan 将原始数据包封装在 UDP 数据包中并将其发送+ j 8 ! . v到目的地。

在 Kubernetes 集群中,Flannel 会在每个节点上创建一个 vxlan 设t @ 1 ? Y备和一些路由表。每s J : Y I个发往不同主机上的容器的数据包都会通过 vxlan 设备,并封装在 UDP 数据包中。在目标位置,它会提取封装的数据包,然后将数据包t D 6 . ` E T /路由到目的地 Pod。

Kubernetes Pod 如何获取 IP 地址

注意:这只是配置容器之间网络的方法之一。

CRI

CRI(容器运行时接口)是一个插件a Q ~ 5 r接口,允许 kubelet 使用不同的 container runtimes。各种 container runtimes 都实现了 CRI API,这使用户可以在 Kubernetes 安装中使用他们想要的 container runtimes。

CNI

CNI(容器网络接口)项目包含一个为 Linux 容器提供基于通用插件网络解决方案的规则。它由各种插件组成,这些插件在配置 Pod 网络H ( l时执行不同的功能。CNI 插件是遵循 CNI 规范的可执行文件。

K8sMeetup

为节X J 5 [ X H点子网分配 Pod IP 地址

如果要求所c X T D h有 Pod 具有 IP 地址,那么就要确保整个集群中的所有 Pod 的 IP 地址是唯一的。这可以通过为每个节点分配一个唯一的子网来实现,即z _ f d | V o m从子网中为 Pod 分配节点 IP 地址。

节点 IPAM 控制

nodeipam 传递给 kube-controller-manager 的 --controllers 命令行标志时,它将为每个节点分配o h Y来自集群 CIDR(集群网络的 IP 范围)的专用子网(podCIDR)。由于这些 podCIDR 是不相交的子网,因此它可以为每个 Pod 分配唯一的 IP 地址。

当 Kubernetes 节点首次在集群上注册时,会被分配一个 podCIDR。要更改分配给集群中节点的 podCIDR,需要先注销节点,然后使用应用于 Kubernetes 控O 4 6制平面的任何配置更改来重新注册节点。podCIDR 可以使用以下命令列出节点的名称:

Kubernetes Pod 如何获取 IP 地址

K8sMeetup

Kubelet、Container Runtime 和 CNI 插件交互

当在节点上5 O 2 t & { W调度 Pod 时,一启动 Pod 就会发生很多事情。这里我们仅关注与 Pod 配置网络有关的动态。一旦在节点上调度了 Pod,将配置网络并启动应用程序容器。

Kubernetes Pod 如何获取 IP 地址

参考:容器式 cri 插件架构

Container Runtime 与 CNI 插件的交互

每个 netwoT c & { ] & Q Trk provider 都有一个 CNI 插件,container runtime 会调用该插件,在 Pod 启动时配置网络。使用容器化作为 container runtime,容器化 CRI 插件将调用 CNI 插件。每个 network provider 都在每个 Kubernetes 节点上安装了一个代理,以配置 Pod 网络。安装 network provider agent 后,它会随 CNI 一起配置或者在节点上创建,CRI 插件会使用它来确定要调用哪个 CNI 插件。

CNI 配置文件的位置是可配置的,默认值为 /etc/cni/net.d/<config-file>。集群管理员需要在每个节点上交付 CNI 插I r Z件。CNI 插件的位置也是可配置的,默认值为 /opt/cni/bin

如果使用 containerd 作为 container runtime,则可以在 conI | ~ Ftainerd config 部分下 [plugins."io.containerd.grpc.v1.cri".cni] 指定 CNI 配置和 CNI 插件的路径。

本文中我们将 Flannel 作为 network provider,这里简单介绍一下 Flannel 的设置。Flanneld 是 Flannel 守护程序,通常 install-cni 作为带有初始化容器的守护程! # H ; O o q k 7序安装在 Kubernetes 集群上。install-cni 容器创建 CNI 配置文件在每个节点上 /etc/cni/net.d/10-flannel.conflist。Flanneld 创建一个 vxlan 设备,从 a/ M s ^ 3 }piserver 获取网络元数据,并监控 Pod 上的更新。创建 Pod 时,它将在整个集群中为所有 Pod 分配路由,这些路由允许 Pod 通过 IP 地址相互连接。

Containerd CRI 插件和 CNI 插件之间的交互可以如下所示:

Kubernetes Pod 如何获取 IP 地址

c : / 0 : % @ B o上所述,kubelW A F = Met 调用 Containered CRI 插件创建容2 T q h v ; % [ 1器,再调用 CNI 插件为容器配置网络。Network provider CNI# s x 插件调用其他基本 CNI 插件来配置网络。CNI 插件之间的交互如下所述。r : 5 M |

CNI 插件之间的交互

有多种 CNI 插件可帮助配置m & q I主机上容器之v E d y D S Y d &间的网络,本文主要讨论以下 3 个插件。

Flannel CNI 插件

当使用 Fa # !lannel 作为 network provider 时,Containered CRI 插件使用 CNI 配置文件,调用 Flannel CND J / D R O t *I 插件/etc/cni/net.d/10-flannel.conflist

Kubernetes Pod 如何获取 IP 地址

Fannel CNI 插件与 Flanneld 结合使用,当 Flanneld 启动时,它将从 apiserver 中获取 podCIDR 和其他与网络相关的详细信息,并将它们存储在文件中/run/flannel/subnet.env. i : X X ~ m

Kubernetes Pod 如何获取 IP 地址

Flannel CNI 插件使用 /run/flannel/subnet.env 的信息来配置和调[ 1 l ` X用 Bridge CNI 插件。

Bridge CNI 插件

Flannel CNI 插件使用以下配置调用 Bridge CNI 插件:

Kubernetes Pod 如何获取 IP 地址

当 Bridge CNI 插件第一次调用时,它会创建一个 Linux Bridge "name": "cni0" 在配置文件中,然后为每个 Pod 创建 v* u v 5eth pair,其一端在容器的网络命名空间中,另一端连接到主机网络上的 Linux Bridge。使用 Bridge CNI 插件,主机上的所有容器都连接 1 Y + [ G b N 到主机网络上的 Linux Brid O w -ge。

配置完 veth pair 后,Bridge 插件将调用主机本地 IPAM CNE - b 7 VI 插件。我们可以在 CNI config 中配置要使用的 IPAM 插件,CRI 插件用于调用 Flannel CNI插$ p q P 9件。

主机本地 IPAM CNI 插件

Bridge CNI 插件使用以下配置调用主机本地 IPAM CNI 插件% h 7

Kubernetes Pod 如何获取 IP 地址

主机本地 IPAM(IP 地址管理)插件从中返回容器的 IP 地址,subnet将分配的 IP 本地存储在主机下d4 ( - f #ataDiH A k b Rr指定的目录中/var/lib/cni/netwog * P { 0 1 Z vrks/<network-name=cni0>/<ip>/var/lib/cni/networks/<network-name` v e=cniT Q v | s ? V & -0>/<ip>文件包含 IP 分配到的容器 ID。

调用时,主机本地 IPAM 插件返回以下有效负载:

Kubernetes Pod 如何获取 IP 地址

K8sMeetup

总结

Kube-control- c ; : 7ler-manager 为每个节点分配一个 podCIDR。从 podCIDR 中的子网值为节点上的 Pod 分配了 IP 地址。由于所有节点上的 podCIDR 是不相交的子网,因此它允许为每个 pod 分配唯一的IP地址。

Kub1 @ g Aernetes 集群管理员可配置+ ? ! } W } A h和安装 k) ~ t K y a m Yubelet、container ru O ; _ ,ntime、network provider,并在每个节点上分发 CNI 插件。Network provider agent 启动时,将生成 CNI 配置。在节点上调度 Pod 后,kubelet 会调用 CRI 插件来创建 Pod。在容器情M | E况下,容器的 CRI 插件调用 CNI 配置中u { v U指定的 CNI 插件来配置 Pod 网络。所有这些都会影r S = @ 8响 Pod 获取 IP地址。

原文链接:https://mp.weixin# h G / ; $ H [ y.qq.com/s/sOyCLoYR0E1fFTcr2MS ] X X K , lnQCw