如要進一步瞭解排程,請參閱 Kubernetes 說明文件的「排程、搶占和驅逐」一節。
本頁面說明如何在 Kubernetes 資訊清單中,為主要和讀取集區執行個體指定容許度、節點親和性和拓撲分散限制排程設定。
如要瞭解如何在節點上定義 taint,請參閱 Kubernetes 說明文件中的「Taints and Tolerations」(Taint 和容許條件)。
指定容許度
如要將 AlloyDB Omni Pod 排程至沒有其他應用程式 Pod 的節點,或比對這些節點上定義的特定汙點,請對節點套用一或多個容許條件,如下所示:
- 修改 AlloyDB Omni Kubernetes 運算子叢集的資訊清單,在下列任一區段的
schedulingConfig區段中加入tolerations區段:primarySpec主要執行個體spec讀取集區執行個體
tolerations: - key: "TAINT_KEY" operator: "OPERATOR_VALUE" value: "VALUE" effect: "TAINT_EFFECT"更改下列內容:
TAINT_KEY:現有的汙染鍵專屬名稱,例如節點的主機名稱,或是容許度適用的其他本機推斷值。節點上已定義汙點鍵。如果欄位空白且OPERATOR_VALUE設為exists,表示容許度必須符合所有值和所有鍵。OPERATOR_VALUE:代表鍵與一組值的關係。將參數設為下列其中一項:exists:如果定義了汙點,Kubernetes 會比對任何值,無論汙點的值為何。equal:如果值不同,Kubernetes 就不會將 Pod 排程至節點。運算子需要 tainttrue值。
VALUE:容許值相符的汙染值。如果運算子為 Exists,值會是空白,否則為一般字串。例如:true。TAINT_EFFECT:指出要比對的汙染效果。如果欄位留空,表示所有汙染效果都必須相符。將參數設為下列其中一項:NoSchedule:Kubernetes 不會在受汙染的節點上排程新的 Pod。PreferNoSchedule:Kubernetes 會避免將新的 Pod 放置在遭汙染的節點上 (除非必要)。NoExecute:Kubernetes 會逐出無法容忍 taint 的現有 Pod。
- 重新套用資訊清單。
定義節點相依性
Kubernetes 排程器會使用節點親和性做為一組規則,決定 Pod 的放置位置。節點相依性是節點選取器的彈性且具表現力的版本。
如要指定必須排定哪些節點來執行資料庫,請按照下列步驟操作:
- 修改資料庫叢集資訊清單,在主要執行個體的
primarySpec或讀取集區執行個體的specschedulingConfig區段中,於tolerations區段後加入nodeaffinity區段:nodeaffinity: NODE_AFFINITY_TYPE: - weight: WAIT_VALUE preference: matchExpressions: - key: LABEL_KEY operator: OPERATOR_VALUE values: - LABEL_KEY_VALUE更改下列內容:
-
NODE_AFFINITY_TYPE:將參數設為下列其中一個值:requiredDuringSchedulingIgnoredDuringExecution:Kubernetes 會完全根據定義的規則排定 Pod。preferredDuringSchedulingIgnoredDuringExecution:Kubernetes 排程器會嘗試尋找符合排程定義規則的節點。不過,如果沒有這類節點,Kubernetes 會排程至叢集中的其他節點。
WAIT_VALUE:表示指定節點的偏好權重。值越大表示偏好程度越高。有效值介於1到100之間。LABEL_KEY:節點的標籤,用於做為位置指標,並協助在叢集中平均分配 Pod。例如:disktype=ssd。OPERATOR_VALUE:代表鍵與一組值的關係。將參數設為下列其中一個值:-
In:值陣列不得為空。 -
NotIn:值陣列不得為空。 -
Exists:值陣列必須為空白。 -
DoesNotExist:值陣列必須為空白。 -
Gt:值陣列必須包含單一元素,且會解讀為整數。 -
Lt:值陣列必須包含單一元素,且會解讀為整數。
-
LABEL_KEY_VALUE:標籤鍵的值。將參數設為字串值陣列,如下所示:- 如果運算子為
In或NotIn,值陣列不得為空。 - 如果運算子是
Exists或DoesNotExist,值陣列必須為空。 - 如果運算子為
Gt或Lt,值陣列必須只有一個元素,且會解譯為整數。
- 如果運算子為
-
- 重新套用資訊清單。
定義 Pod 反相依性
Pod 反親和性可防止 Kubernetes 排程器在相同節點或相同拓撲網域 (例如區域或地區) 中排定 Pod。這可確保服務的副本會分散配置,避免出現單一故障點。
在實際運作環境中,建議您使用這項反相依性規則,透過下列標籤,在與運算子 Pod 不同的節點上排定資料庫 Pod:
schedulingconfig:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels:
app.kubernetes.io/component: controller
app.kubernetes.io/name: alloydb-omni-operator
namespaces:
- alloydb-omni-system
topologyKey: kubernetes.io/hostname
如要將 Pod 反親和性規則新增至資料庫,請按照下列步驟操作:
修改資料庫叢集的資訊清單檔案,加入
podAntiAffinity欄位。您必須在主要執行個體的primarySpec欄位,或讀取集區執行個體的spec欄位中,將podAntiAffinity新增至schedulingConfig欄位。podAntiAffinity: POD_ANTI_AFFINITY_TYPE: - weight: WEIGHT_VALUE podAffinityTerm: labelSelector: matchExpressions: - key: LABEL_KEY operator: OPERATOR_VALUE values: - LABEL_VALUE topologyKey: "TOPOLOGY_KEY"請替換下列變數:
POD_ANTI_AFFINITY_TYPE:請使用下列其中一個值:requiredDuringSchedulingIgnoredDuringExecution:Kubernetes 只會根據定義的規則排定 Pod。preferredDuringSchedulingIgnoredDuringExecution:Kubernetes 排程器會嘗試尋找符合定義規則的節點。如果找不到這類節點,Kubernetes 會將 Pod 排程至叢集中的另一個節點。
WEIGHT_VALUE:當POD_ANTI_AFFINITY_TYPE設為preferredDuringSchedulingIgnoredDuringExecution時使用。指出指定節點的偏好程度。值的範圍從1到100。LABEL_KEY:做為位置指標,並有助於在叢集中平均分配 Pod。OPERATOR_VALUE:用於比對指定 Pod 的運算子。請使用下列其中一個值:In:values陣列不得為空。NotIn:values陣列不得為空。Exists:values陣列必須為空白。DoesNotExist:values陣列必須為空白。
LABEL_VALUE:要與LABEL_KEY比對的一或多個 Pod 值。TOPOLOGY_KEY:定義拓撲網域。舉例來說,kubernetes.io/hostname可避免 Pod 位於同一節點,topology.kubernetes.io/zone則可將 Pod 分散到不同區域。
重新套用資訊清單檔案。
定義拓撲擴散限制
Kubernetes Pod API 的 spec 欄位 (因此也位於 AlloyDB Omni 資料庫叢集資訊清單的 schedulingConfig 中),可控制 Pod 在叢集內不同拓撲網域 (例如區域、節點或地區) 的分配方式。topologySpreadConstraints這有助於提升高可用性,並防止過多 AlloyDB Omni 資料庫叢集 Pod 落在單一故障點,進而平衡資源用量。
如要指定 AlloyDB Omni 資料庫叢集在叢集拓撲中的分布方式,請在主要執行個體的 primarySpec 或讀取集區執行個體的 spec 中加入 topologySpreadConstraints 區段:schedulingConfig
schedulingconfig:
# Other scheduling configs like tolerations, nodeaffinity
topologySpreadConstraints:
- maxSkew: MAXSKEW_VALUE
topologyKey: "TOPOLOGY_KEY"
whenUnsatisfiable: WHEN_UNSATISFIABLE_VALUE
# labelSelector: <object> # optional
# minDomains: <integer> # optional
# matchLabelKeys: <list> # optional
# nodeAffinityPolicy: [Honor|Ignore] # optional
# nodeTaintsPolicy: [Honor|Ignore] # optional
更改下列內容:
-
MAXSKEW_VALUE:定義任意兩個拓撲網域之間,相符 Pod 數量允許的最大差異。這個參數必須大於0。 TOPOLOGY_KEY:定義拓撲網域的節點標籤鍵,例如區域的topology.kubernetes.io/zone。排程器會嘗試在這些網域之間平衡 Pod。WHEN_UNSATISFIABLE_VALUE:指出如果 Pod 不符合分散限制,排程器會如何處理 Pod。將參數設為下列其中一個值:DoNotSchedule:如果無法滿足分散限制,排程器就不會將 Pod 排程到節點上。這是預設值。ScheduleAnyway:調度器仍會排定 Pod,但會優先選擇可將偏斜程度降至最低的節點。
如要進一步瞭解 Pod 拓撲分散限制,請參閱官方 Kubernetes 說明文件。
範例
以下範例說明如何在 AlloyDB Omni Kubernetes 運算子的主要和讀取集區執行個體中排定 Pod。這類排程設定可確保資料庫叢集的主要執行個體排程在適當的節點上,同時允許節點選取作業具有彈性。這項彈性功能有助於平衡負載、充分運用資源,或遵守特定節點角色和特徵。
schedulingconfig:
tolerations:
- key: "node-role.kubernetes.io/control-plane"
operator: "Exists"
effect: "NoSchedule"
nodeaffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: another-node-label-key
operator: In
values:
- another-node-label-value
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- my-app
topologyKey: "kubernetes.io/hostname"
topologySpreadConstraints:
- maxSkew: 1
topologyKey: "topology.kubernetes.io/zone"
whenUnsatisfiable: DoNotSchedule
由於下列詳細資料,範例容許度可讓 Pod 在標示為控制層節點的節點上排程:
node-role.kubernetes.io/control-plane汙點鍵表示節點有控制層節點。Exists運算子表示容許度符合任何具有指定汙點鍵的汙點,不論值為何。NoSchedule效果表示除非 Pod 具有相符的容許條件,否則不會排程到控制層節點上。
preferredDuringSchedulingIgnoredDuringExecution 節點親和性類型指定節點親和性定義的規則是排程期間的首選規則,但並非必要規則。如果偏好的節點無法使用,Pod 仍可能會排程至其他節點。1 權重值表示偏好程度較低。節點選取條件定義於 preference 區段。matchExpressions 區段包含用於比對節點的運算式陣列。another-node-label-key 鍵代表要比對的節點標籤鍵。In 運算子表示節點必須具有索引鍵,且該索引鍵的值為指定值之一。another-node-label-key 鍵必須具有 another-node-label-value 值。
範例節點親和性規則指出,系統應優先將 Pod 排定在具有 another-node-label-key 標籤和 another-node-label-value 值的節點上。偏好設定的強度較弱,因此並非必要條件。
本例中的 podAntiAffinity 規則可防止系統在相同主機名稱上排定標籤為 app: my-app 的 Pod。這可確保 my-app 的副本分散在不同節點,進而提升容錯能力。
本例中的 topologySpreadConstraints 會將 Pod 分散到不同的 Kubernetes 區域。1 的 maxSkew 值表示,與任何其他區域的 Pod 數量下限相比,任何指定區域最多只能多出一個 Pod。whenUnsatisfiable 設定的值為 DoNotSchedule,表示如果無法滿足這項限制,Pod 就不會排程。
這個範例結合了下列項目:
- 容許條件,可透過容許
NoScheduletaint,讓 Pod 排定在控制層節點上。 - 節點親和性偏好具有特定標籤的節點,但並非嚴格要求,因此排程具有彈性。
- 這項 Pod 反相依性規則可防止系統將含有
app: my-app標籤的 Pod 排定在同一主機名稱上。 - 拓撲分散限制,可強制 Pod 在可用區之間平均分配,提升韌性並改善資源使用率。