在 Google Distributed Cloud 軟體 (僅限 VMware) 中建立或升級叢集前,系統會執行預檢,驗證環境和必要條件。本文說明如何執行檢查及解讀結果,以便及早發現設定問題,避免部署或升級失敗。
查看防火牆規則
在 1.29 以上版本中,建立、更新及升級叢集時,預設會啟用伺服器端預檢。伺服器端預檢需要額外的防火牆規則。在「管理員叢集的防火牆規則」中,搜尋「Preflight checks」(預檢),並確認已設定所有必要的防火牆規則。
執行 gkectl check-config
如果您打算使用 gkectl 建立叢集,請執行 gkectl create-config 來產生設定檔。設定檔會驅動安裝作業:您需要提供 vSphere 環境、網路和負載平衡器的相關資訊,以及叢集的樣貌。您可以在建立管理員工作站之前或之後產生設定檔。某些檢查必須從管理員工作站執行,才能通過。
修改檔案以符合環境和叢集的需求後,請使用該檔案在地端部署環境中建立叢集。
使用 gkectl 建立叢集前,請執行 gkectl check-config,透過多項預檢驗證設定檔。如果指令傳回任何 FAILURE 訊息,請修正問題並再次驗證檔案。如果某項功能驗證傳回任何「警告」訊息,您必須先修正根本問題,才能使用該功能。
預檢模式和略過驗證
gkectl check-config 有預設模式和快速模式:
在預設模式下,指令會全面驗證每個欄位。此外,預設模式會在驗證過程中建立暫時的 vSphere 虛擬機器 (VM),這可能會耗費較多時間。
在快速模式下,指令會略過建立測試 VM 的檢查,只執行快速檢查。只要傳入
--fast旗標,即可啟用快速模式。
您可以傳入其他旗標,略過特定驗證,詳情請參閱 gkectl check-config --help。
管理員工作站與測試 VM 之間的流量
在預設模式下,預檢會為叢集建立測試 VM。每個測試 VM 都會執行 HTTP 伺服器,監聽通訊埠 443 和您在設定檔中指定的節點通訊埠。
測試 VM 會獲派多個 IP 位址。如果設定檔指出叢集節點會從 DHCP 伺服器取得 IP 位址,預檢作業就會使用 DHCP 伺服器,將 IP 位址指派給測試 VM。如果設定檔指出叢集節點會指派靜態 IP 位址,預檢作業會將您在 IP 區塊檔案中指定的靜態 IP 位址指派給測試 VM。
預檢作業會在管理員工作站上執行,並使用指派給測試 VM 的各種 IP 位址,將 HTTP 要求傳送至測試 VM。要求會傳送至通訊埠 443,以及您在設定檔中指定的節點通訊埠。
執行預檢的時機
建議您盡早執行預檢,並在嘗試建立叢集之前執行。提早執行預檢,有助於確認您已正確設定 vSphere 環境和網路。
如果您使用的是 1.2.0-gke.6 版,請執行 gkectl check-config 兩次:
執行
gkectl check-config --fast。執行
gkectl prepare。再次執行
gkectl check-config,但不使用--fast旗標。
之所以要執行兩次,是因為 gkectl prepare 會將叢集節點 OS 映像檔的 VM 範本上傳至 vSphere 環境。您必須先建立該 VM 範本,才能執行整套驗證作業。
在 1.2.1 以上版本中,check-config 指令本身會上傳 VM 範本,因此您可以在執行 gkectl
prepare 之前執行整套驗證作業:
執行
gkectl check-config,不使用--fast旗標。執行
gkectl prepare。
預檢作業會驗證您在檔案中提供的值。您不必填寫設定檔中的所有欄位,即可對檔案執行預檢,而是在填寫欄位時,反覆驗證檔案。舉例來說,如果只想驗證 vCenter 設定,可以只填寫 vcenter 欄位,並針對這些欄位執行檢查。
請注意,叢集建立後,設定就無法變更。執行預檢可協助您在建立叢集前,找出並解決設定問題。
保留測試 VM 以便偵錯
從 1.2.1 版開始,gkectl check-config 指令具有 --cleanup 旗標。
gkectl check-config 執行完整驗證時,會建立測試 VM 和相關聯的安全殼層金鑰。如要保留測試 VM 和安全殼層金鑰以進行偵錯,請將 --cleanup 設為 false。
--cleanup 的預設值為 true。
預檢清單
預檢會驗證設定檔中的每個欄位。目前檢查項目如下:
| 類別 | 說明 | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 設定檔 | 一般會驗證每個欄位和規格是否具有預期的格式和值。 已使用 使用 |
||||||||||||||||
| 網際網路 | 驗證必要網域的網路連線能力。根據您執行 gkectl 的位置驗證 Proxy 設定。 使用 |
||||||||||||||||
| OS 映像檔 | 驗證 OS 映像檔是否存在。 使用 |
||||||||||||||||
| Windows OS 版本 | 驗證 Windows OS 版本。 使用指令列工具 |
||||||||||||||||
| 叢集版本 | 驗證管理員叢集版本、使用者叢集版本和 使用 |
||||||||||||||||
| 叢集健康狀態 | 在升級前驗證管理員或使用者叢集是否健康:
使用 |
||||||||||||||||
| 輸入 | 檢查使用者叢集在升級前是否具有 Istio Gateway 物件。 | ||||||||||||||||
| 預留 IP | 驗證是否有足夠的 IP 位址可供建立及升級。 使用 |
||||||||||||||||
| Google Cloud |
--skip-validation-gcp 旗標略過。 |
||||||||||||||||
使用 gcr.io/gke-on-prem-release |
驗證 Artifact Registry 中託管的容器映像檔登錄檔存取權。 使用 |
||||||||||||||||
| Docker 登錄檔 |
privateregistryconfig如果已設定,則會驗證 Docker 登錄檔的存取權。
使用 |
||||||||||||||||
| vCenter | 檢查所有 vcenter 欄位是否存在,並檢查下列項目:
使用 |
||||||||||||||||
| 儲存空間 |
|
||||||||||||||||
| CSI 工作負載 |
驗證叢集能否成功執行工作負載,該工作負載使用透過 vSphere CSI 驅動程式建立的動態佈建 PersistentVolume。 這項檢查會在升級期間執行,且只有在有樹狀結構內 vSphere 磁碟區,且沒有 vSphere CSI 磁碟區時才會執行。 這項檢查:
|
||||||||||||||||
| 反相依性群組的主機 | 如果啟用
如要停用叢集的 使用 |
||||||||||||||||
| 負載平衡器 | 驗證負載平衡設定:
--skip-validation-load-balancer 旗標略過。 |
||||||||||||||||
| 網路 | 驗證提供的 CIDR 範圍、VIP 和靜態 IP (如有設定) 是否可用。檢查 IP 位址是否重疊。 使用 |
||||||||||||||||
| DNS | 驗證提供的 DNS 伺服器是否可用。 使用 |
||||||||||||||||
| NTP | 驗證提供的網路時間通訊協定 (NTP) 伺服器是否可用。 使用 |
||||||||||||||||
| VIP | 對提供的 VIP 進行連線偵測 (ping)。如果連線偵測 (ping) 失敗,表示預期的 VIP 尚未被使用,這項檢查即成功。 已使用 |
||||||||||||||||
| 節點 IP | 對提供的節點 IP 位址進行連線偵測 (ping)。如果連線偵測 (ping) 失敗,表示預期的節點 IP 尚未被使用,這項檢查就會成功。 已使用 |
||||||||||||||||
預檢結果
預檢可能會傳回下列結果:
- 成功
- 欄位和值已通過檢查。
- 失敗
- 欄位或其值未通過檢查。如果檢查傳回
FAILURE訊息,請修正問題並再次驗證檔案。 - 略過數
系統略過檢查,可能是因為檢查與您的設定無關。舉例來說,如果您使用 DHCP 伺服器,系統會略過 DNS 和節點 IP 的檢查 (僅與靜態 IP 設定相關)。
如果您傳入略過驗證的旗標,略過的檢查不會傳回 SKIPPED 結果,而是不會執行驗證,也不會顯示在指令輸出中。
- 不明
檢查傳回非零代碼。您可以將 UNKNOWN 結果視為檢查失敗。UNKNOWN 通常表示檢查無法執行某些系統套件,例如無法執行 nslookup 或 Google Cloud CLI。
執行預檢檢查
執行下列指令,即可執行預檢:
gkectl check-config --config [CONFIG]
其中 [CONFIG] 是設定檔的路徑。
以快速模式執行
您也可以在「快速模式」下執行預檢,略過建立臨時測試 VM 的驗證,例如負載平衡 VIP 和節點 IP 驗證。如要這麼做,請傳入 --fast:
gkectl check-config --config [CONFIG] --fast
略過特定驗證
您可以傳入旗標,精細略過特定驗證,例如 DNS、Proxy 和網路。每個略過旗標的格式為 --skip-validation-[VALIDATION]。
如要瞭解可用的略過旗標,請執行下列指令:
gkectl check-config --help
例如,如要略過負載平衡器驗證,請執行下列指令:
gkectl check-config --config my-config.yaml --skip-validation-load-balancer
取消預檢
如果已開始執行預檢,但想取消,請按兩次 CTRL + C。如果預檢作業建立了測試 VM,取消作業時也應自動清除 VM。
清除測試 VM
如果預檢完成後仍有測試 VM,可以從 vCenter 刪除 VM。測試 VM 的名稱如下:
check-config-[dhcp|static]-[random number]
如要刪除 VM,請按照下列步驟操作:
在 VM 上按一下滑鼠右鍵,然後依序點選「Power」>「關機」。
VM 關機後,再次在 VM 上按一下滑鼠右鍵,然後點選「Delete from Disk」(從磁碟刪除)。
範例
以下是指令的輸出範例。在本範例中,要驗證的設定使用整合式負載平衡模式和靜態 IP,不含外部 Docker 登錄檔:
- Validation Category: Config Check
- [SUCCESS] Config
- Validation Category: Internet Access
- [SUCCESS] Internet access to required domains
- Validation Category: GCP
- [SUCCESS] GCP Service
- [SUCCESS] GCP Service Account
- Validation Category: Docker Registry
- [SUCCESS] gcr.io/gke-on-prem-release access
- Validation Category: vCenter
- [SUCCESS] Credentials
- [SUCCESS] Version
- [SUCCESS] Datacenter
- [SUCCESS] Datastore
- [SUCCESS] Data Disk
- [SUCCESS] Resource Pool
- [SUCCESS] Network
- [SUCCESS] VSphere CSI Driver
- Validation Category: F5 BIG-IP
- [SUCCESS] Admin Cluster F5 (credentials, partition and user role)
- [SUCCESS] User Cluster F5 (credentials, partition and user role)
- Validation Category: Network Configuration
- [SUCCESS] CIDR, VIP and static IP (availability and overlapping)
- Validation Category: DNS
- [SUCCESS] DNS (availability)
- Validation Category: VIPs
- [SUCCESS] ping (availability)
- Validation Category: Node IPs
- [SUCCESS] ping (availability)
Now running slow validation checks. ...
Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with admin cluster configuration... DONE
Waiting to get IP addresses from test VMs... DONE
Waiting for test VMs to become ready... DONE
Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with user cluster configuration... DONE
Waiting to get IP addresses from test VMs... DONE
Waiting for test VMs to become ready... DONE
- Validation Category: F5 BIG-IP
- [SUCCESS] Admin Cluster VIP and NodeIP
- [SUCCESS] Admin Cluster F5 Access
- [SUCCESS] User Cluster VIP and NodeIP
- [SUCCESS] User Cluster F5 Access
- Validation Category: Internet Access
- [SUCCESS] Internet access to required domains
- Validation Category: vCenter on test VMs
- [SUCCESS] Test VM: VCenter Access and Permission
- Validation Category: DNS on test VMs
- [SUCCESS] Test VM: DNS Availability
- Validation Category: TOD on test VMs
- [SUCCESS] Test VM: TOD Availability
- Validation Category: Docker Registry
- [SUCCESS] gcr.io/gke-on-prem-release access
Deleting test VMs with admin cluster configuration... DONE
Deleting test VMs with user cluster configuration... DONE
已知問題
1.3.0-gke.16 版:
如果符合下列兩項條件,您必須執行快速驗證檢查
gkectl check-config --fast,做為預檢:您僅將 VMware 適用的 Google Distributed Cloud 軟體設為使用 Proxy。
您已安裝下列其中一個套件:
- 「下載」頁面中的
/var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgz套件。 - 管理員工作站的
/var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgz軟體包。
- 「下載」頁面中的
只有在安裝完整套件時,才能執行整套驗證。例如:
/var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16-full.tgz1.2.0-gke.6 版:
如果您使用巢狀資源集區或預設資源集區,當您嘗試執行一整套驗證時,
gkectl check-config會失敗。不過,您可以傳遞--fast旗標,執行較小規模的驗證。gkectl check-config --config [CONFIG] --fast