設定私人 Container Registry

本頁面說明如何為 Google Distributed Cloud 軟體 (僅限 VMware) 設定現有的 Container Registry 伺服器。

本頁面適用於設定、監控及管理技術基礎架構的管理員、架構師和操作員。如要進一步瞭解 Google Cloud 內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。

總覽

根據預設,在建立或升級叢集時,Google Distributed Cloud 會使用元件存取服務帳戶,從 gcr.io/gke-on-prem-release 提取系統映像檔。您也可以視需要提供自己的 Container Registry 伺服器,這樣系統映像檔就會從您的私人 Container Registry 伺服器提取。

Google Distributed Cloud 不支援不安全的 Container Registry。啟動 Container Registry 伺服器時,您必須提供憑證和金鑰。憑證可由公開憑證授權單位 (CA) 簽署,也可以自行簽署。

建立 Container Registry 伺服器

如要瞭解如何建立容器登錄伺服器,請參閱 Docker 說明文件中的「執行可從外部存取的登錄檔」。

設定登錄檔

如要使用私人 Container Registry,可以使用 gkectl 指令列工具或 Terraform。

gkectl

  1. 建立叢集前,請將 privateRegistry 區段新增至管理員叢集設定檔。

    填寫這個部分後:

    • 在建立或升級叢集前執行 gkectl prepare 指令,指令會從管理員叢集設定檔 bundlePath 欄位指定的 tar 檔案擷取映像檔,並推送至私人登錄伺服器。

    • 建立或升級叢集時,系統映像檔會從私人登錄檔伺服器提取。

  2. 如果網路位於 Proxy 伺服器後方,請填寫 proxy 區段。

Terraform

  1. 請按照「建立管理員叢集」中「Terraform」分頁的步驟,填寫管理員叢集設定檔。

  1. 在管理員叢集設定檔中新增下列內容:

    private_registry_config {
      address = "ADDRESS"
      ca_cert = "CA_CERT"
    }
    

    更改下列內容:

    • ADDRESS:執行私人登錄檔的機器 IP 位址或 FQDN (完整網域名稱)。

    • CA_CERT:公開金鑰的 CA 憑證資料,但所有換行符號都替換為字串 \n。

    1. 執行下列指令,將換行符號替換為 \n:

      awk 'ORS="\\n" {print}' PUBLIC_KEY_PATH
      

      將 PUBLIC_KEY_PATH 替換為公開金鑰的路徑。

    2. 複製上一個指令的輸出內容,並貼到 CA_CERT 預留位置變數中。

  2. 如果網路位於 Proxy 伺服器後方,請新增下列項目:

    proxy {
      url: "PROXY_SERVER_ADDRESS"
      no_proxy: "BYPASS_LIST"
    }
    

    更改下列內容:

    • PROXY_SERVER_ADDRESS:Proxy 伺服器的 HTTP 位址。即使通訊埠編號與配置的預設通訊埠相同,也請一併加入。

    • BYPASS_LIST:以半形逗號分隔的清單,列出不應透過 Proxy 伺服器的 IP 位址、IP 位址範圍、主機名稱和網域名稱。

    範例:

    url: "http://my-proxy.example.local:80"
    no_proxy: "192.0.2.0/24,my-host.example.local,198.51.100.0"
    

    當 Google Distributed Cloud 向其中一個位址、主機或網域傳送要求時,要求會略過 Proxy 伺服器,直接傳送至目的地。

  1. 繼續執行「建立管理員叢集」中「Terraform」分頁的步驟,驗證 Terraform 設定檔和計畫,然後建立 bootstrap 叢集。

  2. 執行 gkectl register bootstrap 指令時,gkectl 會提示您輸入私人登錄檔的使用者名稱和密碼。

建立叢集時,系統會從私人登錄伺服器提取系統映像檔。

進階叢集和完整套裝組合的限制

Google Distributed Cloud 提供兩種套件:完整版和一般版。如要判斷管理員工作站上的套件,請查看管理員叢集設定檔中的 bundlePath 欄位。如果檔案名稱結尾是 -full,則完整的套件位於管理員工作站。如果檔案名稱結尾不是 -full,則管理員工作站上的是一般套件。

如果您使用 gkeadm 指令建立管理員工作站,該指令會建立管理員工作站 VM,並在其中加入完整套件,然後設定管理員叢集設定檔中的 bundlePath 欄位。

如果啟用進階叢集,則使用完整套件搭配私人登錄檔時會有限制,如下所示:

  • 1.31 版:私人登錄檔不支援完整套件。如要在進階叢集上使用私人登錄檔,請按照下列步驟操作:

    1. 將一般大小的套件下載到管理員工作站。
    2. 更新管理員叢集設定檔中 bundlePath 欄位的檔案名稱。
  • 1.32 版:支援使用完整套件,但 gkectl prepare 指令會從 gcr.io/gke-on-prem-release 提取映像檔,而非 tar 檔案。不過,這個指令會將映像檔推送至私人存放區,以便在建立或升級叢集時,從私人存放區提取系統映像檔。

一般叢集和進階叢集的差異

Advanced 叢集與標準叢集有幾項主要差異:

  • 使用私人登錄檔時,映像檔會顯示為從 gcr.io 提取,而非私人登錄檔的主機名稱。即使映像檔實際上是從私人登錄伺服器提取,這項變更仍符合預期。
  • 提取映像檔時,系統會使用連線至私人登錄檔的每部機器中 /etc/containerd/config.toml 檔案的憑證,而非叢集內的 private-registry-creds 密鑰。
  • 對於所有 gcr.io 映像檔,叢集會先嘗試從私人登錄檔提取。如果映像檔不在私人登錄檔中,系統會透過網際網路從 gcr.io 提取映像檔。如要停止這項備用機制,請設定 noProxy,或使用防火牆規則封鎖 gcr.io 流量。

如要確認映像檔是從正確的來源提取,請參閱「確認映像檔是從登錄伺服器提取」。

確認映像檔是從您的登錄伺服器提取

如何確認映像檔是從登錄伺服器提取,取決於是否啟用進階叢集。

  • 如果未啟用進階叢集,請執行下列指令:

    kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get pods \
        --all-namespaces -o jsonpath="{.items[*].spec['initContainers', 'containers'][*].image}"
    

    將 ADMIN_CLUSTER_KUBECONFIG 替換為管理員叢集的 kubeconfig 檔案路徑。

    這個指令的輸出內容會顯示叢集中的所有映像檔。您可以確認所有 Google Distributed Cloud 映像檔都來自您自己的登錄伺服器。

  • 如果已啟用進階叢集,請按照下列步驟操作:

    您可以檢查名為 config.toml 的檔案內容,判斷 containerd 是否從本機登錄檔提取映像檔,步驟如下:

    1. 登入節點,並檢查檔案 /etc/containerd/config.toml 的內容。
    2. 請檢查 config.toml 檔案的 plugins."io.containerd.grpc.v1.cri".registry.mirrors 欄位,確認 endpoint 欄位中是否列出您的登錄伺服器。

      以下內容摘錄自 config.toml 檔案範例。

      version = 2
      root = "/var/lib/containerd"
      state = "/run/containerd"
      ...
      [plugins."io.containerd.grpc.v1.cri".registry]
      [plugins."io.containerd.grpc.v1.cri".registry.configs]
      [plugins."io.containerd.grpc.v1.cri".registry.configs."gcr.io"]
      [plugins."io.containerd.grpc.v1.cri".registry.configs."privateregistry2.io".tls]
      ca_file = '/etc/containerd/certs.d/privateregistry2.io/ca.crt'
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors."gcr.io"]
      endpoint = ["http://privateregistry.io", "http://privateregistry2.io"]
      ...
      
    3. 如果 endpoint 欄位顯示您的登錄檔鏡像,表示節點是從登錄檔鏡像提取映像檔,而非 Artifact Registry。