掛接網路檔案系統共用區

您可以設定 Gemini Enterprise Agent Platform 無伺服器訓練工作，將網路檔案系統 (NFS) 共用區掛接到程式碼執行的容器。這樣一來，工作就能存取遠端檔案，就像存取本機檔案一樣，進而實現高輸送量和低延遲。

本指南說明執行無伺服器訓練工作時，如何掛接網路檔案系統共用。

事前準備

  1. 在虛擬私有雲 (VPC) 中建立 NFS 共用項目。共用項目必須可在不驗證的情況下存取。

    您可以將第一方代管的 NFS 服務 (例如 Filestore 或 Google Cloud NetApp Volumes) 做為 NFS 共用區。如果您使用 Filestore，並打算在下一個步驟中透過虛擬私有雲對等互連使用 Gemini Enterprise Agent Platform，請在建立執行個體時選取「私人服務存取」做為連線模式。如需範例，請參閱 Filestore 說明文件中的「建立執行個體」。

  2. 如要將 Gemini Enterprise Agent Platform 連線至代管 NFS 共用的虛擬私有雲，請按照「使用 Gemini Enterprise Agent Platform 的 Private Service Connect 介面」(建議) 或「設定虛擬私有雲網路對等互連」中的操作說明進行。

無伺服器訓練的網路檔案系統資訊

建立會掛接 NFS 共用區的無伺服器訓練工作時，您必須指定下列項目：

  • 供 Vertex AI 存取的網路名稱。指定網路名稱的方式會因無伺服器訓練工作類型而異。詳情請參閱「執行無伺服器訓練」。

  • WorkerPoolSpec 欄位中的 NFS 設定。 包含下列欄位：

    欄位 說明
    nfsMounts.server NFS 伺服器的 IP 位址。這必須是虛擬私有雲中的私人位址。
    nfsMounts.path NFS 共用路徑。這必須是以 / 開頭的絕對路徑。
    nfsMounts.mountPoint 本機掛接點。這必須是有效的 UNIX 目錄名稱。舉例來說，如果本機掛接點為 sourceData，請從訓練 VM 執行個體指定 /mnt/nfs/sourceData 路徑。

    詳情請參閱「指定運算資源的位置」。

範例：使用 gcloud CLI 建立自訂工作

  1. 按照「為預先建立的容器建構 Python 訓練應用程式」中的步驟，建構要在 Vertex AI 上執行的訓練應用程式。

  2. 建立名為 config.yaml 的檔案，說明訓練工作的 PSA 或 Private Service Connect 介面設定裝載設定。請使用下列其中一種格式：

Private Service Connect 介面

  1. 如要使用 Private Service Connect 介面，請按照下列步驟操作：

    pscInterfaceConfig:
     network_attachment: NETWORK_ATTACHMENT_NAME
workerPoolSpecs:
    - machineSpec:
        machineType: MACHINE_TYPE
    replicaCount: 1
    pythonPackageSpec:
       executorImageUri: PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI
       packageUris:
       -  PYTHON_PACKAGE_URIS
       pythonModule: PYTHON_MODULE
    nfsMounts:
      - server: NFS_SERVER_IP
      path: NFS_SHARE_NAME
      mountPoint: LOCAL_FOLDER

    更改下列內容：

    • NETWORK_ATTACHMENT_NAME：網路附件的名稱。

    • MACHINE_TYPE：虛擬機器類型 ID。

    • PYTHON_PACKAGE_EXECUTOR_IMAGE_URI 或 PRE_BUILT_CONTAINER_IMAGE_URI： Artifact Registry 中容器映像檔的 URI，用於執行提供的 Python 套件。Vertex AI 提供各種預先安裝套件的執行器映像檔，可滿足使用者的各種用途。

    • PYTHON_PACKAGE_URIS：以逗號分隔的清單，指定構成訓練程式及其依附元件套件的 Python 套件檔案。最多只能有 100 個套件 URI。

    • PYTHON_MODULE：安裝套件後要執行的 Python 模組名稱。

    • NFS_SERVER_IP：NFS 伺服器的 IP 位址。

    • NFS_SHARE_NAME：NFS 共用路徑，這是以 / 開頭的絕對路徑。

    • LOCAL_FOLDER：本機掛接點 (UNIX 目錄名稱)。

    確認網路名稱格式正確，且 NFS 共用資料夾位於指定網路中。

  2. 建立自訂工作，並將 config.yaml 檔案傳遞至 --config 參數。

    gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --config=config.yaml

    更改下列內容：

    • LOCATION：指定要建立工作的區域。

    • JOB_NAME：自訂工作的名稱。

虛擬私有雲對等互連

  1. 如要讓作業使用作業中的虛擬私有雲對等互連/PSA，請使用虛擬私有雲對等互連。

    network: projects/PROJECT_NUMBER/global/networks/NETWORK_NAME
workerPoolSpecs:
    - machineSpec:
        machineType: MACHINE_TYPE
      replicaCount: 1
      pythonPackageSpec:
        executorImageUri: PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or
              PRE_BUILT_CONTAINER_IMAGE_URI
        packageUris:
          -  PYTHON_PACKAGE_URIS
        pythonModule: PYTHON_MODULE
      nfsMounts:
        - server: NFS_SERVER_IP
          path: NFS_SHARE_NAME
          mountPoint: LOCAL_FOLDER

    更改下列內容：

    • PROJECT_NUMBER： Google Cloud 專案的專案 ID。

    • NETWORK_NAME：私人或 Shared VPC 的名稱。

    • MACHINE_TYPE：虛擬機器類型 ID。

    • PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI：Artifact Registry 中容器映像檔的 URI，用於執行提供的 Python 套件。Vertex AI 提供多種預先安裝套件的執行器映像檔，可滿足使用者的各種用途。

    • PYTHON_PACKAGE_URIS：以逗號分隔的清單，指定構成訓練程式及其依附元件套件的 Python 套件檔案。最多只能有 100 個套件 URI。

    • PYTHON_MODULE：安裝套件後要執行的 Python 模組名稱。

    • NFS_SERVER_IP：NFS 伺服器的 IP 位址。

    • NFS_SHARE_NAME：NFS 共用路徑，這是以 / 開頭的絕對路徑。

    • LOCAL_FOLDER：本機掛接點 (UNIX 目錄名稱)。

    確認網路名稱格式正確，且 NFS 共用資料夾位於指定網路中。

  2. 建立自訂工作，並將 config.yaml 檔案傳遞至 --config 參數。

    gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --config=config.yaml

更改下列內容：

  • LOCATION：指定要建立工作的區域。

  • JOB_NAME：自訂工作的名稱。

限制

  • 您必須使用 VPC 內部的 IP 位址掛接 NFS 共用項目，不得使用公開網址。

  • 訓練工作會掛接 NFS 共用項目，但不需要驗證，如果需要使用者名稱和密碼，就會失敗。

    如要保護資料，請設定 NFS 共用權限。如果您使用 Filestore，請參閱 Filestore 說明文件中的存取控管。

  • 您無法同時執行兩項訓練工作，並從不同的虛擬私有雲網路掛接 NFS 共用磁碟。這是因為網路對等互連限制。