Serverless for Apache Spark 網路設定

本文說明 Google Cloud Serverless for Apache Spark 網路設定的必要條件。

虛擬私有雲子網路需求

本文說明Google Cloud Serverless for Apache Spark 批次工作負載和互動式工作階段的虛擬私有雲網路需求。

私人 Google 存取權

Serverless for Apache Spark 批次工作負載和互動式工作階段只會在具有內部 IP 位址的 VM 上執行，並在子網路上自動啟用私人 Google 存取權 (PGA)。

如未指定子網路，Serverless for Apache Spark 會在批次工作負載或工作階段區域中選取 default 子網路，做為批次工作負載或工作階段的子網路。

如果工作負載需要外部網路或網際網路存取權 (例如從 PyTorch Hub 或 Hugging Face 下載 ML 模型等資源)，您可以設定 Cloud NAT，允許使用虛擬私有雲網路的內部 IP 傳送輸出流量。

開放子網路連線

為 Serverless for Apache Spark 批次工作負載或互動式工作階段選取的區域，其虛擬私有雲子網路必須允許 VM 執行個體之間的所有連接埠進行內部子網路通訊。

下列 Google Cloud CLI 指令會將網路防火牆附加至子網路，允許 VM 之間透過所有通訊協定和所有連接埠進行內部傳入通訊：

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

注意：

  • SUBNET_RANGES: 請參閱「允許 VM 之間的內部連入連線」。專案中的 default 虛擬私有雲網路具有防火牆規則，允許所有連接埠 (tcp:0-65535、udp:0-65535 和 icmp protocols:ports) 的輸入通訊，default-allow-internal符合開放子網路連線需求。不過，這項規則也允許網路上的任何 VM 執行個體傳入流量。

Serverless for Apache Spark 和 VPC-SC 網路

網路管理員可以使用 VPC Service Controls，定義 Google 代管服務資源的安全範圍，藉此控管對這些服務和這些服務之間的通訊。

搭配使用虛擬私有雲安全防護網路和 Serverless for Apache Spark 時，請注意下列策略：

詳情請參閱「VPC Service Controls - Serverless for Apache Spark」。