"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Managed Service for Apache Spark のネットワーク構成

このドキュメントでは、Managed Service for Apache Spark のネットワーク構成の要件について説明します。

Virtual Private Cloud サブネットワークの要件

このドキュメントでは、Managed Service for Apache Spark バッチワークロードとインタラクティブセッションの Virtual Private Cloud ネットワーク要件について説明します。

プライベート Google アクセス

Managed Service for Apache Spark バッチワークロードとインタラクティブセッションは、内部 IP アドレスのみを持つ VM と、サブネットでプライベート Google アクセス（PGA）が自動的に有効になっているリージョンサブネットで実行されます。

サブネットを指定しない場合、Managed Service for Apache Spark は、バッチワークロードまたはセッションのリージョンにある default サブネットをバッチワークロードまたはセッションのサブネットとして選択します。

ワークロードで外部ネットワークまたはインターネットアクセスが必要な場合（たとえば、 PyTorch Hub や Hugging Face から ML モデルなどのリソースをダウンロードする場合）は、Cloud NAT を設定して、VPC ネットワークで内部 IP を使用してアウトバウンドトラフィックを許可できます。

オープンサブネット接続

Managed Service for Apache Spark バッチワークロードまたはインタラクティブセッション用に選択したリージョンの VPC サブネットでは、サブネット内の VM インスタンス間のすべてのポートで内部通信を許可する必要があります。

1 つのワークロードの悪意のあるスクリプトが他のワークロードに影響を与えないように、 Managed Service for Apache Spark はデフォルトのセキュリティ対策をデプロイします。

次の Google Cloud CLI コマンドは、すべてのポートですべてのプロトコルを使用して VM 間の内部上り（内向き）通信を許可するサブネットにネットワークファイアウォールを接続します。

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

注:

SUBNET_RANGES: VM 間の内部上り（内向き）接続を許可するをご覧ください。 default-allow-internal ファイアウォールルールを使用したプロジェクトの default VPC ネットワークがオープンサブネット接続の要件を満たしており、すべてのポート（tcp:0-65535、udp:0-65535、icmp protocols:ports など）で上り（内向き）通信が許可されています。ただし、このルールでは、ネットワーク上の任意の VM インスタンスによる上り（内向き）も許可されます。

ネットワークタグを使用して接続を制限します 。本番環境では、Spark ワークロードによって使用される IP アドレスにファイアウォールルールを制限することをおすすめします。

自動的に作成されるリージョンシステムファイアウォールポリシー

オープンサブネット接続の要件を満たすために、ランタイムバージョン 3.0 以降を使用する Managed Service for Apache Spark バッチワークロードとインタラクティブセッションでは、バッチまたはセッションの VPC サブネットにリージョンシステムファイアウォールポリシー dataproc-firewall-policy-[network-id]-region または dataproc-fw-[network-id]-region が自動的に作成されます。このポリシーには、次の上り（内向き）ルールと下り（外向き）ルールが含まれています。

名前	目的	候補	方向	アクション	移行元と移行先	プロトコルとポート
`dataproc-allow-internal-ingress-rule-[subnetworkId]`	同じサブネット内の他のタグ付き Managed Service for Apache Spark VM からのみ、必要な内部通信をすべて許可します。	4	INGRESS	許可	`srcSecureTag`: このサブネットのセキュアタグ値。 `targetSecureTags`:このサブネットのセキュアタグ値。	tcp:0-65535、udp:0-65535、icmp protocols:ports
`dataproc-allow-internal-egress-rule-[subnetworkId]`	Managed Service for Apache Spark VM がパッケージ（pip や apt-get など）をダウンロードし、プライベート Google アクセスを使用して Google API にアクセスできるようにします。	5	EGRESS	許可	`destIpRanges`: 0.0.0.0/0。 `targetSecureTags`:このサブネットのセキュアタグ値。	tcp:0-65535、udp:0-65535、icmp protocols:ports

注:

Managed Service for Apache Spark は、セキュアタグを保存するために、ユーザープロジェクトに関連付けられたテナントプロジェクトをプロビジョニングします。 Managed Service for Apache Spark は、テナントプロジェクトのサブネットのセキュアタグを作成し、Managed Service for Apache Spark VM にアタッチします。これにより、作成されたシステムファイアウォールポリシーは Managed Service for Apache Spark VM にのみ適用されます。
自動的に作成されるシステムファイアウォールポリシーは、共有 VPC ではサポートされていません。

Managed Service for Apache Spark と VPC-SC ネットワーク

VPC Service Controls を使用すると、ネットワーク管理者は Google マネージドサービスのリソースにセキュリティ境界を定義し、これらのサービス間の通信を制御できます。

Managed Service for Apache Spark で VPC-SC ネットワークを使用する場合は、次の戦略を検討してください。

プライベート接続を設定する。
カスタムコンテナイメージを作成し、VPC-SC 境界の外部に依存関係をプリインストールし、カスタムコンテナイメージを使用する Spark バッチワークロードを送信します。

詳細については、VPC Service Controls - Managed Service for Apache Spark をご覧ください。