Apache Spark 用サーバーレスのネットワーク構成

このドキュメントでは、 Google Cloud Apache Spark 向け Serverless のネットワーク構成の要件について説明します。

Virtual Private Cloud サブネットワークの要件

このドキュメントでは、 Google Cloud Apache Spark 向け Serverless バッチ ワークロードとインタラクティブ セッションの Virtual Private Cloud ネットワークの要件について説明します。

プライベート Google アクセス

Apache Spark 向け Serverless バッチ ワークロードとインタラクティブ セッションは、内部 IP アドレスのみを持つ VM と、サブネットで プライベート Google アクセス（PGA）が自動的に有効になっているリージョン サブネットで実行されます。

サブネットを指定しない場合、Apache Spark 向け Serverless は、バッチ ワークロードまたはセッションのリージョンにある default サブネットをバッチ ワークロードまたはセッションのサブネットとして選択します。

ワークロードで外部ネットワークまたはインターネット アクセスが必要な場合（たとえば、 PyTorch Hub や Hugging Face から ML モデルなどのリソースをダウンロードする場合）、Cloud NAT を設定して、VPC ネットワークで内部 IP を使用してアウトバウンド トラフィックを許可できます。

オープン サブネット接続

Apache Spark 向け Serverless バッチ ワークロードまたはインタラクティブ セッション用に選択したリージョンの VPC サブネットでは、サブネット内の VM インスタンス間のすべてのポートで内部通信を許可する必要があります。

1 つのワークロードの悪意のあるスクリプトが他のワークロードに影響を与えないように、 Apache Spark 向け Serverless は デフォルトのセキュリティ 対策をデプロイします。

次の Google Cloud CLI コマンドは、すべてのポートですべてのプロトコルを使用して VM 間の内部上り（内向き）通信を許可するサブネットにネットワーク ファイアウォールを接続します。

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

注:

  • SUBNET_RANGES: VM 間の内部上り（内向き）接続を許可する をご覧ください。ファイアウォール ルールを使用したプロジェクトの default VPC ネットワークがオープン サブネット接続の要件を満たしており、すべてのポート（tcp:0-65535、udp:0-65535、icmp protocols:ports など）で上り（内向き）通信が許可されています。default-allow-internalただし、このルールでは、ネットワーク上の任意の VM インスタンスによる上り（内向き）も許可されます。

自動的に作成されるリージョン システム ファイアウォール ポリシー

オープン サブネット接続の要件を満たすために、ランタイム バージョン 3.0 以降を使用する Apache Spark 向け Serverless バッチ ワークロードとインタラクティブ セッション では、バッチまたはセッションの VPC サブネットにリージョン システム ファイアウォール ポリシー dataproc-firewall-policy-[network-id]-region または dataproc-fw-[network-id]-region が自動的に作成されます。 このポリシーには、次の上り（内向き）ルールと下り（外向き）ルールが含まれています。

名前 目的 候補 方向 アクション 移行元と移行先 プロトコルとポート
dataproc-allow-internal-ingress-rule-[subnetworkId] 同じサブネット内の他の タグ付き Apache Spark 向け Serverless VM からのみ、必要なすべての内部通信を許可します。 4 INGRESS 許可
  • srcSecureTag: このサブネットのセキュアタグ値。
  • targetSecureTags:このサブネットのセキュアタグ値。
    		•  tcp:0-65535、udp:0-65535、icmp protocols:ports
    dataproc-allow-internal-egress-rule-[subnetworkId] Apache Spark 向けサーバーレス VM が、プライベート Google アクセスを使用して、pip や apt-get などのパッケージをダウンロードし、Google API にアクセスできるようにします。 5 EGRESS 許可
  • destIpRanges: 0.0.0.0/0。
  • targetSecureTags:このサブネットのセキュアタグ値。
    		•  tcp:0-65535、udp:0-65535、icmp protocols:ports

    注:

    Apache Spark 向け Serverless と VPC-SC ネットワーク

    VPC Service Controls を使用すると、ネットワーク管理者 は Google マネージド サービスのリソースにセキュリティ境界を定義し、これらのサービス間の通信を 制御できます。

    Apache Spark 向け Serverless で VPC-SC ネットワークを使用する場合は、次の戦略を検討してください。

    詳細については、VPC Service Controls - Apache Spark 向け Serverless をご覧ください。