Dataproc Metastore ネットワーキングの概要

このドキュメントでは、Dataproc Metastore サービスの設定に使用できるネットワーキング設定の概要について説明します。

ネットワーキングのトピックに関するクイック リファレンス

ネットワークの設定 メモ
デフォルトのネットワーク設定
VPC サブネットワーク デフォルトでは、Thrift エンドポイント プロトコルを使用する Dataproc Metastore サービスは、Private Service Connect を使用する VPC サブネットワークを使用します。
Virtual Private Cloud（VPC）ネットワーク 必要に応じて、Thrift エンドポイント プロトコルを使用する Dataproc Metastore サービスに VPC ネットワークを使用することもできます。これは、Private Service Connect で VPC サブネットワークを使用する代わりに用いられる方法です。

VPC ネットワークが作成されると、Dataproc Metastore はサービスの VPC ネットワーク ピアリング も自動的に構成します。
その他のネットワーク設定
共有 VPC ネットワーク 必要に応じて、共有 VPC ネットワーク内に Dataproc Metastore サービスを作成することもできます。
オンプレミス ネットワーキング Cloud VPN または Cloud Interconnect を使用して、オンプレミス環境で Dataproc Metastore サービスに接続できます。
VPC Service Controls 必要に応じて、VPC Service Controls を使用して Dataproc Metastore サービスを作成することもできます。
ファイアウォール ルール デフォルト以外の環境または非公開のセキュリティ フットプリントが確立された環境では、独自のファイアウォール ルールの作成が必要になる場合があります。

デフォルトのネットワーキング設定

次のセクションでは、Dataproc Metastore が Thrift エンドポイント プロトコル（Private Service Connect を使用する VPC サブネットワーク）に使用するデフォルトのネットワーク設定について説明します。

VPC サブネットワーク

Thrift エンドポイント プロトコルを使用する Dataproc Metastore サービスの場合、Private Service Connect（PSC）がデフォルトのネットワーキング オプションです。PSC を使用すると、VPC ネットワーク間で Dataproc Metastore メタデータへのプライベート接続を設定できます。PSC を使用すると、VPC ピアリングなしでサービスを作成できます。これにより、VPC ネットワークを離れたり、外部 IP アドレスを使用することなく、独自の内部 IP アドレスを使用して Dataproc Metastore にアクセスできます。

サービスを作成するときに Private Service Connect を設定するには、Dataproc Metastore で Private Service Connect を使用するをご覧ください。

VPC ネットワーク

必要に応じて、Thrift エンドポイント プロトコルを使用する Dataproc Metastore サービスに VPC ネットワークを使用することもできます。これは、Private Service Connect で VPC サブネットワークを使用する代わりに用いられる方法です。VPC ネットワークは、Google の本番環境ネットワーク内に仮想的に実装された物理ネットワークです。Dataproc Metastore を作成すると、サービスによって VPC ネットワークが自動的に作成されます。

サービスを作成するときに設定を変更しない場合、Dataproc Metastore は default VPC ネットワークを使用します。 この設定では、Dataproc Metastore サービスで使用する VPC ネットワークは、同じ Google Cloud プロジェクトまたは別のプロジェクトに属することができます。この設定を使用すると、単一の VPC ネットワークでサービスを公開したり、（サブネットワークを使用して）複数の VPC ネットワークからサービスにアクセスできるようになります。

Dataproc Metastore では、各 VPC ネットワークのリージョンごとに以下が必要です。

VPC ネットワーク ピアリング

VPC ネットワークが作成されると、Dataproc Metastore はサービスの VPC ネットワーク ピアリングも自動的に構成します。VPC は、Dataproc Metastore のエンドポイント プロトコルへのアクセスをサービスに提供します。サービスを作成すると、 Google Cloudコンソールの [VPC ネットワーク ピアリング] ページで基盤となる VPC ネットワーク ピアリングを確認できます。

VPC ネットワーク ピアリングは推移的ではありません。 つまり、互いに通信できるのは直接ピアリングされたネットワークだけです。たとえば、次のシナリオについて考えてみましょう。

次のネットワーク（VPC ネットワーク N1、N2、N3）があるとします。

  • VPC ネットワーク N1 が N2 と N3 にペア設定されている。
  • VPC ネットワーク N2 と N3 は直接接続されていません。

これが意味すること

つまり、VPC ネットワーク ピアリングを介して、VPC ネットワーク N2 は VPC ネットワーク N3 と通信できません。これは、Dataproc Metastore 接続に次のような影響を与えます。

  • Dataproc Metastore プロジェクト ネットワークとピアリングしているネットワーク内の仮想マシンは、Dataproc Metastore に到達できません。
  • Dataproc Metastore サービスにアクセスできるのは、VPC ネットワーク上のホストに限られます。

VPC ネットワーク ピアリングのセキュリティに関する考慮事項

  • VPC ネットワーク ピアリングを介したトラフィックは、特定のレベルの暗号化により実現されます。詳細については、Google Cloud 仮想ネットワークの暗号化と認証をご覧ください。

  • 内部 IP アドレスを持つサービスごとに 1 つの VPC ネットワークを作成すると、すべてのサービスを default VPC ネットワークに接続するよりも適切にネットワークが分離されます。

IP アドレス

ネットワークに接続してメタデータを保護するために、Dataproc Metastore サービスは内部 IP アドレスのみを使用します。つまり、パブリック IP アドレスは公開されず、ネットワーキングの目的で使用できます。

内部 IP アドレスを使用すると、Dataproc Metastore は、指定された VPC（VPC）ネットワークまたはオンプレミス環境に存在する仮想マシン（VM）にのみ接続できます。

Dataproc Metastore サービスへの内部 IP アドレスを使用した接続には、RFC 1918 アドレス範囲が使用されます。これらの範囲を使用すると、内部 IP アドレスを使用した Dataproc Metastore サービスへの接続で RFC 1918 アドレス範囲が使用されます。これらの範囲を使用すると、Dataproc Metastore は各リージョンのアドレス空間から /17 範囲と /20 範囲を割り振ります。たとえば、Dataproc Metastore サービスを 2 つのリージョンに配置するには、割り振られる IP アドレス範囲に次のものが含まれている必要があります。

  • サイズ /17 の未使用のアドレス ブロックが 2 つ以上。
  • サイズ /20 の未使用のアドレス ブロックが少なくとも 2 つある。

RFC 1918 アドレス ブロックが見つからない場合、Dataproc Metastore は RFC 1918 以外の適切なアドレス ブロックを代わりに検出します。なお、RFC 1918 以外のブロックの割り振りでは、それらのアドレスが VPC ネットワークで使用されているか、オンプレミスで使用されているかは考慮されません。

その他のネットワーク設定

別のネットワーキング設定が必要な場合は、Dataproc Metastore サービスで次のオプションを使用できます。

共有 VPC ネットワーク

Dataproc Metastore サービスは、共有 VPC ネットワークに作成できます。共有 VPC を使用すると、複数のプロジェクトの Dataproc Metastore リソースを共通の VPC（VPC）ネットワークに接続できます。

サービスの作成時に共有 VPC を設定するには、Dataproc Metastore サービスを作成するをご覧ください。

オンプレミス ネットワーキング

Cloud VPN または Cloud Interconnect を使用して、オンプレミス環境で Dataproc Metastore サービスに接続できます。

VPC Service Controls

VPC Service Controls を使用すると、データの引き出しのリスクを軽減できます。VPC Service Controls を使用すると、Dataproc Metastore サービスの周囲に境界を作成できます。VPC Service Controls により、境界内部のリソースへのアクセスが制限されます。境界内のクライアントとリソースだけが相互に通信可能です。

Dataproc Metastore で VPC Service Controls を使用するには、Dataproc Metastore を使用した VPC Service Controls をご覧ください。また、 VPC Service Controls を使用する場合の Dataproc Metastore の制限事項もご覧ください。

Dataproc Metastore のファイアウォール ルール

デフォルト以外の環境または非公開のセキュリティ フットプリントが確立された環境では、独自のファイアウォール ルールの作成が必要になる場合があります。その場合は、Dataproc Metastore サービスの IP アドレス範囲またはポートをブロックするファイアウォール ルールを作成しないでください。

Dataproc Metastore サービスを作成する際は、サービスのデフォルトのネットワークをそのまま使用できます。デフォルトのネットワークでは、VM に対して完全な内部 IP ネットワーク アクセスが保証されます。

ファイアウォール ルールの詳細については、VPC ファイアウォール ルールと VPC ファイアウォール ルールの使用をご覧ください。

カスタム ネットワークのファイアウォール ルールを作成する

カスタム ネットワークを使用するときは、ファイアウォール ルールで Dataproc Metastore エンドポイント との間のトラフィックが許可されていることを確認してください。Dataproc Metastore トラフィックを明示的に許可するには、次の gcloud コマンドを実行します。

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

DPMS_NET_PREFIX の場合は、/17 サブネット マスクを Dataproc Metastore サービス IP に適用します。 Dataproc Metastore の IP アドレス情報は、サービスの詳細ページの endpointUri 構成で確認できます。

考慮事項

ネットワークには暗黙の下り（外向き）許可ルールがあり、通常はネットワークから Dataproc Metastore へのアクセスは許可されます。下り（外向き）拒否ルールを作成して暗黙の下り（外向き）許可ルールをオーバーライドする場合は、それよりも優先度が高い下り（外向き）許可ルールを作成して Dataproc Metastore IP への下り（外向き）を許可する必要があります。

Kerberos などの一部の機能では、プロジェクト ネットワークのホストへの接続を開始するために、Dataproc Metastore が必要になります。すべてのネットワークには、このような接続をブロックしてこれらの機能が機能しないようにする、暗黙の上り（内向き）拒否ルールがあります。暗黙の上り（内向き）拒否ルールは、このような接続をブロックしてこれらの機能が機能しないようにします。Dataproc Metastore IP を含む /17 IP ブロックからのすべてのポートで TCP および UDP 上り（内向き）を許可するファイアウォール ルールを作成する必要があります。

カスタム ルーティング

カスタムルートは、プライベートで使用されるパブリック IP アドレス（PUPI）を使用するサブネット用です。カスタムルートを使用すると、VPC ネットワークをピア ネットワークに接続できます。 カスタムルートは、VPC ネットワークがルートによってインポートされ、ピア ネットワークによって明示的にエクスポートされた場合にのみ受信できます。カスタムルートは静的または動的にできます。

ピアリングされる VPC ネットワークとカスタムルートを共有すると、そのネットワークから直接ルートを学習できます。つまり、ピア ネットワークのカスタムルートが更新されると、VPC ネットワークは自動的にカスタムルートを学習して実装します。追加操作は必要ありません。

カスタム ルーティングの詳細については、ネットワーク構成をご覧ください。

Dataproc Metastore ネットワーキングの例

次の例では、Google がお客様の VPC ネットワークに 10.100.0.0/17 と 10.200.0.0/20 のアドレス範囲を Google サービス用に割り振り、ピアリングされた VPC ネットワーク内のアドレス範囲を使用します。

ここに代替テキストを挿入
図 1. Dataproc Metastore VPC ネットワーク構成
alt = "Google サービスと顧客の VPC ネットワークを含む Dataproc Metastore VPC ネットワーク構成を示す図。IP アドレスの割り当てとピアリングを示しています。">
図 1. Dataproc Metastore VPC ネットワーク構成

ネットワーキングの例の説明:

  • VPC ピアリングの Google サービス側では、Google がお客様用のプロジェクトを作成します。このプロジェクトは分離されていて他のお客様と共有されることはなく、費用はお客様がプロビジョニングしたリソースに対してのみ発生します。
  • リージョンで最初の Dataproc Metastore サービスを作成すると、Dataproc Metastore は、そのリージョンとネットワークで今後使用するすべての Dataproc Metastore サービスの使用に対して、お客様のネットワークに /17 範囲と /20 範囲を割り当てます。Dataproc Metastore は、これらの範囲をさらに細分化して、サービス プロデューサー プロジェクトにサブネットワークとアドレス範囲を作成します。
  • お客様のネットワーク内の VM サービスは、Google Cloud サービスがサポートしていれば、任意のリージョンの Dataproc Metastore サービス リソースにアクセスできます。サービスによっては、リージョン間通信をサポートしていないものもあります。 Google Cloud
  • VM インスタンスが異なるリージョンのリソースと通信する場合、リージョン間トラフィックの下りのコストが引き続き適用されます。
  • Google は、Dataproc Metastore サービスに IP アドレス 10.100.0.100 を割り振ります。お客様の VPC ネットワークで、宛先が 10.100.0.100 のリクエストは、VPC ピアリングを介してサービス プロデューサーのネットワークに転送されます。サービス ネットワークに到達すると、サービス ネットワークにはリクエストを正しいリソースに送るルートが存在します。
  • VPC ネットワーク間のトラフィックは、公共のインターネットを経由せず、Google のネットワーク内を内部的に転送されます。

次のステップ