このドキュメントでは、Google Kubernetes Engine(GKE)Granular NAT を構成して、特定の Kubernetes Namespace に専用の下り(外向き)IP アドレスを割り当てる方法について説明します。
Granular NAT を使用すると、Public NAT に特定の送信元外部 IP アドレスを構成できます。また、Cloud NAT ゲートウェイを利用して、Private NAT に特定の送信元内部 IP アドレスを構成することもできます。
Granular NAT を構成するには、次の 2 つのクラスタ スコープのカスタム リソースを使用してルーティング ポリシーを宣言します。
- CloudNATGateway: このリソースを使用して、クラスタに新しいパブリックまたはプライベート Cloud NAT ゲートウェイをプロビジョニングするか、既存の Cloud NAT ゲートウェイを使用するようにクラスタを構成します。Cloud NAT ゲートウェイは、クラスタのリージョンと VPC ネットワークに配置する必要があります。
- TrafficSelector: このリソースを使用して、ソースの名前空間(
namespaceSelector)と宛先 CIDR をターゲットの CloudNATGateway にマッピングして、下り(外向き)ルーティング ルールを定義します。
始める前に
GKE Granular NAT を構成する前に、次の前提条件を満たしてください。
- クラスタの要件を確認する: VPC ネイティブ クラスタが GKE バージョン 1.37.1-gke.2611000 以降を実行し、GKE Dataplane V2 が有効になっていることを確認します。GKE Granular NAT は、Autopilot クラスタと Standard クラスタの両方、およびリージョン クラスタとゾーンクラスタの両方でサポートされています。
- IAM 権限を確認する:
- カスタム リソースを適用するクラスタに Kubernetes Engine 管理者(
roles/container.admin)ロールがあることを確認します。 - 共有 VPC を使用している場合: ホスト プロジェクト管理者は、サービス プロジェクトの GKE サービス エージェント(
service-SERVICE_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com)に、ホスト プロジェクトの IAM ポリシーの Compute ネットワーク管理者(roles/compute.networkAdmin)ロールを付与する必要があります。このロールにより、GKE は共有 VPC ネットワーク内の基盤となる Cloud NAT ゲートウェイ、Cloud Router、IP アドレスを作成して管理できます。スタンドアロン VPC ネットワークでは、この手動付与は必要ありません。
- カスタム リソースを適用するクラスタに Kubernetes Engine 管理者(
- 必要に応じて、リンクローカル IP アドレスを含むようにファイアウォール ルールを更新します。送信パケットがノードから送信される前に、GKE Granular NAT は送信元 IP アドレスを
169.254.32.0/20範囲のリンクローカル アドレスに変換します。組織で厳格なカスタム ファイアウォール ルールを適用している場合は、ルールがこの動作に対応していることを確認します。- 下り(外向き)ルール: ターゲットがクラスタノードである下り(外向き)許可ルールで、source パラメータを指定しないでください。送信元パラメータを指定する場合は、リンクローカル アドレス範囲(
169.254.32.0/20)を含める必要があります。 - 上り(内向き)ルール: ターゲットがクラスタノードである上り(内向き)許可ルールで、destination パラメータを指定しないでください。宛先パラメータを指定する場合は、リンクローカル アドレス範囲(
169.254.32.0/20)を含める必要があります。
- 下り(外向き)ルール: ターゲットがクラスタノードである下り(外向き)許可ルールで、source パラメータを指定しないでください。送信元パラメータを指定する場合は、リンクローカル アドレス範囲(
- VPC 内トラフィック: TrafficSelector リソースに、クラスタの VPC ネットワーク内のサブネット範囲の宛先 CIDR や、VPC ネットワーク ピアリングを使用して接続された別の VPC ネットワークの宛先 CIDR が含まれていないことを確認します。Private NAT は、NCC スポークの接続またはハイブリッド NAT を使用した接続のみを提供します。
- VPC ルートの要件: Public NAT で処理される CIDR ごとに、クラスタの VPC ネットワークに、宛先範囲に CIDR が含まれ、ネクストホップがデフォルトのインターネット ゲートウェイである静的ルートが含まれている必要があります。
制限事項
- Namespace レベルの粒度: GKE Granular NAT ポリシーは、Kubernetes Namespace レベルでのみ適用できます。プレビュー リリースでは、Namespace 内のラベルセレクタを使用して個々の Pod またはサービス アカウントを選択することはできません。
- ゲートウェイ ルールの容量: 各 Cloud NAT ゲートウェイは最大 128 個の NAT ルールをサポートします。これにより、ゲートウェイごとに最大 128 個の異なる GKE Namespace のポリシーを構成できます。クラスタで 128 を超える Namespace に下り(外向き)ポリシーが必要な場合は、追加のゲートウェイをプロビジョニングする必要があります。
- Cloud NAT の制限事項: 標準の Cloud NAT の制限事項を確認します。これらの制限事項は、Granular NAT の下り(外向き)トラフィックにも適用されます。詳細については、Public NAT と Private NAT の制限事項をご覧ください。
クラスタで GKE Granular NAT を有効にする
Granular NAT は、新しいクラスタを作成するときに有効にすることも、既存のクラスタを更新することもできます。
新しいクラスタを作成する
Autopilot
Granular NAT と GKE Dataplane V2 を有効にして新しいクラスタを作成するには、次のコマンドを実行します。
gcloud container clusters create-auto "CLUSTER_NAME" \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-granular-nat \
--network-suite=STANDARD
次のように置き換えます。
CLUSTER_NAME: 新しいクラスタの名前。LOCATION_FLAG: リージョン クラスタの場合は--regionを指定します。LOCATION: クラスタの Compute Engine のリージョンまたはゾーン(us-central1やus-central1-aなど)。VPC_NETWORK_NAME: VPC ネットワークの名前。
標準
Granular NAT と GKE Dataplane V2 を有効にして新しいクラスタを作成するには、次のコマンドを実行します。
gcloud container clusters create <var>CLUSTER_NAME</var> \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-dataplane-v2 \
--enable-granular-nat \
--network-suite=STANDARD
次のように置き換えます。
CLUSTER_NAME: 新しいクラスタの名前。LOCATION_FLAG: リージョン クラスタの場合は--region、ゾーンクラスタの場合は--zoneを指定します。LOCATION: クラスタの Compute Engine のリージョンまたはゾーン(us-central1やus-central1-aなど)。VPC_NETWORK_NAME: VPC ネットワークの名前。
既存のクラスタを更新する
Autopilot
既存のクラスタで Granular NAT を有効にするには、次のコマンドを実行します。
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat
次のように置き換えます。
CLUSTER_NAME: 既存のクラスタの名前。LOCATION_FLAG: 既存のクラスタがリージョンの場合は--region、ゾーンの場合は--zoneを指定します。LOCATION: クラスタが配置されている Compute Engine のリージョンまたはゾーン。
標準
既存の Standard クラスタで Granular NAT を有効にするには、次のコマンドを実行します。
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat \
--network-suite=STANDARD
次のように置き換えます。
CLUSTER_NAME: 既存のクラスタの名前。LOCATION_FLAG: 既存のクラスタがリージョンの場合は--region、ゾーンの場合は--zoneを指定します。LOCATION: クラスタが配置されている Compute Engine のリージョンまたはゾーン。
静的外部下り(外向き)IP アドレスを使用してパブリック Granular NAT を構成する
個別の Namespace のワークロードが、厳格な IP アドレス許可リストを適用するパートナー API や Payment Gateway などの外部のサードパーティ サービスに、個別の静的パブリック IP アドレスを提示する必要がある場合は、パブリック Granular NAT を構成します。
Cloud NAT ゲートウェイ用のリージョン Cloud Router を作成します。GKE は Cloud Router を自動的に作成しません。
gcloud compute routers create ROUTER_NAME \ --network=VPC_NETWORK_NAME \ --region=REGION次のように置き換えます。
ROUTER_NAME: 新しいリージョン Cloud Router の名前。VPC_NETWORK_NAME: VPC ネットワークの名前。REGION: クラスタが配置されている Compute Engine リージョン(例:us-central1)。
GKE クラスタと同じリージョンに静的外部 IP アドレスを予約して、Namespace に専用の外部下り(外向き)IP アドレスを割り当て、ゲートウェイにデフォルトの IP アドレスを割り当てます。
gcloud compute addresses create nat-ip-default \ --region=REGION gcloud compute addresses create nat-ip-1 \ --region=REGION gcloud compute addresses create nat-ip-2 \ --region=REGIONREGIONは、クラスタが配置されている Compute Engine リージョン(us-central1など)に置き換えます。次のマニフェストを
cloud-nat-public.yamlとして保存し、マネージド リージョン Cloud NAT ゲートウェイを定義します。kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-managed spec: type: Public cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME publicNATOptions: defaultNatExternalIPs: - name: nat-ip-default connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200 tcpTransitoryTimeoutSeconds: 30 tcpTimeWaitSeconds: 120 icmpTimeoutSeconds: 30 portOptions: minPortsPerVM: 32 maxPortsPerVM: 65536 logOptions: enable: true filter: ALL次のように置き換えます。
PROJECT_ID: 実際の Google Cloud プロジェクト ID。REGION: クラスタと Cloud Router が配置されている Compute Engine リージョン。ROUTER_NAME: Cloud Router の名前。
次のマニフェストを
traffic-selectors-public.yamlとして保存し、各ターゲット Namespace を指定された Public NAT IP アドレスにマッピングします。kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 0.0.0.0/0 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 0.0.0.0/0これらのマニフェストの内容は次のとおりです。
cloud.google.com/cloud-natアノテーションは、一致した Namespace の下り(外向き)トラフィックを変換する予約済みの静的外部 IP アドレスを指定します。namespaceSelector.matchLabelsフィールドは、ターゲットの Kubernetes Namespace に適用されたラベルと一致します。0.0.0.0/0を含むegress.to.ipBlock.cidrsリストは、すべての送信インターネット トラフィックを指定された Cloud NAT ゲートウェイ経由で転送します。
両方のマニフェストをクラスタに適用します。
kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
GKE は、Cloud NAT ゲートウェイを自動的にプロビジョニングし、Namespace ワークロード セレクタに基づいて変換ルールを構成し、予約済みの外部 IP アドレスを割り当てます。
VPC または NCC 接続用にプライベート Granular Cloud NAT を構成する
プライベート Granular Cloud NAT を使用して、オンプレミス ネットワークまたは NCC ハブ上の他の VPC スポークに接続するワークロードに特定の内部 IP アドレス範囲を割り当てます。
VPC ネットワークに
PRIVATE_NAT目的の専用サブネットを作成します。gcloud compute networks subnets create private-nat-subnet-1 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.0.0/29 \ --purpose=PRIVATE_NAT gcloud compute networks subnets create private-nat-subnet-2 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.1.0/29 \ --purpose=PRIVATE_NAT次のように置き換えます。
REGION: クラスタが配置されている Compute Engine リージョン。VPC_NETWORK_NAME: VPC ネットワークの名前。
次のマニフェストを
cloud-nat-private.yamlとして保存して、限定公開の CloudNATGateway リソースを作成します。kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-private-managed spec: type: Private privateNATOptions: # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200次のように置き換えます。
PROJECT_ID: 実際の Google Cloud プロジェクト ID。HUB_NAME: 省略可。Network Connectivity Center ハブの名前。これは、Network Connectivity Center 経由でトラフィックをルーティングする場合にのみ指定します。Network Connectivity Center を使用していない場合は、privateNATOptionsブロック全体を省略します。ROUTER_NAME: Cloud Router の名前。
次のマニフェストを
traffic-selectors-private.yamlとして保存し、Namespace をプライベート NAT ゲートウェイにマッピングするプライベート TrafficSelector リソースを作成します。kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 10.200.0.0/24 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 10.200.1.0/24Private NAT 構成を適用します。
kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
既存の Cloud NAT ゲートウェイを使用する
同じ VPC ネットワークで複数の GKE クラスタを管理している場合や、セカンダリ Pod IP アドレス範囲を共有するクラスタがある場合は、同じリージョンと VPC ネットワーク内の既存の Cloud NAT ゲートウェイを使用するように Granular NAT を構成できます。この構成により、個別のクラスタにまたがるワークロードが、外部エンドポイントに接続するときに、送信元外部 IP アドレスの統合プールを提示できます。
リージョン内の既存の Cloud NAT ゲートウェイを一覧表示して、既存のゲートウェイの名前、関連付けられた Cloud Router、VPC ネットワークを特定します。リージョンと VPC ネットワークは、GKE クラスタで使用されているものと一致する必要があります。
gcloud beta compute routers nats list \ --router=ROUTER_NAME \ --region=REGION \ --format=yaml次のように置き換えます。
ROUTER_NAME: 既存のゲートウェイを管理する Cloud Router の名前。REGION: クラスタと既存のゲートウェイが配置されている Compute Engine リージョン(例:us-central1)。
次のマニフェストを
cloud-nat-shared.yamlとして保存し、クラスタを既存のゲートウェイにリンクします。kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-shared spec: type: Public # type is a required field even for shared gateways. Can be either Public or Private. gatewayName: SHARED_NAT_GATEWAY_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME次のように置き換えます。
SHARED_NAT_GATEWAY_NAME: 既存の Cloud NAT ゲートウェイの名前。PROJECT_ID: 実際の Google Cloud プロジェクト ID。REGION: クラスタと既存のゲートウェイが配置されている Compute Engine リージョン。ROUTER_NAME: 既存のゲートウェイを管理するリージョン Cloud Router の名前。
次のマニフェストを
traffic-selector-shared.yamlとして保存し、共有ゲートウェイを介して Namespace からのアウトバウンド トラフィックをルーティングします。kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-shared-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-shared subject: pods: namespaceSelector: matchLabels: app: NAMESPACE_APP_LABEL egress: to: ipBlock: cidrs: - 0.0.0.0/0次のように置き換えます。
NAT_IP_NAME: 共有ゲートウェイに構成された予約済みの外部静的 IP アドレスの名前。NAMESPACE_APP_LABEL: ターゲット Kubernetes Namespace に適用されるラベル。
ゲートウェイを共有する必要がある各 GKE クラスタにマニフェストを適用します。
kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yaml選択した Namespace のワークロードが共有ゲートウェイを介して下り(外向き)する必要がある各クラスタで、この手順を繰り返します。
クリーンアップして Granular NAT を無効にする
継続的な課金を回避し、孤立した Google Cloud リソースを防ぐには、クラスタから Granular NAT を削除するときに、厳密なオペレーションの順序に従ってください。
Granular NAT リソースをクリーンアップする手順は次のとおりです。
ユーザーが作成した TrafficSelector リソースを削除します。
名前空間用に作成した TrafficSelector カスタム リソースを削除します。
--allフラグは使用しないでください。システム作成のセレクタ(gnat-intra-clusterやgnat-default-internetなど)を削除すると、クラスタ トラフィックが中断される可能性があります。kubectl delete trafficselector SELECTOR_NAMESELECTOR_NAMEは、TrafficSelector リソースの名前に置き換えます。Granular NAT コントローラは、 Google Cloud ネットワーキングと連携して、Namespace に関連付けられた特定の NAT ルールとワークロード マッピングを削除します。
続行する前に、すべての TrafficSelector リソースの終了が完了していることを確認します。
CloudNATGateway リソースを削除します。
クラスタ内のすべての CloudNATGateway カスタム リソースを削除します。
kubectl delete cloudnatgateway --all- マネージド ゲートウェイ: すべての変換ルールが削除されると、GKE は Google Cloud の基盤となる Cloud NAT ゲートウェイを自動的に削除します。
- 共有ゲートウェイ: GKE は、Namespace に関連付けられている関連する NAT ルールをクリーンアップします。GKE はクラスタのセカンダリ Pod IP アドレスの関連付けを削除しません。共有 Cloud NAT ゲートウェイは他のクラスタで引き続きアクティブです。
クラスタでこの機能を無効にします。
Granular NAT カスタム リソースがすべて完全に削除されたら、クラスタでこの機能を無効にします。
gcloud container clusters update CLUSTER_NAME \ --location=LOCATION \ --no-enable-granular-nat次のように置き換えます。
CLUSTER_NAME: クラスタの名前。LOCATION: クラスタが配置されている Compute Engine のリージョンまたはゾーン(us-central1やus-central1-aなど)。
トラブルシューティング
接続に問題がある場合は、次の方法で Granular NAT の構成とデータプレーンの障害を診断します。
リソースのステータスとログを確認する
カスタム リソースのステータスを検査する: CloudNATGateway または TrafficSelector カスタム リソースのエラー条件を確認します。
kubectl describe cloudnatgateway GATEWAY_NAME kubectl describe trafficselector SELECTOR_NAME次のように置き換えます。
GATEWAY_NAME: CloudNATGateway リソースの名前。SELECTOR_NAME: TrafficSelector リソースの名前。
Cloud NAT ルールを確認する: 基盤となる Cloud NAT ゲートウェイで GKE ワークロード セレクタ ルールが有効になっていることを確認します。
gcloud beta compute routers nats rules list \ --router=ROUTER_NAME \ --nat=NAT_NAME \ --region=REGION \ --format=yaml次のように置き換えます。
ROUTER_NAME: リージョン Cloud Router の名前。NAT_NAME: Cloud NAT ゲートウェイの名前。REGION: リソースが配置されている Compute Engine リージョン。
Cloud NAT ログを分析する: 下り(外向き)トラフィックがドロップされた場合、または変換に失敗した場合は、Cloud Logging で Cloud NAT ログエントリを表示します。
gke_workload_identityフィールドをフィルタして、接続イベントを特定の GKE Namespace に直接関連付けます。
一般的な Cloud NAT エラーの診断の詳細については、Cloud NAT のトラブルシューティングをご覧ください。
次のステップ
- Cloud NAT の概要の詳細を確認する。
- GKE Dataplane V2 を参照。