GKE Granular NAT を構成する

このドキュメントでは、Google Kubernetes Engine(GKE)Granular NAT を構成して、特定の Kubernetes Namespace に専用の下り(外向き)IP アドレスを割り当てる方法について説明します。

Granular NAT を使用すると、Public NAT に特定の送信元外部 IP アドレスを構成できます。また、Cloud NAT ゲートウェイを利用して、Private NAT に特定の送信元内部 IP アドレスを構成することもできます。

Granular NAT を構成するには、次の 2 つのクラスタ スコープのカスタム リソースを使用してルーティング ポリシーを宣言します。

  • CloudNATGateway: このリソースを使用して、クラスタに新しいパブリックまたはプライベート Cloud NAT ゲートウェイをプロビジョニングするか、既存の Cloud NAT ゲートウェイを使用するようにクラスタを構成します。Cloud NAT ゲートウェイは、クラスタのリージョンと VPC ネットワークに配置する必要があります。
  • TrafficSelector: このリソースを使用して、ソースの名前空間(namespaceSelector)と宛先 CIDR をターゲットの CloudNATGateway にマッピングして、下り(外向き)ルーティング ルールを定義します。

始める前に

GKE Granular NAT を構成する前に、次の前提条件を満たしてください。

  • クラスタの要件を確認する: VPC ネイティブ クラスタが GKE バージョン 1.37.1-gke.2611000 以降を実行し、GKE Dataplane V2 が有効になっていることを確認します。GKE Granular NAT は、Autopilot クラスタと Standard クラスタの両方、およびリージョン クラスタとゾーンクラスタの両方でサポートされています。
  • IAM 権限を確認する:
    • カスタム リソースを適用するクラスタに Kubernetes Engine 管理者(roles/container.admin)ロールがあることを確認します。
    • 共有 VPC を使用している場合: ホスト プロジェクト管理者は、サービス プロジェクトの GKE サービス エージェント(service-SERVICE_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com)に、ホスト プロジェクトの IAM ポリシーの Compute ネットワーク管理者(roles/compute.networkAdmin)ロールを付与する必要があります。このロールにより、GKE は共有 VPC ネットワーク内の基盤となる Cloud NAT ゲートウェイ、Cloud Router、IP アドレスを作成して管理できます。スタンドアロン VPC ネットワークでは、この手動付与は必要ありません。
  • 必要に応じて、リンクローカル IP アドレスを含むようにファイアウォール ルールを更新します。送信パケットがノードから送信される前に、GKE Granular NAT は送信元 IP アドレスを 169.254.32.0/20 範囲のリンクローカル アドレスに変換します。組織で厳格なカスタム ファイアウォール ルールを適用している場合は、ルールがこの動作に対応していることを確認します。
    • 下り(外向き)ルール: ターゲットがクラスタノードである下り(外向き)許可ルールで、source パラメータを指定しないでください。送信元パラメータを指定する場合は、リンクローカル アドレス範囲(169.254.32.0/20)を含める必要があります。
    • 上り(内向き)ルール: ターゲットがクラスタノードである上り(内向き)許可ルールで、destination パラメータを指定しないでください。宛先パラメータを指定する場合は、リンクローカル アドレス範囲(169.254.32.0/20)を含める必要があります。
  • VPC 内トラフィック: TrafficSelector リソースに、クラスタの VPC ネットワーク内のサブネット範囲の宛先 CIDR や、VPC ネットワーク ピアリングを使用して接続された別の VPC ネットワークの宛先 CIDR が含まれていないことを確認します。Private NAT は、NCC スポークの接続またはハイブリッド NAT を使用した接続のみを提供します。
  • VPC ルートの要件: Public NAT で処理される CIDR ごとに、クラスタの VPC ネットワークに、宛先範囲に CIDR が含まれ、ネクストホップがデフォルトのインターネット ゲートウェイである静的ルートが含まれている必要があります。

制限事項

  • Namespace レベルの粒度: GKE Granular NAT ポリシーは、Kubernetes Namespace レベルでのみ適用できます。プレビュー リリースでは、Namespace 内のラベルセレクタを使用して個々の Pod またはサービス アカウントを選択することはできません。
  • ゲートウェイ ルールの容量: 各 Cloud NAT ゲートウェイは最大 128 個の NAT ルールをサポートします。これにより、ゲートウェイごとに最大 128 個の異なる GKE Namespace のポリシーを構成できます。クラスタで 128 を超える Namespace に下り(外向き)ポリシーが必要な場合は、追加のゲートウェイをプロビジョニングする必要があります。
  • Cloud NAT の制限事項: 標準の Cloud NAT の制限事項を確認します。これらの制限事項は、Granular NAT の下り(外向き)トラフィックにも適用されます。詳細については、Public NAT と Private NAT の制限事項をご覧ください。

クラスタで GKE Granular NAT を有効にする

Granular NAT は、新しいクラスタを作成するときに有効にすることも、既存のクラスタを更新することもできます。

新しいクラスタを作成する

Autopilot

Granular NAT と GKE Dataplane V2 を有効にして新しいクラスタを作成するには、次のコマンドを実行します。

gcloud container clusters create-auto "CLUSTER_NAME" \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-granular-nat \
    --network-suite=STANDARD

次のように置き換えます。

  • CLUSTER_NAME: 新しいクラスタの名前。
  • LOCATION_FLAG: リージョン クラスタの場合は --region を指定します。
  • LOCATION: クラスタの Compute Engine のリージョンまたはゾーン(us-central1 や us-central1-a など)。
  • VPC_NETWORK_NAME: VPC ネットワークの名前。

標準

Granular NAT と GKE Dataplane V2 を有効にして新しいクラスタを作成するには、次のコマンドを実行します。

gcloud container clusters create <var>CLUSTER_NAME</var> \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-dataplane-v2 \
    --enable-granular-nat \
    --network-suite=STANDARD

次のように置き換えます。

  • CLUSTER_NAME: 新しいクラスタの名前。
  • LOCATION_FLAG: リージョン クラスタの場合は --region、ゾーンクラスタの場合は --zone を指定します。
  • LOCATION: クラスタの Compute Engine のリージョンまたはゾーン(us-central1 や us-central1-a など)。
  • VPC_NETWORK_NAME: VPC ネットワークの名前。

既存のクラスタを更新する

Autopilot

既存のクラスタで Granular NAT を有効にするには、次のコマンドを実行します。

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat

次のように置き換えます。

  • CLUSTER_NAME: 既存のクラスタの名前。
  • LOCATION_FLAG: 既存のクラスタがリージョンの場合は --region、ゾーンの場合は --zone を指定します。
  • LOCATION: クラスタが配置されている Compute Engine のリージョンまたはゾーン。

標準

既存の Standard クラスタで Granular NAT を有効にするには、次のコマンドを実行します。

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat \
    --network-suite=STANDARD

次のように置き換えます。

  • CLUSTER_NAME: 既存のクラスタの名前。
  • LOCATION_FLAG: 既存のクラスタがリージョンの場合は --region、ゾーンの場合は --zone を指定します。
  • LOCATION: クラスタが配置されている Compute Engine のリージョンまたはゾーン。

静的外部下り(外向き)IP アドレスを使用してパブリック Granular NAT を構成する

個別の Namespace のワークロードが、厳格な IP アドレス許可リストを適用するパートナー API や Payment Gateway などの外部のサードパーティ サービスに、個別の静的パブリック IP アドレスを提示する必要がある場合は、パブリック Granular NAT を構成します。

  1. Cloud NAT ゲートウェイ用のリージョン Cloud Router を作成します。GKE は Cloud Router を自動的に作成しません。

    gcloud compute routers create ROUTER_NAME \
        --network=VPC_NETWORK_NAME \
        --region=REGION
    

    次のように置き換えます。

    • ROUTER_NAME: 新しいリージョン Cloud Router の名前。
    • VPC_NETWORK_NAME: VPC ネットワークの名前。
    • REGION: クラスタが配置されている Compute Engine リージョン(例: us-central1)。
  2. GKE クラスタと同じリージョンに静的外部 IP アドレスを予約して、Namespace に専用の外部下り(外向き)IP アドレスを割り当て、ゲートウェイにデフォルトの IP アドレスを割り当てます。

    gcloud compute addresses create nat-ip-default \
        --region=REGION
    gcloud compute addresses create nat-ip-1 \
        --region=REGION
    gcloud compute addresses create nat-ip-2 \
        --region=REGION
    

    REGION は、クラスタが配置されている Compute Engine リージョン(us-central1 など)に置き換えます。

  3. 次のマニフェストを cloud-nat-public.yaml として保存し、マネージド リージョン Cloud NAT ゲートウェイを定義します。

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-managed
    spec:
      type: Public
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      publicNATOptions:
        defaultNatExternalIPs:
        - name: nat-ip-default
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
        tcpTransitoryTimeoutSeconds: 30
        tcpTimeWaitSeconds: 120
        icmpTimeoutSeconds: 30
      portOptions:
        minPortsPerVM: 32
        maxPortsPerVM: 65536
      logOptions:
        enable: true
        filter: ALL
    

    次のように置き換えます。

    • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
    • REGION: クラスタと Cloud Router が配置されている Compute Engine リージョン。
    • ROUTER_NAME: Cloud Router の名前。
  4. 次のマニフェストを traffic-selectors-public.yaml として保存し、各ターゲット Namespace を指定された Public NAT IP アドレスにマッピングします。

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    これらのマニフェストの内容は次のとおりです。

    • cloud.google.com/cloud-nat アノテーションは、一致した Namespace の下り(外向き)トラフィックを変換する予約済みの静的外部 IP アドレスを指定します。
    • namespaceSelector.matchLabels フィールドは、ターゲットの Kubernetes Namespace に適用されたラベルと一致します。
    • 0.0.0.0/0 を含む egress.to.ipBlock.cidrs リストは、すべての送信インターネット トラフィックを指定された Cloud NAT ゲートウェイ経由で転送します。
  5. 両方のマニフェストをクラスタに適用します。

    kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
    

GKE は、Cloud NAT ゲートウェイを自動的にプロビジョニングし、Namespace ワークロード セレクタに基づいて変換ルールを構成し、予約済みの外部 IP アドレスを割り当てます。

VPC または NCC 接続用にプライベート Granular Cloud NAT を構成する

プライベート Granular Cloud NAT を使用して、オンプレミス ネットワークまたは NCC ハブ上の他の VPC スポークに接続するワークロードに特定の内部 IP アドレス範囲を割り当てます。

  1. VPC ネットワークに PRIVATE_NAT 目的の専用サブネットを作成します。

    gcloud compute networks subnets create private-nat-subnet-1 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.0.0/29 \
        --purpose=PRIVATE_NAT
    
    gcloud compute networks subnets create private-nat-subnet-2 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.1.0/29 \
        --purpose=PRIVATE_NAT
    

    次のように置き換えます。

    • REGION: クラスタが配置されている Compute Engine リージョン。
    • VPC_NETWORK_NAME: VPC ネットワークの名前。
  2. 次のマニフェストを cloud-nat-private.yaml として保存して、限定公開の CloudNATGateway リソースを作成します。

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-private-managed
    spec:
      type: Private
      privateNATOptions:
        # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center
        hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
    

    次のように置き換えます。

    • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
    • HUB_NAME: 省略可。Network Connectivity Center ハブの名前。これは、Network Connectivity Center 経由でトラフィックをルーティングする場合にのみ指定します。Network Connectivity Center を使用していない場合は、privateNATOptions ブロック全体を省略します。
    • ROUTER_NAME: Cloud Router の名前。
  3. 次のマニフェストを traffic-selectors-private.yaml として保存し、Namespace をプライベート NAT ゲートウェイにマッピングするプライベート TrafficSelector リソースを作成します。

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.0.0/24
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.1.0/24
    
  4. Private NAT 構成を適用します。

    kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
    

既存の Cloud NAT ゲートウェイを使用する

同じ VPC ネットワークで複数の GKE クラスタを管理している場合や、セカンダリ Pod IP アドレス範囲を共有するクラスタがある場合は、同じリージョンと VPC ネットワーク内の既存の Cloud NAT ゲートウェイを使用するように Granular NAT を構成できます。この構成により、個別のクラスタにまたがるワークロードが、外部エンドポイントに接続するときに、送信元外部 IP アドレスの統合プールを提示できます。

  1. リージョン内の既存の Cloud NAT ゲートウェイを一覧表示して、既存のゲートウェイの名前、関連付けられた Cloud Router、VPC ネットワークを特定します。リージョンと VPC ネットワークは、GKE クラスタで使用されているものと一致する必要があります。

    gcloud beta compute routers nats list \
        --router=ROUTER_NAME \
        --region=REGION \
        --format=yaml
    

    次のように置き換えます。

    • ROUTER_NAME: 既存のゲートウェイを管理する Cloud Router の名前。
    • REGION: クラスタと既存のゲートウェイが配置されている Compute Engine リージョン(例: us-central1)。
  2. 次のマニフェストを cloud-nat-shared.yaml として保存し、クラスタを既存のゲートウェイにリンクします。

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-shared
    spec:
      type: Public # type is a required field even for shared gateways. Can be either Public or Private.
      gatewayName: SHARED_NAT_GATEWAY_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
    

    次のように置き換えます。

    • SHARED_NAT_GATEWAY_NAME: 既存の Cloud NAT ゲートウェイの名前。
    • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
    • REGION: クラスタと既存のゲートウェイが配置されている Compute Engine リージョン。
    • ROUTER_NAME: 既存のゲートウェイを管理するリージョン Cloud Router の名前。
  3. 次のマニフェストを traffic-selector-shared.yaml として保存し、共有ゲートウェイを介して Namespace からのアウトバウンド トラフィックをルーティングします。

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-shared-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-shared
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: NAMESPACE_APP_LABEL
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    次のように置き換えます。

    • NAT_IP_NAME: 共有ゲートウェイに構成された予約済みの外部静的 IP アドレスの名前。
    • NAMESPACE_APP_LABEL: ターゲット Kubernetes Namespace に適用されるラベル。
  4. ゲートウェイを共有する必要がある各 GKE クラスタにマニフェストを適用します。

    kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yaml
    

    選択した Namespace のワークロードが共有ゲートウェイを介して下り(外向き)する必要がある各クラスタで、この手順を繰り返します。

クリーンアップして Granular NAT を無効にする

継続的な課金を回避し、孤立した Google Cloud リソースを防ぐには、クラスタから Granular NAT を削除するときに、厳密なオペレーションの順序に従ってください。

Granular NAT リソースをクリーンアップする手順は次のとおりです。

  1. ユーザーが作成した TrafficSelector リソースを削除します。

    名前空間用に作成した TrafficSelector カスタム リソースを削除します。--all フラグは使用しないでください。システム作成のセレクタ(gnat-intra-cluster や gnat-default-internet など)を削除すると、クラスタ トラフィックが中断される可能性があります。

    kubectl delete trafficselector SELECTOR_NAME
    

    SELECTOR_NAME は、TrafficSelector リソースの名前に置き換えます。

    Granular NAT コントローラは、 Google Cloud ネットワーキングと連携して、Namespace に関連付けられた特定の NAT ルールとワークロード マッピングを削除します。

    続行する前に、すべての TrafficSelector リソースの終了が完了していることを確認します。

  2. CloudNATGateway リソースを削除します。

    クラスタ内のすべての CloudNATGateway カスタム リソースを削除します。

    kubectl delete cloudnatgateway --all
    
    • マネージド ゲートウェイ: すべての変換ルールが削除されると、GKE は Google Cloud の基盤となる Cloud NAT ゲートウェイを自動的に削除します。
    • 共有ゲートウェイ: GKE は、Namespace に関連付けられている関連する NAT ルールをクリーンアップします。GKE はクラスタのセカンダリ Pod IP アドレスの関連付けを削除しません。共有 Cloud NAT ゲートウェイは他のクラスタで引き続きアクティブです。
  3. クラスタでこの機能を無効にします。

    Granular NAT カスタム リソースがすべて完全に削除されたら、クラスタでこの機能を無効にします。

    gcloud container clusters update CLUSTER_NAME \
        --location=LOCATION \
        --no-enable-granular-nat
    

    次のように置き換えます。

    • CLUSTER_NAME: クラスタの名前。
    • LOCATION: クラスタが配置されている Compute Engine のリージョンまたはゾーン(us-central1 や us-central1-a など)。

トラブルシューティング

接続に問題がある場合は、次の方法で Granular NAT の構成とデータプレーンの障害を診断します。

リソースのステータスとログを確認する

  • カスタム リソースのステータスを検査する: CloudNATGateway または TrafficSelector カスタム リソースのエラー条件を確認します。

    kubectl describe cloudnatgateway GATEWAY_NAME
    kubectl describe trafficselector SELECTOR_NAME
    

    次のように置き換えます。

    • GATEWAY_NAME: CloudNATGateway リソースの名前。
    • SELECTOR_NAME: TrafficSelector リソースの名前。
  • Cloud NAT ルールを確認する: 基盤となる Cloud NAT ゲートウェイで GKE ワークロード セレクタ ルールが有効になっていることを確認します。

    gcloud beta compute routers nats rules list \
        --router=ROUTER_NAME \
        --nat=NAT_NAME \
        --region=REGION \
        --format=yaml
    

    次のように置き換えます。

    • ROUTER_NAME: リージョン Cloud Router の名前。
    • NAT_NAME: Cloud NAT ゲートウェイの名前。
    • REGION: リソースが配置されている Compute Engine リージョン。
  • Cloud NAT ログを分析する: 下り(外向き)トラフィックがドロップされた場合、または変換に失敗した場合は、Cloud Logging で Cloud NAT ログエントリを表示します。gke_workload_identity フィールドをフィルタして、接続イベントを特定の GKE Namespace に直接関連付けます。

一般的な Cloud NAT エラーの診断の詳細については、Cloud NAT のトラブルシューティングをご覧ください。

次のステップ