バックエンド サービスベースの外部ロードバランサを作成する

このページでは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを構築する外部 LoadBalancer Service をデプロイする方法について説明します。このページを読む前に、次のことをよく理解しておいてください。

リージョン外部パススルー ネットワーク ロードバランサの一般的な詳細については、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサをご覧ください。

始める前に

作業を始める前に、次のタスクが完了していることを確認してください。

  • Google Kubernetes Engine API を有効にする。
  • Google Kubernetes Engine API を有効化
  • このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化します。gcloud CLI をインストール済みの場合は、gcloud components update コマンドを実行して最新のバージョンを取得します。以前のバージョンの gcloud CLI では、このドキュメントのコマンドを実行できない場合があります。

要件

  • このチュートリアルでは、spec.loadBalancerClass を使用して、GCE_VM_IP NEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを作成します。このチュートリアルには、GKE バージョン 1.33.1-gke.1779000 以降が必要です。これは、spec.loadBalancerClass に GKE バージョン 1.33.1-gke.1779000 以降が必要なためです。バージョン 1.33.1-gke.1779000 以降は、NEG バックエンドまたは重み付きロードバランサ機能の最小 GKE バージョン要件も満たしています。

  • クラスタのバージョンが 1.36 より前の場合は、クラスタで HttpLoadBalancing アドオンが有効になっている必要があります。このアドオンはデフォルトで有効になっています。詳細については、HttpLoadBalancing の前提条件をご覧ください。

  • 外部 LoadBalancer Service で Cloud Logging を有効にするには、GKE クラスタでバージョン 1.36.0-gke.2459000 以降を使用する必要があります。

  • シングルスタック IPv6 外部 LoadBalancer Service でお客様所有 IP(BYOIP)IPv6 アドレスを使用するには、GKE クラスタでバージョン 1.37.1-gke.2097000 以降を使用する必要があります。

クラスタを選択する

新しいクラスタを作成することも、要件を満たす既存のクラスタを選択することもできます。

新しいクラスタを作成する

Autopilot

新しい Autopilot クラスタを作成するには:

gcloud container clusters create-auto CLUSTER_NAME \
    --release-channel=RELEASE_CHANNEL \
    --cluster-version=VERSION \
    --location=COMPUTE_LOCATION

次のように置き換えます。

LoadBalancer Service の VPC ファイアウォール ルールの自動作成を無効にするには、フラグ --disable-l4-lb-firewall-reconciliation を指定します。詳しくは、GKE LoadBalancer Service のユーザー管理ファイアウォール ルールをご覧ください。

Standard

新しい Standard クラスタを作成するには:

gcloud container clusters create CLUSTER_NAME \
    --release-channel=RELEASE_CHANNEL \
    --cluster-version=VERSION \
    --location=COMPUTE_LOCATION

次のように置き換えます。

LoadBalancer Service の VPC ファイアウォール ルールの自動作成を無効にするには、フラグ --disable-l4-lb-firewall-reconciliation を指定します。詳しくは、GKE LoadBalancer Service のユーザー管理ファイアウォール ルールをご覧ください。

既存のクラスタをアップグレードする

gcloud CLI を使用して既存のクラスタを更新します。

gcloud container clusters upgrade CLUSTER_NAME \
    --cluster-version=VERSION \
    --master \
    --location=COMPUTE_LOCATION

次のように置き換えます。

LoadBalancer Service の VPC ファイアウォール ルールの自動作成を無効にするには、フラグ --disable-l4-lb-firewall-reconciliation を指定します。詳しくは、GKE LoadBalancer Service のユーザー管理ファイアウォール ルールをご覧ください。

サンプル ワークロードをデプロイする

外部 LoadBalancer Service のサービング Pod を提供する次のサンプル ワークロードをデプロイします。

  1. 次のサンプル Deployment を store-deployment.yaml として保存します。

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: store
    spec:
      replicas: 20
      selector:
        matchLabels:
          app: store
      template:
        metadata:
          labels:
            app: store
        spec:
          containers:
          - image: registry.k8s.io/echoserver:1.10
            imagePullPolicy: Always
            name: echoserver
            ports:
              - name: http
                containerPort: 8080
            readinessProbe:
              httpGet:
                path: /healthz
                port: 8080
                scheme: HTTP
    
  2. マニフェストをクラスタに適用します。

    kubectl apply -f store-deployment.yaml
    
  3. Deployment に 20 のサービング Pod があることを確認します。

    kubectl get pods
    

    出力は次のようになります。

    NAME                     READY   STATUS    RESTARTS   AGE
    store-cdb9bb4d6-s25vw      1/1     Running   0          10s
    store-cdb9bb4d6-vck6s      1/1     Running   0          10s
    ....
    

外部 LoadBalancer Service を作成する

  1. 外部 LoadBalancer Service を作成して、サンプル ワークロードを公開します。

    1. 次の Service マニフェストを store-v1-lb-svc.yaml として保存します。

      apiVersion: v1
      kind: Service
      metadata:
        name: store-v1-lb-svc
      spec:
        type: LoadBalancer
        loadBalancerClass: networking.gke.io/l4-regional-external
        selector:
          app: store
        ports:
        - name: tcp-port
          protocol: TCP
          port: 8080
          targetPort: 8080
      
    2. マニフェストをクラスタに適用します。

      kubectl apply -f store-v1-lb-svc.yaml
      

    このサンプル マニフェストについては、次の点に注意してください。

    • クラスタで GKE 1.33.1-gke.1779000 ~ 1.36 が実行されている場合は、マニフェストがクラスタに初めて適用されるときに、spec.loadBalancerClass フィールドを networking.gke.io/l4-regional-external 値に設定する必要があります。このフィールドは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを作成するように GKE に指示します。GKE 1.37 以降では、この構成がデフォルトの動作であり、このフィールドは必要ありません。IPv6 トラフィックや重み付けロード バランシングなどの機能をサポートするには、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサが必要です。

    • GKE は、クラスタのバージョンに応じて、GCE_VM_IP NEG バックエンドまたは非マネージド インスタンス グループ バックエンドを使用します。バージョン 1.32.2-gke.1652000 のクラスタでは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサは GCE_VM_IP NEG を使用します。以前のバージョンでは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサは非マネージド インスタンス グループを使用します。

    • この spec.loadBalancerClass フィールドは不変であり、Service の作成時に設定する必要があります。このフィールドは変更できないため、既存の LoadBalancer Service のマニフェストで追加または変更することはできません。そうしようとするとエラーが発生し、Service の更新が失敗します。

    • デュアルスタック クラスタにシングルスタック IPv6 Service を作成するには、spec.ipFamilyPolicy フィールドの値を SingleStack に設定し、spec.ipFamilies フィールドの値を IPv6 に設定します。シングルスタック IPv6 クラスタでは、これらはデフォルト値であり、省略できます。詳細については、IPv6 LoadBalancer Service をご覧ください。

シングルスタック IPv6 クラスタに外部 LoadBalancer Service を作成する

シングルスタック IPv6 クラスタまたはデュアルスタック クラスタにシングルスタック IPv6 外部 LoadBalancer Service を作成する場合、ロードバランサで使用されるサブネットワークは、クラスタのノード サブネットワークが EXTERNAL または INTERNAL の IPv6 アクセスタイプを使用しているかどうかによって異なります。デュアルスタック クラスタでは、spec.ipFamilyPolicy フィールドの値を SingleStack に設定し、spec.ipFamilies フィールドの値を IPv6 に設定する必要があります(シングルスタック IPv6 クラスタでは、これらはデフォルト値であり、省略できます)。IPv6 外部 LoadBalancer Service は、プレミアム ティアでバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを常に使用します。次の例では、spec.loadBalancerClass フィールドを明示的に networking.gke.io/l4-regional-external に設定しています。ただし、このロードバランサ バリアントは GKE バージョン 1.37 以降のデフォルトです。

  • 外部ノード(EXTERNAL GUA アクセスタイプ)を持つクラスタ: クラスタノードがグローバル ユニキャスト アドレス(GUA)を持つ外部サブネットワークで実行されている場合、外部ロードバランサは既存のノード サブネットワークを自動的に使用します。カスタム サブネットワーク アノテーションを使用せずに Service を作成します。

    apiVersion: v1
    kind: Service
    metadata:
      name: ext-ipv6-svc
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-external
      ipFamilyPolicy: SingleStack
      ipFamilies:
      - IPv6
      selector:
        app: store
      ports:
      - protocol: TCP
        port: 8080
        targetPort: 8080
    
  • 内部ノードを持つクラスタ(INTERNAL ULA アクセスタイプ): クラスタノードが、一意のローカル ユニキャスト アドレス(ULA)を持つ内部サブネットワークで実行されている場合、外部ロードバランサはそのサブネットワークを直接使用できません。専用の外部(EXTERNAL)IPv6 サブネットワークをプロビジョニングし、Service で networking.gke.io/load-balancer-subnet アノテーションを使用して参照する必要があります。

    1. 専用の外部 IPv6 サブネットワークを作成します。

      gcloud compute networks subnets create SUBNET_NAME \
          --stack-type=ipv6_only \
          --ipv6-access-type=EXTERNAL \
          --network=NETWORK_NAME \
          --region=COMPUTE_REGION
      

      次のように置き換えます。

      • SUBNET_NAME: 作成するサブネットの名前。
      • NETWORK_NAME: このサブネットを作成する VPC ネットワークの名前。
      • COMPUTE_REGION: サブネットの Compute Engine のリージョン。
    2. networking.gke.io/load-balancer-subnet アノテーションで専用サブネットワーク名を参照する Service を作成します。

      apiVersion: v1
      kind: Service
      metadata:
        name: ext-ipv6-svc
        annotations:
          networking.gke.io/load-balancer-subnet: SUBNET_NAME
      spec:
        type: LoadBalancer
        loadBalancerClass: networking.gke.io/l4-regional-external
        ipFamilyPolicy: SingleStack
        ipFamilies:
        - IPv6
        selector:
          app: store
        ports:
        - protocol: TCP
          port: 8080
          targetPort: 8080
      
  1. 割り当てられた Service の IP アドレスを確認します。

    kubectl get svc ext-ipv6-svc
    

    出力で、CLUSTER-IP 列と EXTERNAL-IP 列(パブリック GUA アドレス)に値が入力されていることを確認できます。

    NAME           TYPE           CLUSTER-IP                          EXTERNAL-IP                      PORT(S)        AGE
    ext-ipv6-svc   LoadBalancer   2600:2d00:0:4:1a1e:d3b3:de4d:c401   2600:1900:4000:2714:8000:0:0:0   80:31114/TCP   51s
    

詳細については、IPv6 LoadBalancer Service をご覧ください。

お客様所有 IPv6 アドレス(BYOIPv6)を使用する

GKE バージョン 1.37.1-gke.2097000 以降では、EXTERNAL_IPV6_FORWARDING_RULE_CREATION モードでパブリック委任プレフィックス(PDP)のリージョン IPv6 サブプレフィックスからお客様所有 IPv6 アドレス(BYOIPv6)を使用するように、シングルスタック IPv6 外部 LoadBalancer Service を構成できます。

Service を作成する前に、次の要件を満たしていることを確認してください。

  • クラスタで GKE バージョン 1.37.1-gke.2097000 以降が実行されている。クラスタはシングルスタック IPv6 またはデュアルスタック(どちらの場合も Service はシングルスタック IPv6 である必要があります)にできます。クラスタのサブネットには、INTERNAL または EXTERNAL の IPv6 アクセスタイプを設定できます。アドレス範囲はパブリック委任プレフィックスから取得されるため、外部 IPv6 サブネット範囲は必要ありません。
  • クラスタと同じリージョンに、EXTERNAL_IPV6_FORWARDING_RULE_CREATION モードのリージョン IPv6 サブプレフィックスがあり、割り振り可能なプレフィックス長が /96 で、ステータスが ANNOUNCED である。手順については、IPv6 サブプレフィックスを作成するをご覧ください。
  • GKE サービス エージェント(service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com)には、パブリック委任プレフィックスを所有するプロジェクトに対する Compute パブリック IP 管理者ロール(roles/compute.publicIpAdmin)が付与されています。ロールを付与するには、次のコマンドを実行します。

    gcloud projects add-iam-policy-binding PDP_PROJECT_ID \
        --member="serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
        --role="roles/compute.publicIpAdmin"
    

    次のように置き換えます。

    • PDP_PROJECT_ID: パブリック委任プレフィックスを所有するプロジェクトの ID。
    • PROJECT_NUMBER: クラスタを含むプロジェクトのプロジェクト番号。
  • この Service は、spec.loadBalancerClass フィールドを networking.gke.io/l4-regional-external に設定し、プレミアム ティアを使用するシングルスタック IPv6 Service(spec.ipFamilyPolicy: SingleStack と spec.ipFamilies: ["IPv6"])です。デュアルスタック サービス、IPv4 サービス、スタンダード ティアは BYOIPv6 ではサポートされていません。

  • Service に networking.gke.io/load-balancer-subnet アノテーションが含まれていません。このアノテーションは networking.gke.io/ip-collection-v6 アノテーションと組み合わせることはできません。

エフェメラル外部 BYOIPv6 アドレス範囲を割り振るか、予約済みの静的外部 BYOIPv6 アドレス範囲を使用するかを選択します。

  • エフェメラル外部 BYOIPv6 アドレス範囲: networking.gke.io/ip-collection-v6 アノテーションを Service マニフェストに追加し、完全なリソース URL またはリージョン サブプレフィックスの部分的なリソースパスに設定します。

    apiVersion: v1
    kind: Service
    metadata:
      name: ext-byoipv6-svc
      annotations:
        networking.gke.io/ip-collection-v6: "projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME"
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-external
      ipFamilyPolicy: SingleStack
      ipFamilies:
      - IPv6
      selector:
        app: store
      ports:
      - name: tcp-port
        protocol: TCP
        port: 80
        targetPort: 8080
    

    次のように置き換えます。

    • PROJECT_ID: サブプレフィックスを含むプロジェクトの ID。
    • REGION: クラスタのリージョン。
    • SUB_PREFIX_NAME: EXTERNAL_IPV6_FORWARDING_RULE_CREATION モードのリージョン サブプレフィックスの名前。

    後で networking.gke.io/ip-collection-v6 アノテーションを変更すると、GKE は新しいプレフィックスの新しいアドレスを使用して IPv6 転送ルールを再作成します。これにより、Service へのトラフィックが一時的に中断されます。アノテーションを削除すると、Service は外部 IPv6 範囲を持つサブネットから Google 提供のアドレスに戻ります。クラスタのサブネットに内部 IPv6 範囲がある場合は、networking.gke.io/load-balancer-subnet アノテーションを同時に追加します。

  • 静的外部 BYOIPv6 アドレス範囲: サブプレフィックスからリージョン静的外部 /96 IPv6 アドレス範囲を予約し、networking.gke.io/load-balancer-ip-addresses アノテーションを使用して参照します。

    1. サブプレフィックスからリージョン静的外部 IPv6 アドレス範囲を作成します。

      gcloud compute addresses create STATIC_BYOIPV6_NAME \
          --region=REGION \
          --ip-version=IPV6 \
          --endpoint-type=NETLB \
          --ip-collection=projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME
      

      次のように置き換えます。

      • STATIC_BYOIPV6_NAME: 静的 IPv6 アドレス リソースの名前。
      • REGION: クラスタのリージョン。
      • PROJECT_ID: サブプレフィックスを含むプロジェクトの ID。
      • SUB_PREFIX_NAME: EXTERNAL_IPV6_FORWARDING_RULE_CREATION モードのリージョン サブプレフィックスの名前。

      静的外部 BYOIPv6 アドレス範囲を使用する場合、networking.gke.io/ip-collection-v6 アノテーションは省略可能です。このアノテーションを設定する場合は、アドレス範囲を予約したサブプレフィックスと同じサブプレフィックスを参照する必要があります。

    2. Service マニフェストで、予約済みの静的 IPv6 アドレスのリソース名を参照します。

      apiVersion: v1
      kind: Service
      metadata:
        name: ext-static-byoipv6-svc
        annotations:
          networking.gke.io/load-balancer-ip-addresses: STATIC_BYOIPV6_NAME
      spec:
        type: LoadBalancer
        loadBalancerClass: networking.gke.io/l4-regional-external
        ipFamilyPolicy: SingleStack
        ipFamilies:
        - IPv6
        selector:
          app: store
        ports:
        - name: tcp-port
          protocol: TCP
          port: 80
          targetPort: 8080
      

詳細については、お客様所有 IPv6 アドレス(BYOIPv6)をご覧ください。

重み付きロード バランシングを有効にする

各ノードに存在するサービング Pod、準備完了 Pod、終了していない Pod の数に基づいて、新しい接続をノードに比例して分散するには、Service マニフェストに networking.gke.io/weighted-load-balancing: "pods-per-node" アノテーションを追加して、重み付けロード バランシングを有効にします。

  1. networking.gke.io/weighted-load-balancing: "pods-per-node" アノテーションを store-v1-lb-svc.yaml Service マニフェストに追加し、次のように externalTrafficPolicy: Local 値も設定します。

    apiVersion: v1
    kind: Service
    metadata:
      name: store-v1-lb-svc
      annotations:
        networking.gke.io/weighted-load-balancing: "pods-per-node"
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-external
      externalTrafficPolicy: Local
      selector:
        app: store
      ports:
      - name: tcp-port
        protocol: TCP
        port: 8080
        targetPort: 8080
    
  2. マニフェストをクラスタに適用します。

    kubectl apply -f store-v1-lb-svc.yaml
    

重み付きロード バランシングに関するこの例については、次の点に注意してください。

  • Service マニフェストは externalTrafficPolicy: Local を使用します。重み付きロード バランシングを有効にする必要がない場合は、externalTrafficPolicy: Cluster を使用することもできます。externalTrafficPolicy がノードグループを定義する方法、どのノードがロードバランサのヘルスチェックに合格するのか、パケットの処理方法の詳細については、LoadBalancer Service のコンセプトをご覧ください。

  • 重み付けロード バランシングを有効にしても、GKE で externalTrafficPolicy: Cluster を使用できないわけではありませんが、externalTrafficPolicy: Cluster ではロードバランサの後にパケットが別のノードに転送される可能性があるため、重み付けロード バランシングが事実上無効になります。

kubectl edit svc service-name を使用して、既存の外部 LoadBalancer Service で重み付けされたロード バランシングを有効にすることもできます。kubectl edit コマンドを使用すると、構成したテキスト エディタで既存のロードバランサの Service マニフェストが開きます。ここで、マニフェストを変更して保存できます。既存の外部 LoadBalancer Service を編集する場合は、次の点に注意してください。

  • 既存の外部 LoadBalancer Service によって、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサが作成されている必要があります。1.37 より前の GKE バージョンを実行しているクラスタの場合、この要件は、マニフェストがクラスタに最初に適用されたときに、既存の外部 LoadBalancer Service の spec.loadBalancerClass フィールドが networking.gke.io/l4-regional-external に設定されている必要があることを意味します。

    ターゲット プールベースのリージョン外部パススルー ネットワーク ロードバランサを使用する既存の外部 LoadBalancer Service に networking.gke.io/weighted-load-balancing: "pods-per-node" アノテーションを追加しても効果はありません。

  • 既存の外部 LoadBalancer Service マニフェストを更新する場合は、externalTrafficPolicy: Local 値を設定してください。externalTrafficPolicy: Cluster を使用すると、パケットがロードバランサの後に別のノードに転送される可能性があるため、重み付けロード バランシングが無効になります。

重み付きロード バランシングを無効にする

各ノードに存在するサービング Pod の数に関係なく、新しい接続をノードに分散するには、Service マニフェストから networking.gke.io/weighted-load-balancing: "pods-per-node" アノテーションを削除して、重み付けロード バランシングを無効にします。

バックエンド サービスのロギングを有効にする

バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサのログの有効化、無効化、表示を行えます。

Cloud Logging を構成するには、ロギング設定を指定する L4LBConfig カスタム リソースを作成します。L4LBConfig リソースは、Service マニフェストの Kubernetes Service にリンクされています。マニフェストを適用すると、GKE コントローラによってバックエンド サービスのロギングが構成されます。L4LBConfig リソースを Service にリンクしない場合、コントローラはロギング構成の管理を停止し、バックエンド サービスを最後の既知の状態のままにします。詳細については、コースト動作についてをご覧ください。

次のフィールドを構成できます。

  • enabled: true に設定すると、この Service のロギングが有効になり、Cloud Logging でログを使用できます。それ以外の場合、この Service のロギングは無効になります。
  • sampleRate: 0~1,000,000(デフォルト)の値を指定します。0 はパケットがログに記録されないことを意味し、1,000,000 はパケットの 100% がログに記録されることを意味します。sampleRate フィールドは省略可能で、enable フィールドの値が true に設定されている場合にのみ機能します。
  • optionalMode: ロードバランサ用に生成されたログに含めるオプションのメタデータ フィールドを制御します。このフィールドには、次のいずれかの文字列値を指定できます。
    • EXCLUDE_ALL_OPTIONAL: optionalMode が指定されていない場合のデフォルト設定。設定すると、オプション フィールドはログに含まれず、最も簡潔なログ形式になります。
    • INCLUDE_ALL_OPTIONAL: 使用可能なすべてのオプション フィールドのロギングを有効にして、最も詳細なログエントリを提供します。
    • CUSTOM: ログに含めるオプション フィールドのカスタムリストを指定します。CUSTOM モードでは、optionalFields パラメータを使用して、必要なフィールドのカンマ区切りのリストを指定する必要があります。
  • optionalFields: フィールド名のカンマ区切りの文字列。生成されたログに含めるオプションのメタデータ フィールドを正確に定義します。このフィールドは、optionalMode が CUSTOM に設定されている場合にのみ使用されます。それ以外の場合、値は無視されます。

Cloud Logging を構成するには、Service リソースと同じ Namespace に L4LBConfig リソースを作成します。次の L4LBConfig マニフェストの例では、Cloud Logging を有効にし、特定のロードバランサ Service のリクエストの 50% にサンプルレートを設定しています。

  1. 次のマニフェストを svc-l4lb-config.yaml として保存します。

    apiVersion: networking.gke.io/v1
    kind: L4LBConfig
    metadata:
      name: svc-l4lb-config
      namespace: default
    spec:
      logging:
        enabled: true # must be included
        sampleRate: 500000
        optionalMode: "INCLUDE_ALL_OPTIONAL"
    
  2. L4LBConfig マニフェストをクラスタに適用します。

    kubectl apply -f svc-l4lb-config.yaml
    
  3. networking.gke.io/l4lb-config アノテーションを store-v1-lb-svc.yaml Service マニフェストに追加します。

    apiVersion: v1
    kind: Service
    metadata:
      name: store-v1-lb-svc
      annotations:
        cloud.google.com/l4-rbs: "enabled"
        networking.gke.io/l4lb-config: "svc-l4lb-config"
    spec:
      type: LoadBalancer
      selector:
        app: store
      ports:
        - name: tcp-port
          protocol: TCP
          port: 8080
          targetPort: 8080
    
  4. Service マニフェストをクラスタに適用します。

    kubectl apply -f store-v1-lb-svc.yaml
    

外部 LoadBalancer Service とそのコンポーネントを確認する

  1. Service が実行されていることを確認します。

    kubectl get svc store-v1-lb-svc
    

    出力は次のようになります。

    NAME               TYPE           CLUSTER-IP        EXTERNAL-IP     PORT(S)          AGE
    store-v1-lb-svc   LoadBalancer   10.44.196.160     35.193.28.231   8080:32466/TCP   11m
    

    GKE は、リージョン外部パススルー ネットワーク ロードバランサの EXTERNAL_IP を割り当てました。

  2. ロードバランサへの接続をテストします。

    curl EXTERNAL_IP:PORT
    

    次のように置き換えます。

    • EXTERNAL_IP: リージョン外部パススルー ネットワーク ロードバランサに割り振られた IP アドレス。
    • PORT: リージョン外部パススルー ネットワーク ロードバランサに割り当てられたポート番号。

    出力は次のようになります。

    Hostname: store-v1-lb-svc-cdb9bb4d6-hflxd
    
    Pod Information:
      -no pod information available-
    
    Server values:
      server_version=nginx: 1.13.3 - lua: 10008
    
    Request Information:
      client_address=10.128.0.50
      method=GET
      real path=/
      query=
      request_version=1.1
      request_scheme=http
      request_uri=EXTERNAL_IP
    
    Request Headers:
      accept=*/*
      host=EXTERNAL_IP
      user-agent=curl/7.81.0
    
    Request Body:
      -no body in request-
    
    
  3. LoadBalancer Service と、Google Cloud リソースを記述する一連のアノテーションを確認します。

    kubectl describe svc store-v1-lb-svc
    

    出力は次のようになります。

    Name:                     store-v1-lb-svc
    Namespace:                default
    Labels:                   <none>
    Annotations:              cloud.google.com/neg-status: {"network_endpoint_groups":{"0":"k8s2-qvveq1d8-default-my-service-ext-5s55db85"},"zones":["us-central1-c"]} #This annotation appears in the output only if the service uses NEG backends.
                              networking.gke.io/weighted-load-balancing: pods-per-node #This annotation appears in the output only if weighted load balancing is enabled.
                              service.kubernetes.io/backend-service: k8s2-qvveq1d8-default-my-service-ext-5s55db85
                              service.kubernetes.io/firewall-rule: k8s2-qvveq1d8-default-my-service-ext-5s55db85
                              service.kubernetes.io/firewall-rule-for-hc: k8s2-qvveq1d8-default-my-service-ext-5s55db85-fw
                              service.kubernetes.io/healthcheck: k8s2-qvveq1d8-default-my-service-ext-5s55db85
                              service.kubernetes.io/tcp-forwarding-rule: a808124abf8ce406ca51ab3d4e7d0b7d
    Selector:                 app=store
    Type:                     LoadBalancer
    IP Family Policy:         SingleStack
    IP Families:              IPv4
    IP:                       10.18.102.23
    IPs:                      10.18.102.23
    LoadBalancer Ingress:     35.184.160.229
    Port:                     tcp-port  8080/TCP
    TargetPort:               8080/TCP
    NodePort:                 tcp-port  31864/TCP
    Endpoints:                10.20.1.28:8080,10.20.1.29:8080
    Session Affinity:         None
    External Traffic Policy:  Local
    HealthCheck NodePort:     30394
    
    Events:
      Type    Reason                Age                    From                     Message
      ----    ------                ----                   ----                     -------
      Normal  ADD                   4m55s                  loadbalancer-controller  default/my-service-ext
    

    バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサとその Google Cloud リソースが正常に作成されたことを示すフィールドがいくつかあります。

    • Events フィールド。LoadBalancer Service とそのリソースが正常に作成された場合、このフィールドは空になります。エラーが発生した場合は、ここに表示されます。
    • Annotations のリストが有効: GKE は、読み取り専用アノテーションの次のリストを Service マニフェストに追加します。名前が service.kubernetes.io/ で始まる各アノテーションは、ロードバランサの一部として作成された、またはロードバランサをサポートするGoogle Cloud リソースの名前を示すために使用されます。

      • networking.gke.io/weighted-load-balancing: pods-per-node アノテーションは、重み付きロード バランシングが適用され、ロードバランサが各ノードで実行されている Pod の数に基づいてバックエンド Pod にトラフィックを分散することを示します。
      • service.kubernetes.io/backend-service アノテーションは、ロードバランサのバックエンド サービスの名前を示します。
      • service.kubernetes.io/healthcheck アノテーションは、バックエンド サービスによって使用されるロードバランサのヘルスチェックの名前を示します。
      • service.kubernetes.io/tcp-forwarding-rule アノテーションまたは service.kubernetes.io/udp-forwarding-rule アノテーションは、ロードバランサの転送ルールの名前を示します。
      • service.kubernetes.io/firewall-rule アノテーションは、クラスタノードへのトラフィックを許可するために作成されたファイアウォール ルールの名前を示します。このファイアウォール ルールのソース範囲は、spec.loadBalancerSourceRanges[] を使用してカスタマイズできます。LoadBalancer Service のファイアウォール ルールの詳細については、ファイアウォール ルールと送信元 IP アドレスの許可リストをご覧ください。
      • service.kubernetes.io/firewall-rule-for-hc アノテーションは、ロードバランサのヘルスチェックに必要なファイアウォール ルールの名前を示します。
      • cloud.google.com/neg-status アノテーションは、ロードバランサで使用される NEG とそのゾーンの両方を示します。このアノテーションは、以下の両方の条件を満たす場合にのみ存在します。

        • マニフェストがクラスタに適用されたときに、クラスタは GKE バージョン 1.32.2-gke.1652000 以降を実行していた。
        • クラスタに適用されたときに、networking.gke.io/l4-regional-external 値に設定された spec.loadBalancerClass フィールドが Service マニフェストに存在していた。
  4. 外部 LoadBalancer Service のロードバランサ リソースとファイアウォール ルールが作成されていることを確認します。

    • 転送ルールを表示するには、次のコマンドを実行します。

        gcloud compute forwarding-rules describe FWD_RULE_NAME \
          --region=REGION_NAME
      

      次のように置き換えます。

      • FWD_RULE_NAME: 読み取り専用アノテーション service.kubernetes.io/tcp-forwarding-rule または service.kubernetes.io/udp-forwarding-rule によって提供される転送ルール名。これらのアノテーションを確認するには、kubectl describe svc SERVICE_NAME を実行します。
      • REGION_NAME: クラスタを含む Google Cloud リージョン。ゾーンクラスタの場合、リージョンにはクラスタが使用するゾーンが含まれています。
    • バックエンド サービスを表示するには、次のコマンドを実行します。

      gcloud compute backend-services describe BACKEND_SERVICE_NAME \
        --region=REGION_NAME
      

      次のように置き換えます。

      • BACKEND_SERVICE_NAME: service.kubernetes.io/backend-service 読み取り専用アノテーションによって提供されるバックエンド サービスの名前。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAME を実行します。
      • REGION_NAME: クラスタを含む Google Cloud リージョン。ゾーンクラスタの場合、リージョンにはクラスタが使用するゾーンが含まれています。
    • ロードバランサのヘルスチェックを表示するには、次のコマンドを実行します。

      gcloud compute health-checks describe HEALTH_CHECK_NAME \
        --region=REGION_NAME
      

      次のように置き換えます。

      • HEALTH_CHECK_NAME: ロードバランサのヘルスチェック名。ヘルスチェックの名前は、service.kubernetes.io/healthcheck 読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAME を実行します。
      • REGION_NAME: クラスタを含む Google Cloud リージョン。ゾーンクラスタの場合、リージョンにはクラスタが使用するゾーンが含まれています。
    • ファイアウォール ルールを表示するには、次のコマンドを実行します。

      gcloud compute firewall-rules describe FIREWALL_RULE_NAME
      
      gcloud compute firewall-rules describe HEALTH_CHECK_FIREWALL_RULE_NAME
      

      次のように置き換えます。

      • FIREWALL_RULE_NAME: ロードバランサへのトラフィックを許可するファイアウォール ルールの名前。このファイアウォール ルールの名前は、service.kubernetes.io/firewall-rule 読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAME を実行します。
      • HEALTH_CHECK_FIREWALL_RULE_NAME: ロードバランサのバックエンド(クラスタのノード)のヘルスチェックを許可するファイアウォール ルールの名前。このファイアウォール ルールの名前は、service.kubernetes.io/firewall-rule-for-hc 読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAME を実行します。
    • ロードバランサの NEG を確認するには、次のコマンドを実行します。

      gcloud compute network-endpoint-groups describe NEG_NAME \
        --zone=ZONE_NAME
      

      次のように置き換えます。

      • NEG_NAME: ロードバランサの NEG 名。NEG の名前は、cloud.google.com/neg-status 読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAME コマンドを実行します。アノテーションには、ロードバランサで使用される NEG 名とゾーンに関する情報を含む構造化データが含まれています。ゾーンクラスタの場合、このアノテーションには 1 つの NEG に関する情報が含まれます。リージョン クラスタの場合、このアノテーションには、クラスタが配置されている各ゾーンの NEG に関する情報が含まれます。
      • ZONE_NAME: NEG を含む Google Cloud ゾーン。
  5. バックエンド サービスで Cloud Logging が有効になっていることを確認します。

    kubectl get svc SERVICE_NAME --output yaml
    

    次のように置き換えます。

    • SERVICE_NAME: バックエンド サービスの名前。

    出力で、Status.Conditions フィールドに Type: LoggingConfigManaged と Reason: Reconciled が含まれていることを確認します。

外部 LoadBalancer Service を削除する

サンプルの store-v1-lb-svc 外部 LoadBalancer Service を削除するには、次のコマンドを使用します。

kubectl delete service store-v1-lb-svc

GKE は、外部 LoadBalancer Service 用に作成したすべてのロードバランサ リソースを自動的に削除します。

GCE_VM_IP NEG バックエンドに移行する

外部 LoadBalancer Service は、GKE 1.37 以降で作成された場合、spec.loadBalancerClass フィールドに networking.gke.io/l4-regional-external 値を指定した場合、または cloud.google.com/l4-rbs: "enabled" アノテーションを含めた場合に、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを作成します。クラスタの GKE バージョンに応じて、GKE は GCE_VM_IP ネットワーク エンドポイント グループまたは非マネージド インスタンス グループをバックエンドとして使用します。

  • Service マニフェストが GKE バージョン 1.32.2-gke.1652000 以降を実行しているクラスタに適用された場合、作成されるリージョン外部パススルー ネットワーク ロードバランサは GCE_VM_IP ネットワーク エンドポイント グループ(NEG)バックエンドを使用します。

  • Service マニフェストが以前の GKE バージョンを実行しているクラスタに適用された場合、作成されるリージョン外部パススルー ネットワーク ロードバランサは非マネージド インスタンス グループのバックエンドを使用します。

詳しくは、LoadBalancer Service の概要のノードのグループ化をご覧ください。

既存の Service が次のいずれかのロードバランサを使用している場合は、GCE_VM_IP NEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを利用する新しい外部 LoadBalancer Service を作成できます。

  • インスタンス グループ バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサ
  • ターゲット プール ベースのリージョン外部パススルー ネットワーク ロードバランサ

GCE_VM_IP NEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサに切り替えるときに、外部 IPv4 アドレスを保持するには(IPv6 外部 LoadBalancer Service では、この移行は必要ありません)。

  1. まだの場合は、クラスタを GKE バージョン 1.32.2-gke.1652000 以降にアップグレードします。

  2. GCE_VM_IP NEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサに切り替える外部 LoadBalancer Service を特定します。次のコマンドを使用して Service の説明を取得します。

    kubectl describe svc SERVICE_NAME -n SERVICE_NAMESPACE
    

    次のように置き換えます。

    • SERVICE_NAME: 既存の外部 LoadBalancer Service の名前。

    • SERVICE_NAMESPACE: 既存の外部 LoadBalancer Service の名前空間。

    コマンド出力で、LoadBalancer Ingress の後に表示されているロードバランサの外部 IPv4 アドレスをメモします。

  3. 既存の LoadBalancer Service の Service マニフェストを取得します。

    • 過去にクラスタに適用した元の Service マニフェストがある場合は、そのマニフェストを使用することをおすすめします。たとえば、ソース管理リポジトリにこのマニフェストが存在する場合があります。

    • 元の Service マニフェストがない場合は、次の手順で作成します。

      • 次のコマンドを実行して、ロードバランサの現在の実装を表す Service マニフェストの YAML コピーを取得します。

        kubectl get svc SERVICE_NAME -n SERVICE_NAMESPACE -o yaml
        
      • マニフェスト YAML をテキスト エディタにコピーします。status 属性と次の metadata 属性を削除します。

        • 以下のすべてのアノテーションが対象です。
          • kubectl.kubernetes.io/last-applied-configuration アノテーション
          • service.kubernetes.io で始まるすべてのアノテーション
        • creationTimestamp
        • finalizers
        • resourceVersion
        • uid
    • マニフェストに、networking.gke.io/l4-regional-external 値に設定された spec.loadBalancerClass フィールドが含まれていることを確認します。ターゲット プール ベースのリージョン外部パススルー ネットワーク ロードバランサから移行する場合は、このフィールドを追加する必要があります。

    マニフェスト ファイルを保存し、保存した場所をメモします。この手順の残りの部分では、マニフェストを保存したパスを MANIFEST_FILE_PATH とします。

  4. 既存のロードバランサで使用される外部 IPv4 アドレスを保持するように、静的外部 IPv4 アドレス リソースを構成します。

    gcloud compute addresses create IP_ADDRESS_NAME --region=CLUSTER_REGION --addresses LB_EXTERNAL_IP
    

    次のように置き換えます。

    • IP_ADDRESS_NAME: 静的な外部 IP アドレスの名前。名前は、Compute Engine リソースの命名規則に沿ったものである必要があります。

    • CLUSTER_REGION: クラスタが含まれるリージョン。ゾーンクラスタの場合、これはクラスタのゾーンを含むリージョンにします。

    • LB_EXTERNAL_IP: 現在のロードバランサが使用する外部 IPv4 アドレス。この手順の 2 番目の手順で決定します。

  5. 静的な外部 IPv4 アドレスを持つリソースが作成されたことを確認します。

    gcloud compute addresses describe IP_ADDRESS_NAME --region=CLUSTER_REGION
    

    前の手順で説明したように変数を置き換えます。

  6. 既存の Service を削除します。

    kubectl delete svc SERVICE_NAME -n SERVICE_NAMESPACE
    
  7. Service マニフェスト ファイル MANIFEST_FILE_PATH に次のアノテーションを追加します。

    networking.gke.io/load-balancer-ip-addresses: IP_ADDRESS_NAME
    

    このアノテーションの詳細については、LoadBalancer Service パラメータの静的 IP アドレスをご覧ください。

  8. 更新された Service マニフェストをクラスタに適用します。

    kubectl apply -f MANIFEST_FILE_PATH
    
  9. (省略可)静的 IPv4 アドレス リソースを解放します。

    gcloud compute addresses delete IP_ADDRESS_NAME --region=CLUSTER_REGION
    

トラブルシューティング

このセクションでは、バックエンド サービスベースの外部 LoadBalancer Service を構成する際に発生する可能性のある問題について説明します。

重み付けロード バランシングの間違った外部トラフィック ポリシー

重み付きロード バランシングを有効にするときに externalTrafficPolicy: Local の値を設定しないと、次のコマンドを使用して Service の説明を取得するときに、警告イベントが発生することがあります。

kubectl describe svc store-v1-lb-svc`
Events:
  Type     Reason                   Age      From                     Message
  ----     ------                   ----     ----                     -------
  Warning  UnsupportedConfiguration 4m55s    loadbalancer-controller  Weighted load balancing by pods-per-node has no effect with External Traffic Policy: Cluster.

重み付きロード バランシングを有効にするには、externalTrafficPolicy: Local 値を設定する必要があります。

スタンダード ティアで IPv6 ロードバランサの作成中にエラーが発生する

IPv6 外部 LoadBalancer Service で Network tier Standard is not supported for IPv6 External Load Balancer メッセージを含む SyncExternalLoadBalancerFailed イベントが表示された場合は、Service マニフェストから cloud.google.com/network-tier: Standard アノテーションを削除します。IPv6 外部 LoadBalancer Service は、プレミアム ティアでのみサポートされます。

お客様所有 IPv6 アドレス(BYOIPv6)の構成時のエラー

外部 LoadBalancer Service にお客様所有の IPv6 アドレス(BYOIPv6)を構成すると、kubectl describe service SERVICE_NAME コマンドを実行したときに SyncExternalLoadBalancerFailed 警告イベントが表示されることがあります。イベント メッセージは Error ensuring Resource for L4 External LoadBalancer, err: で始まり、次のいずれかのエラーが続きます。

  • networking.gke.io/ip-collection-v6 is currently only supported for IPv6-only Services: Service マニフェストで spec.ipFamilyPolicy: SingleStack と spec.ipFamilies: ["IPv6"] が指定されていることを確認します。
  • static IPv6 address "ADDRESS_NAME" is a BYOIP address from IP collection "SUB_PREFIX", which is currently only supported for IPv6-only Services: Service マニフェストで spec.ipFamilyPolicy: SingleStack と spec.ipFamilies: ["IPv6"] が指定されていることを確認します。このエラーは、Service がデュアルスタックまたは IPv4 であるが、静的 BYOIPv6 アドレスを参照していることを示します。
  • cannot specify both networking.gke.io/load-balancer-subnet ("SUBNET") and networking.gke.io/ip-collection-v6 ("SUB_PREFIX") for LoadBalancer: networking.gke.io/ip-collection-v6 アノテーションを使用する場合は、Service マニフェストから networking.gke.io/load-balancer-subnet アノテーションを削除します。
  • invalid networking.gke.io/ip-collection-v6 "VALUE": expected projects/PROJECT/regions/REGION/publicDelegatedPrefixes/NAME または invalid networking.gke.io/ip-collection-v6 "VALUE": the public delegated prefix must be in the cluster region REGION: アノテーションを、クラスタと同じリージョンにあるサブプレフィックスの完全なリソース URL または部分的なリソースパス(projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME)に設定します。サブプレフィックス名のみは使用できません。
  • reserved address ("ADDRESS_NAME") is not valid, err: ipCollection mismatch, expected "SUB_PREFIX_A", actual: "SUB_PREFIX_B": networking.gke.io/ip-collection-v6 アノテーションが、静的 IPv6 アドレスの予約に使用したパブリック委任プレフィックスと一致していることを確認します。networking.gke.io/load-balancer-ip-addresses アノテーションを使用する場合は、networking.gke.io/ip-collection-v6 アノテーションを省略します。
  • googleapi: Error 403: Required 'compute.publicDelegatedPrefixes.use' permission for 'SUB_PREFIX', forbidden: パブリック委任プレフィックスを所有するプロジェクトの GKE サービス エージェント(service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com)に、Compute パブリック IP 管理者のロール(roles/compute.publicIpAdmin)を付与します。GKE は Service を同期するたびにこの権限を必要とするため、GKE が Service を作成した後にロールを削除しないでください。

次のステップ