このページでは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを構築する外部 LoadBalancer Service をデプロイする方法について説明します。このページを読む前に、次のことをよく理解しておいてください。
リージョン外部パススルー ネットワーク ロードバランサの一般的な詳細については、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサをご覧ください。
始める前に
作業を始める前に、次のタスクが完了していることを確認してください。
- Google Kubernetes Engine API を有効にする。 Google Kubernetes Engine API を有効化
- このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化します。gcloud CLI をインストール済みの場合は、
gcloud components updateコマンドを実行して最新のバージョンを取得します。以前のバージョンの gcloud CLI では、このドキュメントのコマンドを実行できない場合があります。
要件
このチュートリアルでは、
spec.loadBalancerClassを使用して、GCE_VM_IPNEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを作成します。このチュートリアルには、GKE バージョン 1.33.1-gke.1779000 以降が必要です。これは、spec.loadBalancerClassに GKE バージョン 1.33.1-gke.1779000 以降が必要なためです。バージョン 1.33.1-gke.1779000 以降は、NEG バックエンドまたは重み付きロードバランサ機能の最小 GKE バージョン要件も満たしています。クラスタのバージョンが 1.36 より前の場合は、クラスタで
HttpLoadBalancingアドオンが有効になっている必要があります。このアドオンはデフォルトで有効になっています。詳細については、HttpLoadBalancing の前提条件をご覧ください。外部 LoadBalancer Service で Cloud Logging を有効にするには、GKE クラスタでバージョン 1.36.0-gke.2459000 以降を使用する必要があります。
シングルスタック IPv6 外部 LoadBalancer Service でお客様所有 IP(BYOIP)IPv6 アドレスを使用するには、GKE クラスタでバージョン 1.37.1-gke.2097000 以降を使用する必要があります。
クラスタを選択する
新しいクラスタを作成することも、要件を満たす既存のクラスタを選択することもできます。
新しいクラスタを作成する
Autopilot
新しい Autopilot クラスタを作成するには:
gcloud container clusters create-auto CLUSTER_NAME \
--release-channel=RELEASE_CHANNEL \
--cluster-version=VERSION \
--location=COMPUTE_LOCATION
次のように置き換えます。
CLUSTER_NAME: 新しいクラスタの名前。RELEASE_CHANNEL: クラスタの GKE リリース チャンネルの名前。VERSION: クラスタの GKE バージョン。COMPUTE_LOCATION: クラスタの Compute Engine のリージョン。
LoadBalancer Service の VPC ファイアウォール ルールの自動作成を無効にするには、フラグ --disable-l4-lb-firewall-reconciliation を指定します。詳しくは、GKE LoadBalancer Service のユーザー管理ファイアウォール ルールをご覧ください。
Standard
新しい Standard クラスタを作成するには:
gcloud container clusters create CLUSTER_NAME \
--release-channel=RELEASE_CHANNEL \
--cluster-version=VERSION \
--location=COMPUTE_LOCATION
次のように置き換えます。
CLUSTER_NAME: 新しいクラスタの名前。RELEASE_CHANNEL: クラスタの GKE リリース チャンネルの名前。VERSION: クラスタの GKE バージョン。COMPUTE_LOCATION: クラスタの Compute Engine のリージョン。
LoadBalancer Service の VPC ファイアウォール ルールの自動作成を無効にするには、フラグ --disable-l4-lb-firewall-reconciliation を指定します。詳しくは、GKE LoadBalancer Service のユーザー管理ファイアウォール ルールをご覧ください。
既存のクラスタをアップグレードする
gcloud CLI を使用して既存のクラスタを更新します。
gcloud container clusters upgrade CLUSTER_NAME \
--cluster-version=VERSION \
--master \
--location=COMPUTE_LOCATION
次のように置き換えます。
CLUSTER_NAME: 既存のクラスタの名前。VERSION: クラスタをアップグレードする特定の GKE バージョン。詳細については、コントロール プレーンの手動アップグレードをご覧ください。COMPUTE_LOCATION: クラスタの Compute Engine のリージョン。
LoadBalancer Service の VPC ファイアウォール ルールの自動作成を無効にするには、フラグ --disable-l4-lb-firewall-reconciliation を指定します。詳しくは、GKE LoadBalancer Service のユーザー管理ファイアウォール ルールをご覧ください。
サンプル ワークロードをデプロイする
外部 LoadBalancer Service のサービング Pod を提供する次のサンプル ワークロードをデプロイします。
次のサンプル Deployment を
store-deployment.yamlとして保存します。apiVersion: apps/v1 kind: Deployment metadata: name: store spec: replicas: 20 selector: matchLabels: app: store template: metadata: labels: app: store spec: containers: - image: registry.k8s.io/echoserver:1.10 imagePullPolicy: Always name: echoserver ports: - name: http containerPort: 8080 readinessProbe: httpGet: path: /healthz port: 8080 scheme: HTTPマニフェストをクラスタに適用します。
kubectl apply -f store-deployment.yamlDeployment に 20 のサービング Pod があることを確認します。
kubectl get pods出力は次のようになります。
NAME READY STATUS RESTARTS AGE store-cdb9bb4d6-s25vw 1/1 Running 0 10s store-cdb9bb4d6-vck6s 1/1 Running 0 10s ....
外部 LoadBalancer Service を作成する
外部 LoadBalancer Service を作成して、サンプル ワークロードを公開します。
次の Service マニフェストを
store-v1-lb-svc.yamlとして保存します。apiVersion: v1 kind: Service metadata: name: store-v1-lb-svc spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external selector: app: store ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080マニフェストをクラスタに適用します。
kubectl apply -f store-v1-lb-svc.yaml
このサンプル マニフェストについては、次の点に注意してください。
クラスタで GKE 1.33.1-gke.1779000 ~ 1.36 が実行されている場合は、マニフェストがクラスタに初めて適用されるときに、
spec.loadBalancerClassフィールドをnetworking.gke.io/l4-regional-external値に設定する必要があります。このフィールドは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを作成するように GKE に指示します。GKE 1.37 以降では、この構成がデフォルトの動作であり、このフィールドは必要ありません。IPv6 トラフィックや重み付けロード バランシングなどの機能をサポートするには、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサが必要です。GKE は、クラスタのバージョンに応じて、
GCE_VM_IPNEG バックエンドまたは非マネージド インスタンス グループ バックエンドを使用します。バージョン 1.32.2-gke.1652000 のクラスタでは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサはGCE_VM_IPNEG を使用します。以前のバージョンでは、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサは非マネージド インスタンス グループを使用します。この
spec.loadBalancerClassフィールドは不変であり、Service の作成時に設定する必要があります。このフィールドは変更できないため、既存の LoadBalancer Service のマニフェストで追加または変更することはできません。そうしようとするとエラーが発生し、Service の更新が失敗します。デュアルスタック クラスタにシングルスタック IPv6 Service を作成するには、
spec.ipFamilyPolicyフィールドの値をSingleStackに設定し、spec.ipFamiliesフィールドの値をIPv6に設定します。シングルスタック IPv6 クラスタでは、これらはデフォルト値であり、省略できます。詳細については、IPv6 LoadBalancer Service をご覧ください。
シングルスタック IPv6 クラスタに外部 LoadBalancer Service を作成する
シングルスタック IPv6 クラスタまたはデュアルスタック クラスタにシングルスタック IPv6 外部 LoadBalancer Service を作成する場合、ロードバランサで使用されるサブネットワークは、クラスタのノード サブネットワークが EXTERNAL または INTERNAL の IPv6 アクセスタイプを使用しているかどうかによって異なります。デュアルスタック クラスタでは、spec.ipFamilyPolicy フィールドの値を SingleStack に設定し、spec.ipFamilies フィールドの値を IPv6 に設定する必要があります(シングルスタック IPv6 クラスタでは、これらはデフォルト値であり、省略できます)。IPv6 外部 LoadBalancer Service は、プレミアム ティアでバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを常に使用します。次の例では、spec.loadBalancerClass フィールドを明示的に networking.gke.io/l4-regional-external に設定しています。ただし、このロードバランサ バリアントは GKE バージョン 1.37 以降のデフォルトです。
外部ノード(
EXTERNALGUA アクセスタイプ)を持つクラスタ: クラスタノードがグローバル ユニキャスト アドレス(GUA)を持つ外部サブネットワークで実行されている場合、外部ロードバランサは既存のノード サブネットワークを自動的に使用します。カスタム サブネットワーク アノテーションを使用せずに Service を作成します。apiVersion: v1 kind: Service metadata: name: ext-ipv6-svc spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - protocol: TCP port: 8080 targetPort: 8080内部ノードを持つクラスタ(
INTERNALULA アクセスタイプ): クラスタノードが、一意のローカル ユニキャスト アドレス(ULA)を持つ内部サブネットワークで実行されている場合、外部ロードバランサはそのサブネットワークを直接使用できません。専用の外部(EXTERNAL)IPv6 サブネットワークをプロビジョニングし、Service でnetworking.gke.io/load-balancer-subnetアノテーションを使用して参照する必要があります。専用の外部 IPv6 サブネットワークを作成します。
gcloud compute networks subnets create SUBNET_NAME \ --stack-type=ipv6_only \ --ipv6-access-type=EXTERNAL \ --network=NETWORK_NAME \ --region=COMPUTE_REGION次のように置き換えます。
SUBNET_NAME: 作成するサブネットの名前。NETWORK_NAME: このサブネットを作成する VPC ネットワークの名前。COMPUTE_REGION: サブネットの Compute Engine のリージョン。
networking.gke.io/load-balancer-subnetアノテーションで専用サブネットワーク名を参照する Service を作成します。apiVersion: v1 kind: Service metadata: name: ext-ipv6-svc annotations: networking.gke.io/load-balancer-subnet: SUBNET_NAME spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - protocol: TCP port: 8080 targetPort: 8080
割り当てられた Service の IP アドレスを確認します。
kubectl get svc ext-ipv6-svc出力で、
CLUSTER-IP列とEXTERNAL-IP列(パブリック GUA アドレス)に値が入力されていることを確認できます。NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ext-ipv6-svc LoadBalancer 2600:2d00:0:4:1a1e:d3b3:de4d:c401 2600:1900:4000:2714:8000:0:0:0 80:31114/TCP 51s
詳細については、IPv6 LoadBalancer Service をご覧ください。
お客様所有 IPv6 アドレス(BYOIPv6)を使用する
GKE バージョン 1.37.1-gke.2097000 以降では、EXTERNAL_IPV6_FORWARDING_RULE_CREATION モードでパブリック委任プレフィックス(PDP)のリージョン IPv6 サブプレフィックスからお客様所有 IPv6 アドレス(BYOIPv6)を使用するように、シングルスタック IPv6 外部 LoadBalancer Service を構成できます。
Service を作成する前に、次の要件を満たしていることを確認してください。
- クラスタで GKE バージョン 1.37.1-gke.2097000 以降が実行されている。クラスタはシングルスタック IPv6 またはデュアルスタック(どちらの場合も Service はシングルスタック IPv6 である必要があります)にできます。クラスタのサブネットには、
INTERNALまたはEXTERNALの IPv6 アクセスタイプを設定できます。アドレス範囲はパブリック委任プレフィックスから取得されるため、外部 IPv6 サブネット範囲は必要ありません。 - クラスタと同じリージョンに、
EXTERNAL_IPV6_FORWARDING_RULE_CREATIONモードのリージョン IPv6 サブプレフィックスがあり、割り振り可能なプレフィックス長が/96で、ステータスがANNOUNCEDである。手順については、IPv6 サブプレフィックスを作成するをご覧ください。 GKE サービス エージェント(
service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com)には、パブリック委任プレフィックスを所有するプロジェクトに対する Compute パブリック IP 管理者ロール(roles/compute.publicIpAdmin)が付与されています。ロールを付与するには、次のコマンドを実行します。gcloud projects add-iam-policy-binding PDP_PROJECT_ID \ --member="serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \ --role="roles/compute.publicIpAdmin"次のように置き換えます。
PDP_PROJECT_ID: パブリック委任プレフィックスを所有するプロジェクトの ID。PROJECT_NUMBER: クラスタを含むプロジェクトのプロジェクト番号。
この Service は、
spec.loadBalancerClassフィールドをnetworking.gke.io/l4-regional-externalに設定し、プレミアム ティアを使用するシングルスタック IPv6 Service(spec.ipFamilyPolicy: SingleStackとspec.ipFamilies: ["IPv6"])です。デュアルスタック サービス、IPv4 サービス、スタンダード ティアは BYOIPv6 ではサポートされていません。Service に
networking.gke.io/load-balancer-subnetアノテーションが含まれていません。このアノテーションはnetworking.gke.io/ip-collection-v6アノテーションと組み合わせることはできません。
エフェメラル外部 BYOIPv6 アドレス範囲を割り振るか、予約済みの静的外部 BYOIPv6 アドレス範囲を使用するかを選択します。
エフェメラル外部 BYOIPv6 アドレス範囲:
networking.gke.io/ip-collection-v6アノテーションを Service マニフェストに追加し、完全なリソース URL またはリージョン サブプレフィックスの部分的なリソースパスに設定します。apiVersion: v1 kind: Service metadata: name: ext-byoipv6-svc annotations: networking.gke.io/ip-collection-v6: "projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME" spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080次のように置き換えます。
PROJECT_ID: サブプレフィックスを含むプロジェクトの ID。REGION: クラスタのリージョン。SUB_PREFIX_NAME:EXTERNAL_IPV6_FORWARDING_RULE_CREATIONモードのリージョン サブプレフィックスの名前。
後で
networking.gke.io/ip-collection-v6アノテーションを変更すると、GKE は新しいプレフィックスの新しいアドレスを使用して IPv6 転送ルールを再作成します。これにより、Service へのトラフィックが一時的に中断されます。アノテーションを削除すると、Service は外部 IPv6 範囲を持つサブネットから Google 提供のアドレスに戻ります。クラスタのサブネットに内部 IPv6 範囲がある場合は、networking.gke.io/load-balancer-subnetアノテーションを同時に追加します。静的外部 BYOIPv6 アドレス範囲: サブプレフィックスからリージョン静的外部
/96IPv6 アドレス範囲を予約し、networking.gke.io/load-balancer-ip-addressesアノテーションを使用して参照します。サブプレフィックスからリージョン静的外部 IPv6 アドレス範囲を作成します。
gcloud compute addresses create STATIC_BYOIPV6_NAME \ --region=REGION \ --ip-version=IPV6 \ --endpoint-type=NETLB \ --ip-collection=projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME次のように置き換えます。
STATIC_BYOIPV6_NAME: 静的 IPv6 アドレス リソースの名前。REGION: クラスタのリージョン。PROJECT_ID: サブプレフィックスを含むプロジェクトの ID。SUB_PREFIX_NAME:EXTERNAL_IPV6_FORWARDING_RULE_CREATIONモードのリージョン サブプレフィックスの名前。
静的外部 BYOIPv6 アドレス範囲を使用する場合、
networking.gke.io/ip-collection-v6アノテーションは省略可能です。このアノテーションを設定する場合は、アドレス範囲を予約したサブプレフィックスと同じサブプレフィックスを参照する必要があります。Service マニフェストで、予約済みの静的 IPv6 アドレスのリソース名を参照します。
apiVersion: v1 kind: Service metadata: name: ext-static-byoipv6-svc annotations: networking.gke.io/load-balancer-ip-addresses: STATIC_BYOIPV6_NAME spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080
詳細については、お客様所有 IPv6 アドレス(BYOIPv6)をご覧ください。
重み付きロード バランシングを有効にする
各ノードに存在するサービング Pod、準備完了 Pod、終了していない Pod の数に基づいて、新しい接続をノードに比例して分散するには、Service マニフェストに networking.gke.io/weighted-load-balancing:
"pods-per-node" アノテーションを追加して、重み付けロード バランシングを有効にします。
networking.gke.io/weighted-load-balancing: "pods-per-node"アノテーションをstore-v1-lb-svc.yamlService マニフェストに追加し、次のようにexternalTrafficPolicy: Local値も設定します。apiVersion: v1 kind: Service metadata: name: store-v1-lb-svc annotations: networking.gke.io/weighted-load-balancing: "pods-per-node" spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external externalTrafficPolicy: Local selector: app: store ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080マニフェストをクラスタに適用します。
kubectl apply -f store-v1-lb-svc.yaml
重み付きロード バランシングに関するこの例については、次の点に注意してください。
Service マニフェストは
externalTrafficPolicy: Localを使用します。重み付きロード バランシングを有効にする必要がない場合は、externalTrafficPolicy: Clusterを使用することもできます。externalTrafficPolicyがノードグループを定義する方法、どのノードがロードバランサのヘルスチェックに合格するのか、パケットの処理方法の詳細については、LoadBalancer Service のコンセプトをご覧ください。重み付けロード バランシングを有効にしても、GKE で
externalTrafficPolicy: Clusterを使用できないわけではありませんが、externalTrafficPolicy: Clusterではロードバランサの後にパケットが別のノードに転送される可能性があるため、重み付けロード バランシングが事実上無効になります。
kubectl edit svc service-name を使用して、既存の外部 LoadBalancer Service で重み付けされたロード バランシングを有効にすることもできます。kubectl edit コマンドを使用すると、構成したテキスト エディタで既存のロードバランサの Service マニフェストが開きます。ここで、マニフェストを変更して保存できます。既存の外部 LoadBalancer Service を編集する場合は、次の点に注意してください。
既存の外部 LoadBalancer Service によって、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサが作成されている必要があります。1.37 より前の GKE バージョンを実行しているクラスタの場合、この要件は、マニフェストがクラスタに最初に適用されたときに、既存の外部 LoadBalancer Service の
spec.loadBalancerClassフィールドがnetworking.gke.io/l4-regional-externalに設定されている必要があることを意味します。ターゲット プールベースのリージョン外部パススルー ネットワーク ロードバランサを使用する既存の外部 LoadBalancer Service に
networking.gke.io/weighted-load-balancing: "pods-per-node"アノテーションを追加しても効果はありません。既存の外部 LoadBalancer Service マニフェストを更新する場合は、
externalTrafficPolicy: Local値を設定してください。externalTrafficPolicy: Clusterを使用すると、パケットがロードバランサの後に別のノードに転送される可能性があるため、重み付けロード バランシングが無効になります。
重み付きロード バランシングを無効にする
各ノードに存在するサービング Pod の数に関係なく、新しい接続をノードに分散するには、Service マニフェストから networking.gke.io/weighted-load-balancing: "pods-per-node" アノテーションを削除して、重み付けロード バランシングを無効にします。
バックエンド サービスのロギングを有効にする
バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサのログの有効化、無効化、表示を行えます。
Cloud Logging を構成するには、ロギング設定を指定する L4LBConfig カスタム リソースを作成します。L4LBConfig リソースは、Service マニフェストの Kubernetes Service にリンクされています。マニフェストを適用すると、GKE コントローラによってバックエンド サービスのロギングが構成されます。L4LBConfig リソースを Service にリンクしない場合、コントローラはロギング構成の管理を停止し、バックエンド サービスを最後の既知の状態のままにします。詳細については、コースト動作についてをご覧ください。
次のフィールドを構成できます。
enabled:trueに設定すると、この Service のロギングが有効になり、Cloud Logging でログを使用できます。それ以外の場合、この Service のロギングは無効になります。sampleRate:0~1,000,000(デフォルト)の値を指定します。0はパケットがログに記録されないことを意味し、1,000,000はパケットの 100% がログに記録されることを意味します。sampleRateフィールドは省略可能で、enableフィールドの値がtrueに設定されている場合にのみ機能します。optionalMode: ロードバランサ用に生成されたログに含めるオプションのメタデータ フィールドを制御します。このフィールドには、次のいずれかの文字列値を指定できます。EXCLUDE_ALL_OPTIONAL:optionalModeが指定されていない場合のデフォルト設定。設定すると、オプション フィールドはログに含まれず、最も簡潔なログ形式になります。INCLUDE_ALL_OPTIONAL: 使用可能なすべてのオプション フィールドのロギングを有効にして、最も詳細なログエントリを提供します。CUSTOM: ログに含めるオプション フィールドのカスタムリストを指定します。CUSTOMモードでは、optionalFieldsパラメータを使用して、必要なフィールドのカンマ区切りのリストを指定する必要があります。
optionalFields: フィールド名のカンマ区切りの文字列。生成されたログに含めるオプションのメタデータ フィールドを正確に定義します。このフィールドは、optionalModeがCUSTOMに設定されている場合にのみ使用されます。それ以外の場合、値は無視されます。
Cloud Logging を構成するには、Service リソースと同じ Namespace に L4LBConfig リソースを作成します。次の L4LBConfig マニフェストの例では、Cloud Logging を有効にし、特定のロードバランサ Service のリクエストの 50% にサンプルレートを設定しています。
次のマニフェストを
svc-l4lb-config.yamlとして保存します。apiVersion: networking.gke.io/v1 kind: L4LBConfig metadata: name: svc-l4lb-config namespace: default spec: logging: enabled: true # must be included sampleRate: 500000 optionalMode: "INCLUDE_ALL_OPTIONAL"L4LBConfig マニフェストをクラスタに適用します。
kubectl apply -f svc-l4lb-config.yamlnetworking.gke.io/l4lb-configアノテーションをstore-v1-lb-svc.yamlService マニフェストに追加します。apiVersion: v1 kind: Service metadata: name: store-v1-lb-svc annotations: cloud.google.com/l4-rbs: "enabled" networking.gke.io/l4lb-config: "svc-l4lb-config" spec: type: LoadBalancer selector: app: store ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080Service マニフェストをクラスタに適用します。
kubectl apply -f store-v1-lb-svc.yaml
外部 LoadBalancer Service とそのコンポーネントを確認する
Service が実行されていることを確認します。
kubectl get svc store-v1-lb-svc出力は次のようになります。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE store-v1-lb-svc LoadBalancer 10.44.196.160 35.193.28.231 8080:32466/TCP 11mGKE は、リージョン外部パススルー ネットワーク ロードバランサの
EXTERNAL_IPを割り当てました。ロードバランサへの接続をテストします。
curl EXTERNAL_IP:PORT次のように置き換えます。
EXTERNAL_IP: リージョン外部パススルー ネットワーク ロードバランサに割り振られた IP アドレス。PORT: リージョン外部パススルー ネットワーク ロードバランサに割り当てられたポート番号。
出力は次のようになります。
Hostname: store-v1-lb-svc-cdb9bb4d6-hflxd Pod Information: -no pod information available- Server values: server_version=nginx: 1.13.3 - lua: 10008 Request Information: client_address=10.128.0.50 method=GET real path=/ query= request_version=1.1 request_scheme=http request_uri=EXTERNAL_IP Request Headers: accept=*/* host=EXTERNAL_IP user-agent=curl/7.81.0 Request Body: -no body in request-LoadBalancer Service と、Google Cloud リソースを記述する一連のアノテーションを確認します。
kubectl describe svc store-v1-lb-svc出力は次のようになります。
Name: store-v1-lb-svc Namespace: default Labels: <none> Annotations: cloud.google.com/neg-status: {"network_endpoint_groups":{"0":"k8s2-qvveq1d8-default-my-service-ext-5s55db85"},"zones":["us-central1-c"]} #This annotation appears in the output only if the service uses NEG backends. networking.gke.io/weighted-load-balancing: pods-per-node #This annotation appears in the output only if weighted load balancing is enabled. service.kubernetes.io/backend-service: k8s2-qvveq1d8-default-my-service-ext-5s55db85 service.kubernetes.io/firewall-rule: k8s2-qvveq1d8-default-my-service-ext-5s55db85 service.kubernetes.io/firewall-rule-for-hc: k8s2-qvveq1d8-default-my-service-ext-5s55db85-fw service.kubernetes.io/healthcheck: k8s2-qvveq1d8-default-my-service-ext-5s55db85 service.kubernetes.io/tcp-forwarding-rule: a808124abf8ce406ca51ab3d4e7d0b7d Selector: app=store Type: LoadBalancer IP Family Policy: SingleStack IP Families: IPv4 IP: 10.18.102.23 IPs: 10.18.102.23 LoadBalancer Ingress: 35.184.160.229 Port: tcp-port 8080/TCP TargetPort: 8080/TCP NodePort: tcp-port 31864/TCP Endpoints: 10.20.1.28:8080,10.20.1.29:8080 Session Affinity: None External Traffic Policy: Local HealthCheck NodePort: 30394 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal ADD 4m55s loadbalancer-controller default/my-service-extバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサとその Google Cloud リソースが正常に作成されたことを示すフィールドがいくつかあります。
Eventsフィールド。LoadBalancer Service とそのリソースが正常に作成された場合、このフィールドは空になります。エラーが発生した場合は、ここに表示されます。Annotationsのリストが有効: GKE は、読み取り専用アノテーションの次のリストを Service マニフェストに追加します。名前がservice.kubernetes.io/で始まる各アノテーションは、ロードバランサの一部として作成された、またはロードバランサをサポートするGoogle Cloud リソースの名前を示すために使用されます。networking.gke.io/weighted-load-balancing: pods-per-nodeアノテーションは、重み付きロード バランシングが適用され、ロードバランサが各ノードで実行されている Pod の数に基づいてバックエンド Pod にトラフィックを分散することを示します。service.kubernetes.io/backend-serviceアノテーションは、ロードバランサのバックエンド サービスの名前を示します。service.kubernetes.io/healthcheckアノテーションは、バックエンド サービスによって使用されるロードバランサのヘルスチェックの名前を示します。service.kubernetes.io/tcp-forwarding-ruleアノテーションまたはservice.kubernetes.io/udp-forwarding-ruleアノテーションは、ロードバランサの転送ルールの名前を示します。service.kubernetes.io/firewall-ruleアノテーションは、クラスタノードへのトラフィックを許可するために作成されたファイアウォール ルールの名前を示します。このファイアウォール ルールのソース範囲は、spec.loadBalancerSourceRanges[]を使用してカスタマイズできます。LoadBalancer Service のファイアウォール ルールの詳細については、ファイアウォール ルールと送信元 IP アドレスの許可リストをご覧ください。service.kubernetes.io/firewall-rule-for-hcアノテーションは、ロードバランサのヘルスチェックに必要なファイアウォール ルールの名前を示します。cloud.google.com/neg-statusアノテーションは、ロードバランサで使用される NEG とそのゾーンの両方を示します。このアノテーションは、以下の両方の条件を満たす場合にのみ存在します。- マニフェストがクラスタに適用されたときに、クラスタは GKE バージョン 1.32.2-gke.1652000 以降を実行していた。
- クラスタに適用されたときに、
networking.gke.io/l4-regional-external値に設定されたspec.loadBalancerClassフィールドが Service マニフェストに存在していた。
外部 LoadBalancer Service のロードバランサ リソースとファイアウォール ルールが作成されていることを確認します。
転送ルールを表示するには、次のコマンドを実行します。
gcloud compute forwarding-rules describe FWD_RULE_NAME \ --region=REGION_NAME次のように置き換えます。
FWD_RULE_NAME: 読み取り専用アノテーションservice.kubernetes.io/tcp-forwarding-ruleまたはservice.kubernetes.io/udp-forwarding-ruleによって提供される転送ルール名。これらのアノテーションを確認するには、kubectl describe svc SERVICE_NAMEを実行します。REGION_NAME: クラスタを含む Google Cloud リージョン。ゾーンクラスタの場合、リージョンにはクラスタが使用するゾーンが含まれています。
バックエンド サービスを表示するには、次のコマンドを実行します。
gcloud compute backend-services describe BACKEND_SERVICE_NAME \ --region=REGION_NAME次のように置き換えます。
BACKEND_SERVICE_NAME:service.kubernetes.io/backend-service読み取り専用アノテーションによって提供されるバックエンド サービスの名前。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAMEを実行します。REGION_NAME: クラスタを含む Google Cloud リージョン。ゾーンクラスタの場合、リージョンにはクラスタが使用するゾーンが含まれています。
ロードバランサのヘルスチェックを表示するには、次のコマンドを実行します。
gcloud compute health-checks describe HEALTH_CHECK_NAME \ --region=REGION_NAME次のように置き換えます。
HEALTH_CHECK_NAME: ロードバランサのヘルスチェック名。ヘルスチェックの名前は、service.kubernetes.io/healthcheck読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAMEを実行します。REGION_NAME: クラスタを含む Google Cloud リージョン。ゾーンクラスタの場合、リージョンにはクラスタが使用するゾーンが含まれています。
ファイアウォール ルールを表示するには、次のコマンドを実行します。
gcloud compute firewall-rules describe FIREWALL_RULE_NAMEgcloud compute firewall-rules describe HEALTH_CHECK_FIREWALL_RULE_NAME次のように置き換えます。
FIREWALL_RULE_NAME: ロードバランサへのトラフィックを許可するファイアウォール ルールの名前。このファイアウォール ルールの名前は、service.kubernetes.io/firewall-rule読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAMEを実行します。HEALTH_CHECK_FIREWALL_RULE_NAME: ロードバランサのバックエンド(クラスタのノード)のヘルスチェックを許可するファイアウォール ルールの名前。このファイアウォール ルールの名前は、service.kubernetes.io/firewall-rule-for-hc読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAMEを実行します。
ロードバランサの NEG を確認するには、次のコマンドを実行します。
gcloud compute network-endpoint-groups describe NEG_NAME \ --zone=ZONE_NAME次のように置き換えます。
NEG_NAME: ロードバランサの NEG 名。NEG の名前は、cloud.google.com/neg-status読み取り専用アノテーションによって提供されます。この読み取り専用アノテーションを確認するには、kubectl describe svc SERVICE_NAMEコマンドを実行します。アノテーションには、ロードバランサで使用される NEG 名とゾーンに関する情報を含む構造化データが含まれています。ゾーンクラスタの場合、このアノテーションには 1 つの NEG に関する情報が含まれます。リージョン クラスタの場合、このアノテーションには、クラスタが配置されている各ゾーンの NEG に関する情報が含まれます。ZONE_NAME: NEG を含む Google Cloud ゾーン。
バックエンド サービスで Cloud Logging が有効になっていることを確認します。
kubectl get svc SERVICE_NAME --output yaml次のように置き換えます。
SERVICE_NAME: バックエンド サービスの名前。
出力で、
Status.ConditionsフィールドにType: LoggingConfigManagedとReason: Reconciledが含まれていることを確認します。
外部 LoadBalancer Service を削除する
サンプルの store-v1-lb-svc 外部 LoadBalancer Service を削除するには、次のコマンドを使用します。
kubectl delete service store-v1-lb-svc
GKE は、外部 LoadBalancer Service 用に作成したすべてのロードバランサ リソースを自動的に削除します。
GCE_VM_IP NEG バックエンドに移行する
外部 LoadBalancer Service は、GKE 1.37 以降で作成された場合、spec.loadBalancerClass フィールドに networking.gke.io/l4-regional-external 値を指定した場合、または cloud.google.com/l4-rbs: "enabled" アノテーションを含めた場合に、バックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを作成します。クラスタの GKE バージョンに応じて、GKE は GCE_VM_IP ネットワーク エンドポイント グループまたは非マネージド インスタンス グループをバックエンドとして使用します。
Service マニフェストが GKE バージョン 1.32.2-gke.1652000 以降を実行しているクラスタに適用された場合、作成されるリージョン外部パススルー ネットワーク ロードバランサは
GCE_VM_IPネットワーク エンドポイント グループ(NEG)バックエンドを使用します。Service マニフェストが以前の GKE バージョンを実行しているクラスタに適用された場合、作成されるリージョン外部パススルー ネットワーク ロードバランサは非マネージド インスタンス グループのバックエンドを使用します。
詳しくは、LoadBalancer Service の概要のノードのグループ化をご覧ください。
既存の Service が次のいずれかのロードバランサを使用している場合は、GCE_VM_IP NEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサを利用する新しい外部 LoadBalancer Service を作成できます。
- インスタンス グループ バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサ
- ターゲット プール ベースのリージョン外部パススルー ネットワーク ロードバランサ
GCE_VM_IP NEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサに切り替えるときに、外部 IPv4 アドレスを保持するには(IPv6 外部 LoadBalancer Service では、この移行は必要ありません)。
まだの場合は、クラスタを GKE バージョン 1.32.2-gke.1652000 以降にアップグレードします。
GCE_VM_IPNEG バックエンドを使用するバックエンド サービスベースのリージョン外部パススルー ネットワーク ロードバランサに切り替える外部 LoadBalancer Service を特定します。次のコマンドを使用して Service の説明を取得します。kubectl describe svc SERVICE_NAME -n SERVICE_NAMESPACE次のように置き換えます。
SERVICE_NAME: 既存の外部 LoadBalancer Service の名前。SERVICE_NAMESPACE: 既存の外部 LoadBalancer Service の名前空間。
コマンド出力で、
LoadBalancer Ingressの後に表示されているロードバランサの外部 IPv4 アドレスをメモします。既存の LoadBalancer Service の Service マニフェストを取得します。
過去にクラスタに適用した元の Service マニフェストがある場合は、そのマニフェストを使用することをおすすめします。たとえば、ソース管理リポジトリにこのマニフェストが存在する場合があります。
元の Service マニフェストがない場合は、次の手順で作成します。
次のコマンドを実行して、ロードバランサの現在の実装を表す Service マニフェストの YAML コピーを取得します。
kubectl get svc SERVICE_NAME -n SERVICE_NAMESPACE -o yamlマニフェスト YAML をテキスト エディタにコピーします。
status属性と次のmetadata属性を削除します。- 以下のすべてのアノテーションが対象です。
kubectl.kubernetes.io/last-applied-configurationアノテーションservice.kubernetes.ioで始まるすべてのアノテーション
creationTimestampfinalizersresourceVersionuid
- 以下のすべてのアノテーションが対象です。
マニフェストに、
networking.gke.io/l4-regional-external値に設定されたspec.loadBalancerClassフィールドが含まれていることを確認します。ターゲット プール ベースのリージョン外部パススルー ネットワーク ロードバランサから移行する場合は、このフィールドを追加する必要があります。
マニフェスト ファイルを保存し、保存した場所をメモします。この手順の残りの部分では、マニフェストを保存したパスを MANIFEST_FILE_PATH とします。
既存のロードバランサで使用される外部 IPv4 アドレスを保持するように、静的外部 IPv4 アドレス リソースを構成します。
gcloud compute addresses create IP_ADDRESS_NAME --region=CLUSTER_REGION --addresses LB_EXTERNAL_IP次のように置き換えます。
IP_ADDRESS_NAME: 静的な外部 IP アドレスの名前。名前は、Compute Engine リソースの命名規則に沿ったものである必要があります。CLUSTER_REGION: クラスタが含まれるリージョン。ゾーンクラスタの場合、これはクラスタのゾーンを含むリージョンにします。LB_EXTERNAL_IP: 現在のロードバランサが使用する外部 IPv4 アドレス。この手順の 2 番目の手順で決定します。
静的な外部 IPv4 アドレスを持つリソースが作成されたことを確認します。
gcloud compute addresses describe IP_ADDRESS_NAME --region=CLUSTER_REGION前の手順で説明したように変数を置き換えます。
既存の Service を削除します。
kubectl delete svc SERVICE_NAME -n SERVICE_NAMESPACEService マニフェスト ファイル
MANIFEST_FILE_PATHに次のアノテーションを追加します。networking.gke.io/load-balancer-ip-addresses: IP_ADDRESS_NAMEこのアノテーションの詳細については、LoadBalancer Service パラメータの静的 IP アドレスをご覧ください。
更新された Service マニフェストをクラスタに適用します。
kubectl apply -f MANIFEST_FILE_PATH(省略可)静的 IPv4 アドレス リソースを解放します。
gcloud compute addresses delete IP_ADDRESS_NAME --region=CLUSTER_REGION
トラブルシューティング
このセクションでは、バックエンド サービスベースの外部 LoadBalancer Service を構成する際に発生する可能性のある問題について説明します。
重み付けロード バランシングの間違った外部トラフィック ポリシー
重み付きロード バランシングを有効にするときに externalTrafficPolicy: Local の値を設定しないと、次のコマンドを使用して Service の説明を取得するときに、警告イベントが発生することがあります。
kubectl describe svc store-v1-lb-svc`
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning UnsupportedConfiguration 4m55s loadbalancer-controller Weighted load balancing by pods-per-node has no effect with External Traffic Policy: Cluster.
重み付きロード バランシングを有効にするには、externalTrafficPolicy: Local 値を設定する必要があります。
スタンダード ティアで IPv6 ロードバランサの作成中にエラーが発生する
IPv6 外部 LoadBalancer Service で Network tier Standard is not supported for IPv6 External Load Balancer メッセージを含む SyncExternalLoadBalancerFailed イベントが表示された場合は、Service マニフェストから cloud.google.com/network-tier: Standard アノテーションを削除します。IPv6 外部 LoadBalancer Service は、プレミアム ティアでのみサポートされます。
お客様所有 IPv6 アドレス(BYOIPv6)の構成時のエラー
外部 LoadBalancer Service にお客様所有の IPv6 アドレス(BYOIPv6)を構成すると、kubectl describe service SERVICE_NAME コマンドを実行したときに SyncExternalLoadBalancerFailed 警告イベントが表示されることがあります。イベント メッセージは Error ensuring Resource for L4 External LoadBalancer, err: で始まり、次のいずれかのエラーが続きます。
networking.gke.io/ip-collection-v6 is currently only supported for IPv6-only Services: Service マニフェストでspec.ipFamilyPolicy: SingleStackとspec.ipFamilies: ["IPv6"]が指定されていることを確認します。static IPv6 address "ADDRESS_NAME" is a BYOIP address from IP collection "SUB_PREFIX", which is currently only supported for IPv6-only Services: Service マニフェストでspec.ipFamilyPolicy: SingleStackとspec.ipFamilies: ["IPv6"]が指定されていることを確認します。このエラーは、Service がデュアルスタックまたは IPv4 であるが、静的 BYOIPv6 アドレスを参照していることを示します。cannot specify both networking.gke.io/load-balancer-subnet ("SUBNET") and networking.gke.io/ip-collection-v6 ("SUB_PREFIX") for LoadBalancer:networking.gke.io/ip-collection-v6アノテーションを使用する場合は、Service マニフェストからnetworking.gke.io/load-balancer-subnetアノテーションを削除します。invalid networking.gke.io/ip-collection-v6 "VALUE": expected projects/PROJECT/regions/REGION/publicDelegatedPrefixes/NAMEまたはinvalid networking.gke.io/ip-collection-v6 "VALUE": the public delegated prefix must be in the cluster region REGION: アノテーションを、クラスタと同じリージョンにあるサブプレフィックスの完全なリソース URL または部分的なリソースパス(projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME)に設定します。サブプレフィックス名のみは使用できません。reserved address ("ADDRESS_NAME") is not valid, err: ipCollection mismatch, expected "SUB_PREFIX_A", actual: "SUB_PREFIX_B":networking.gke.io/ip-collection-v6アノテーションが、静的 IPv6 アドレスの予約に使用したパブリック委任プレフィックスと一致していることを確認します。networking.gke.io/load-balancer-ip-addressesアノテーションを使用する場合は、networking.gke.io/ip-collection-v6アノテーションを省略します。googleapi: Error 403: Required 'compute.publicDelegatedPrefixes.use' permission for 'SUB_PREFIX', forbidden: パブリック委任プレフィックスを所有するプロジェクトの GKE サービス エージェント(service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com)に、Compute パブリック IP 管理者のロール(roles/compute.publicIpAdmin)を付与します。GKE は Service を同期するたびにこの権限を必要とするため、GKE が Service を作成した後にロールを削除しないでください。
次のステップ
- ロードバランサ Service の概要については、LoadBalancer Service をご覧ください。
- ロードバランサ Service のパラメータの詳細については、LoadBalancer Service のパラメータをご覧ください。
- GKE でのロード バランシングのトラブルシューティング。