Halaman ini menunjukkan cara men-deploy Service LoadBalancer eksternal yang membangun Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend. Sebelum membaca halaman ini, pastikan Anda memahami hal-hal berikut:
Untuk mempelajari lebih lanjut Load Balancer Jaringan passthrough eksternal regional secara umum, lihat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend.
Sebelum memulai
Sebelum memulai, pastikan Anda telah melakukan tugas berikut:
- Aktifkan Google Kubernetes Engine API. Aktifkan Google Kubernetes Engine API
- Untuk menggunakan Google Cloud CLI untuk tugas ini,
instal lalu
lakukan inisialisasi
gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah
gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung menjalankan perintah dalam dokumen ini.
Persyaratan
Tutorial ini menggunakan
spec.loadBalancerClassuntuk membuat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend dengan backend NEGGCE_VM_IP. Tutorial ini memerlukan GKE versi 1.33.1-gke.1779000 atau yang lebih baru karenaspec.loadBalancerClassmemerlukan GKE versi 1.33.1-gke.1779000 atau yang lebih baru. Versi 1.33.1-gke.1779000 atau yang lebih baru juga melebihi persyaratan versi GKE minimum untuk backend NEG atau fitur load balancer berbobot.Jika cluster Anda menggunakan versi yang lebih lama dari 1.36, add-on
HttpLoadBalancingharus diaktifkan di cluster Anda. Add-on ini diaktifkan secara default. Untuk mengetahui informasi selengkapnya, lihat Prasyarat HttpLoadBalancing.Untuk mengaktifkan Cloud Logging untuk Layanan LoadBalancer eksternal, cluster GKE Anda harus menggunakan versi 1.36.0-gke.2459000 atau yang lebih baru.
Untuk menggunakan alamat IPv6 bawa IP Anda sendiri (BYOIP) dengan Layanan LoadBalancer eksternal IPv6 stack tunggal, cluster GKE Anda harus menggunakan versi 1.37.1-gke.2097000 atau yang lebih baru.
Memilih cluster
Anda dapat membuat cluster baru atau memilih cluster yang sudah ada yang memenuhi persyaratan.
Buat cluster baru
Autopilot
Untuk membuat cluster Autopilot baru:
gcloud container clusters create-auto CLUSTER_NAME \
--release-channel=RELEASE_CHANNEL \
--cluster-version=VERSION \
--location=COMPUTE_LOCATION
Ganti kode berikut:
CLUSTER_NAME: nama cluster baru.RELEASE_CHANNEL: nama saluran rilis GKE untuk cluster.VERSION: versi GKE untuk cluster.COMPUTE_LOCATION: region Compute Engine cluster.
Untuk menonaktifkan pembuatan aturan firewall VPC otomatis untuk
Service LoadBalancer, sertakan flag --disable-l4-lb-firewall-reconciliation. Untuk mengetahui informasi selengkapnya, lihat Aturan firewall yang dikelola pengguna untuk Layanan LoadBalancer GKE.
Standar
Untuk membuat cluster Standard baru:
gcloud container clusters create CLUSTER_NAME \
--release-channel=RELEASE_CHANNEL \
--cluster-version=VERSION \
--location=COMPUTE_LOCATION
Ganti kode berikut:
CLUSTER_NAME: nama cluster baru.RELEASE_CHANNEL: nama saluran rilis GKE untuk cluster.VERSION: versi GKE untuk cluster.COMPUTE_LOCATION: region Compute Engine cluster.
Untuk menonaktifkan pembuatan aturan firewall VPC otomatis untuk
Service LoadBalancer, sertakan flag --disable-l4-lb-firewall-reconciliation. Untuk mengetahui informasi selengkapnya, lihat Aturan firewall yang dikelola pengguna untuk Layanan LoadBalancer GKE.
Mengupgrade cluster yang ada
Gunakan gcloud CLI untuk mengupdate cluster yang ada:
gcloud container clusters upgrade CLUSTER_NAME \
--cluster-version=VERSION \
--master \
--location=COMPUTE_LOCATION
Ganti kode berikut:
CLUSTER_NAME: nama cluster yang ada.VERSION: versi GKE spesifik yang ingin Anda gunakan untuk mengupgrade cluster. Untuk mengetahui informasi selengkapnya, lihat Mengupgrade bidang kontrol secara manual.COMPUTE_LOCATION: region Compute Engine cluster.
Untuk menonaktifkan pembuatan aturan firewall VPC otomatis untuk
Service LoadBalancer, sertakan flag --disable-l4-lb-firewall-reconciliation. Untuk mengetahui informasi selengkapnya, lihat Aturan firewall yang dikelola pengguna untuk Layanan LoadBalancer GKE.
Men-deploy sampel workload
Deploy contoh workload berikut yang menyediakan Pod aktif untuk Layanan LoadBalancer eksternal.
Simpan contoh Deployment berikut sebagai
store-deployment.yaml:apiVersion: apps/v1 kind: Deployment metadata: name: store spec: replicas: 20 selector: matchLabels: app: store template: metadata: labels: app: store spec: containers: - image: registry.k8s.io/echoserver:1.10 imagePullPolicy: Always name: echoserver ports: - name: http containerPort: 8080 readinessProbe: httpGet: path: /healthz port: 8080 scheme: HTTPTerapkan manifes ke cluster:
kubectl apply -f store-deployment.yamlPastikan ada 20 Pod aktif untuk Deployment:
kubectl get podsOutputnya mirip dengan hal berikut ini:
NAME READY STATUS RESTARTS AGE store-cdb9bb4d6-s25vw 1/1 Running 0 10s store-cdb9bb4d6-vck6s 1/1 Running 0 10s ....
Membuat Layanan LoadBalancer eksternal
Mengekspos workload contoh dengan membuat Service LoadBalancer eksternal.
Simpan manifes Service berikut sebagai
store-v1-lb-svc.yaml:apiVersion: v1 kind: Service metadata: name: store-v1-lb-svc spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external selector: app: store ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080Terapkan manifes ke cluster:
kubectl apply -f store-v1-lb-svc.yaml
Perhatikan poin-poin berikut tentang contoh manifes ini:
Jika cluster Anda menjalankan GKE 1.33.1-gke.1779000 hingga 1.36, Anda harus menetapkan kolom
spec.loadBalancerClasske nilainetworking.gke.io/l4-regional-externalsaat manifes pertama kali diterapkan ke cluster. Kolom ini menginstruksikan GKE untuk membuat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend. Di GKE 1.37 dan yang lebih baru, konfigurasi ini adalah perilaku default dan kolom ini tidak diperlukan. Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend diperlukan untuk mendukung fitur seperti traffic IPv6 dan load balancing berbobot.GKE menggunakan backend NEG
GCE_VM_IPatau backend grup instance tidak terkelola, bergantung pada versi cluster. Di cluster dengan versi 1.32.2-gke.1652000, Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend menggunakan NEGGCE_VM_IP. Pada versi sebelumnya, Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend menggunakan grup instance tidak terkelola.Kolom
spec.loadBalancerClassini tidak dapat diubah dan harus ditetapkan saat Anda membuat Service. Karena kolom ini tidak dapat diubah, Anda tidak dapat menambahkan atau mengubahnya pada manifes Service LoadBalancer yang sudah ada. Setiap upaya untuk melakukannya akan menghasilkan error dan update Layanan akan gagal.Untuk membuat Service IPv6 stack tunggal di cluster stack ganda, tetapkan nilai kolom
spec.ipFamilyPolicykeSingleStackdan tetapkan nilai kolomspec.ipFamilieskeIPv6. Dalam cluster IPv6 stack tunggal, ini adalah nilai default dan Anda dapat menghilangkannya. Untuk mengetahui informasi selengkapnya, lihat Service LoadBalancer IPv6.
Membuat Service LoadBalancer eksternal di cluster IPv6 stack tunggal
Saat Anda membuat Service LoadBalancer eksternal IPv6 stack tunggal di
cluster IPv6 stack tunggal atau
cluster stack ganda, subnetwork yang digunakan oleh load balancer bergantung pada apakah subnetwork node cluster Anda
menggunakan jenis akses IPv6 EXTERNAL atau INTERNAL. Pada cluster dual-stack, Anda harus menetapkan nilai kolom spec.ipFamilyPolicy ke SingleStack dan menetapkan nilai kolom spec.ipFamilies ke IPv6 (pada cluster IPv6 stack tunggal, ini adalah nilai default dan Anda dapat menghilangkannya).
Service LoadBalancer eksternal IPv6 selalu menggunakan Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend di Paket Premium. Contoh
berikut menetapkan kolom spec.loadBalancerClass ke
networking.gke.io/l4-regional-external secara eksplisit, meskipun varian load
balancer ini adalah default di GKE versi 1.37 dan yang lebih baru:
Cluster dengan node eksternal (jenis akses GUA
EXTERNAL): jika node cluster Anda berjalan di subnetwork eksternal dengan Global Unicast Address (GUA), load balancer eksternal akan otomatis menggunakan subnetwork node yang ada. Buat Service Anda tanpa anotasi subnetwork kustom:apiVersion: v1 kind: Service metadata: name: ext-ipv6-svc spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - protocol: TCP port: 8080 targetPort: 8080Cluster dengan node internal (jenis akses ULA
INTERNAL): jika node cluster Anda berjalan di subnetwork internal dengan Alamat Unicast Lokal Unik (ULA), load balancer eksternal tidak dapat menggunakan subnetwork tersebut secara langsung. Anda harus menyediakan subnetwork IPv6 eksternal (EXTERNAL) khusus dan mereferensikannya menggunakan anotasinetworking.gke.io/load-balancer-subnetdi Service Anda:Buat subnetwork IPv6 eksternal khusus:
gcloud compute networks subnets create SUBNET_NAME \ --stack-type=ipv6_only \ --ipv6-access-type=EXTERNAL \ --network=NETWORK_NAME \ --region=COMPUTE_REGIONGanti kode berikut:
SUBNET_NAME: nama subnet yang akan dibuat.NETWORK_NAME: nama jaringan VPC tempat Anda membuat subnet ini.COMPUTE_REGION: region Compute Engine untuk subnet.
Buat Service yang merujuk ke nama subnetwork khusus Anda dalam anotasi
networking.gke.io/load-balancer-subnet:apiVersion: v1 kind: Service metadata: name: ext-ipv6-svc annotations: networking.gke.io/load-balancer-subnet: SUBNET_NAME spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - protocol: TCP port: 8080 targetPort: 8080
Verifikasi alamat IP Service yang ditetapkan:
kubectl get svc ext-ipv6-svcOutput mengonfirmasi bahwa kolom
CLUSTER-IPdanEXTERNAL-IP(alamat GUA publik) diisi:NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ext-ipv6-svc LoadBalancer 2600:2d00:0:4:1a1e:d3b3:de4d:c401 2600:1900:4000:2714:8000:0:0:0 80:31114/TCP 51s
Untuk mengetahui informasi selengkapnya, lihat Layanan LoadBalancer IPv6.
Menggunakan bawa alamat IPv6 Anda sendiri (BYOIPv6)
Di GKE versi 1.37.1-gke.2097000 dan yang lebih baru, Anda dapat mengonfigurasi
Layanan LoadBalancer eksternal IPv6 stack tunggal untuk menggunakan
bring your own IPv6 addresses (BYOIPv6) dari
sub-awalan IPv6 regional dari awalan yang didelegasikan publik (PDP) dalam
mode EXTERNAL_IPV6_FORWARDING_RULE_CREATION.
Sebelum membuat Service, pastikan Anda memenuhi persyaratan berikut:
- Cluster Anda menjalankan GKE versi 1.37.1-gke.2097000 atau yang lebih baru.
Cluster dapat berupa IPv6 stack tunggal atau stack ganda (Layanan harus berupa IPv6 stack tunggal dalam kedua kasus), dan subnet cluster dapat memiliki jenis akses IPv6
INTERNALatauEXTERNAL; rentang subnet IPv6 eksternal tidak diperlukan karena rentang alamat berasal dari awalan yang didelegasikan publik. - Anda memiliki sub-awalan IPv6 regional dalam mode
EXTERNAL_IPV6_FORWARDING_RULE_CREATIONdengan panjang awalan yang dapat dialokasikan sebesar/96dan statusANNOUNCED, di region yang sama dengan cluster Anda. Untuk mengetahui petunjuknya, lihat Membuat sub-awalan IPv6. Agen layanan GKE (
service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com) memiliki peran Compute Public IP Admin (roles/compute.publicIpAdmin) pada project yang memiliki awalan yang didelegasikan secara publik. Untuk memberikan peran, jalankan perintah berikut:gcloud projects add-iam-policy-binding PDP_PROJECT_ID \ --member="serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \ --role="roles/compute.publicIpAdmin"Ganti kode berikut:
PDP_PROJECT_ID: ID project yang memiliki awalan yang didelegasikan secara publik.PROJECT_NUMBER: nomor project dari project yang berisi cluster Anda.
Layanan ini adalah Layanan IPv6 stack tunggal (
spec.ipFamilyPolicy: SingleStackdanspec.ipFamilies: ["IPv6"]) yang menetapkan kolomspec.loadBalancerClasskenetworking.gke.io/l4-regional-externaldan menggunakan Paket Premium. Layanan stack ganda, Layanan IPv4, dan Paket Standar tidak didukung dengan BYOIPv6.Service tidak menyertakan anotasi
networking.gke.io/load-balancer-subnet, yang tidak dapat digabungkan dengan anotasinetworking.gke.io/ip-collection-v6.
Pilih apakah akan mengalokasikan rentang alamat BYOIPv6 eksternal sementara atau menggunakan rentang alamat BYOIPv6 eksternal statis yang dicadangkan:
Rentang alamat BYOIPv6 eksternal sementara: tambahkan anotasi
networking.gke.io/ip-collection-v6ke manifes Service dan tetapkan ke URL resource lengkap atau jalur resource parsial dari sub-awalan regional Anda:apiVersion: v1 kind: Service metadata: name: ext-byoipv6-svc annotations: networking.gke.io/ip-collection-v6: "projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME" spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080Ganti kode berikut:
PROJECT_ID: ID project yang berisi sub-awalan.REGION: region cluster Anda.SUB_PREFIX_NAME: nama sub-awalan regional Anda dalam modeEXTERNAL_IPV6_FORWARDING_RULE_CREATION.
Jika nanti Anda mengubah anotasi
networking.gke.io/ip-collection-v6, GKE akan membuat ulang aturan penerusan IPv6 dengan alamat baru dari awalan baru, yang akan mengganggu traffic ke Service untuk sementara. Jika Anda menghapus anotasi, Service akan kembali ke alamat yang disediakan Google dari subnet dengan rentang IPv6 eksternal. Jika subnet cluster Anda memiliki rentang IPv6 internal, tambahkan anotasinetworking.gke.io/load-balancer-subnetsecara bersamaan.Rentang alamat BYOIPv6 eksternal statis: cadangkan rentang alamat IPv6
/96eksternal statis regional dari sub-prefix dan referensikan menggunakan anotasinetworking.gke.io/load-balancer-ip-addresses:Buat rentang alamat IPv6 eksternal statis regional dari sub-prefix Anda:
gcloud compute addresses create STATIC_BYOIPV6_NAME \ --region=REGION \ --ip-version=IPV6 \ --endpoint-type=NETLB \ --ip-collection=projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAMEGanti kode berikut:
STATIC_BYOIPV6_NAME: nama untuk resource alamat IPv6 statis.REGION: region cluster Anda.PROJECT_ID: ID project yang berisi sub-awalan.SUB_PREFIX_NAME: nama sub-awalan regional Anda dalam modeEXTERNAL_IPV6_FORWARDING_RULE_CREATION.
Anotasi
networking.gke.io/ip-collection-v6bersifat opsional saat Anda menggunakan rentang alamat BYOIPv6 eksternal statis; jika Anda menetapkan anotasi ini, anotasi tersebut harus merujuk ke sub-awalan yang sama dengan yang Anda gunakan untuk mencadangkan rentang alamat.Referensi nama resource alamat IPv6 statis yang dicadangkan dalam manifes Service Anda:
apiVersion: v1 kind: Service metadata: name: ext-static-byoipv6-svc annotations: networking.gke.io/load-balancer-ip-addresses: STATIC_BYOIPV6_NAME spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: store ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080
Untuk mengetahui informasi selengkapnya, lihat Membawa alamat IPv6 Anda sendiri (BYOIPv6).
Mengaktifkan load balancing berbobot
Untuk mendistribusikan koneksi baru secara proporsional ke node berdasarkan jumlah Pod yang aktif, siap, dan tidak berhenti di setiap node, aktifkan load balancing berbobot dengan menambahkan anotasi networking.gke.io/weighted-load-balancing:
"pods-per-node" ke manifes Service.
Tambahkan anotasi
networking.gke.io/weighted-load-balancing: "pods-per-node"ke manifes Servicestore-v1-lb-svc.yaml, dan pastikan Anda juga menetapkan nilaiexternalTrafficPolicy: Localagar terlihat seperti ini:apiVersion: v1 kind: Service metadata: name: store-v1-lb-svc annotations: networking.gke.io/weighted-load-balancing: "pods-per-node" spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-external externalTrafficPolicy: Local selector: app: store ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080Terapkan manifes ke cluster:
kubectl apply -f store-v1-lb-svc.yaml
Perhatikan hal-hal berikut tentang contoh load balancing berbobot ini:
Manifes Service menggunakan
externalTrafficPolicy: Local. Jika tidak perlu mengaktifkan load balancing berbobot, Anda juga dapat menggunakanexternalTrafficPolicy: Cluster. Untuk mengetahui detail tentang caraexternalTrafficPolicymenentukan pengelompokan node, node mana yang lulus health check load balancer, dan cara paket diproses, lihat Konsep Service LoadBalancer.Jika Anda mengaktifkan load balancing berbobot, GKE tidak akan mencegah Anda menggunakan
externalTrafficPolicy: Cluster, tetapiexternalTrafficPolicy: Clustersecara efektif menonaktifkan load balancing berbobot karena paket mungkin dirutekan, setelah load balancer, ke node yang berbeda.
Anda juga dapat mengaktifkan load balancing berbobot pada Service LoadBalancer eksternal yang ada menggunakan kubectl edit svc service-name. Perintah kubectl edit akan membuka manifes Service load balancer yang ada di editor teks yang telah dikonfigurasi, tempat Anda dapat mengubah manifes dan menyimpan perubahan.
Saat Anda mengedit Service LoadBalancer eksternal yang ada, perhatikan poin-poin berikut:
Service LoadBalancer eksternal yang ada harus menghasilkan pembuatan Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend. Untuk cluster yang menjalankan GKE versi sebelum 1.37, persyaratan ini berarti Service LoadBalancer eksternal yang ada harus memiliki kolom
spec.loadBalancerClassyang ditetapkan kenetworking.gke.io/l4-regional-externalsaat manifes pertama kali diterapkan ke cluster.Menambahkan anotasi
networking.gke.io/weighted-load-balancing: "pods-per-node"ke Service LoadBalancer eksternal yang sudah ada dan menggunakan Load Balancer Jaringan passthrough eksternal regional berbasis kumpulan target tidak akan berpengaruh.Saat mengupdate manifes Service LoadBalancer eksternal yang ada, pastikan untuk menetapkan nilai
externalTrafficPolicy: Local. PenggunaanexternalTrafficPolicy: Clustersecara efektif menonaktifkan load balancing berbobot karena paket mungkin dirutekan, setelah load balancer, ke node yang berbeda.
Menonaktifkan load balancing berbobot
Untuk mendistribusikan koneksi baru ke node, terlepas dari berapa banyak Pod penayangan yang ada di setiap node, nonaktifkan load balancing berbobot dengan menghapus anotasi networking.gke.io/weighted-load-balancing: "pods-per-node" dari manifes Service.
Mengaktifkan logging untuk layanan backend
Anda dapat mengaktifkan, menonaktifkan, dan melihat log untuk Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend.
Anda mengonfigurasi Cloud Logging dengan membuat resource kustom L4LBConfig yang menentukan setelan logging Anda. Resource L4LBConfig ditautkan ke Service Kubernetes dalam manifes Service. Setelah Anda menerapkan manifes, pengontrol GKE akan mengonfigurasi logging untuk layanan backend. Jika Anda tidak menautkan resource L4LBConfig ke Service, pengontrol akan berhenti mengelola konfigurasi logging dan membiarkan layanan backend dalam status terakhir yang diketahui. Untuk mengetahui informasi selengkapnya, lihat Memahami perilaku coast.
Anda dapat mengonfigurasi kolom berikut:
enabled: jika ditetapkan ketrue, mengaktifkan logging untuk Service ini dan log tersedia di Cloud Logging. Jika tidak, logging akan dinonaktifkan untuk Service ini.sampleRate: menentukan nilai dari0hingga1,000,000(default).0berarti tidak ada paket yang dicatat ke dalam log, dan1,000,000berarti 100% paket dicatat ke dalam log. KolomsampleRatebersifat opsional, dan hanya relevan jika nilai kolomenableditetapkan ketrue.optionalMode: mengontrol kolom metadata opsional mana yang disertakan dalam log yang dihasilkan untuk load balancer. Kolom ini menerima salah satu nilai string berikut:EXCLUDE_ALL_OPTIONAL: setelan default jikaoptionalModetidak ditentukan. Jika ditetapkan, tidak ada bidang opsional yang disertakan dalam log, sehingga memberikan format log yang paling ringkas.INCLUDE_ALL_OPTIONAL: mengaktifkan logging untuk semua kolom opsional yang tersedia, sehingga memberikan entri log yang paling mendetail.CUSTOM: menentukan daftar kustom bidang opsional yang disertakan dalam log. Dengan modeCUSTOM, Anda juga harus menggunakan parameteroptionalFieldsuntuk memberikan daftar kolom yang dipisahkan koma yang Anda inginkan.
optionalFields: string nama kolom yang dipisahkan koma. Menentukan kolom metadata opsional yang tepat yang ingin Anda sertakan dalam log yang dihasilkan. Kolom ini hanya digunakan jikaoptionalModeditetapkan keCUSTOM, jika tidak, nilai apa pun akan diabaikan.
Untuk mengonfigurasi Cloud Logging, buat resource L4LBConfig di namespace yang sama dengan resource Service Anda. Contoh manifes L4LBConfig berikut mengaktifkan Cloud Logging dan menetapkan frekuensi sampel ke 50% dari permintaan untuk Service load balancer tertentu.
Simpan manifes berikut sebagai
svc-l4lb-config.yaml:apiVersion: networking.gke.io/v1 kind: L4LBConfig metadata: name: svc-l4lb-config namespace: default spec: logging: enabled: true # must be included sampleRate: 500000 optionalMode: "INCLUDE_ALL_OPTIONAL"Terapkan manifes L4LBConfig ke cluster Anda:
kubectl apply -f svc-l4lb-config.yamlTambahkan anotasi
networking.gke.io/l4lb-configke manifes Servicestore-v1-lb-svc.yaml:apiVersion: v1 kind: Service metadata: name: store-v1-lb-svc annotations: cloud.google.com/l4-rbs: "enabled" networking.gke.io/l4lb-config: "svc-l4lb-config" spec: type: LoadBalancer selector: app: store ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080Terapkan manifes Service ke cluster Anda:
kubectl apply -f store-v1-lb-svc.yaml
Memverifikasi Layanan LoadBalancer eksternal dan komponennya
Pastikan Service Anda berjalan:
kubectl get svc store-v1-lb-svcOutputnya mirip dengan hal berikut ini:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE store-v1-lb-svc LoadBalancer 10.44.196.160 35.193.28.231 8080:32466/TCP 11mGKE menetapkan
EXTERNAL_IPuntuk Load Balancer Jaringan passthrough eksternal regional.Uji koneksi ke load balancer:
curl EXTERNAL_IP:PORTGanti kode berikut:
EXTERNAL_IP: alamat IP yang dialokasikan untuk Load Balancer Jaringan passthrough eksternal regional.PORT: nomor port yang dialokasikan untuk Load Balancer Jaringan passthrough eksternal regional.
Outputnya mirip dengan hal berikut ini:
Hostname: store-v1-lb-svc-cdb9bb4d6-hflxd Pod Information: -no pod information available- Server values: server_version=nginx: 1.13.3 - lua: 10008 Request Information: client_address=10.128.0.50 method=GET real path=/ query= request_version=1.1 request_scheme=http request_uri=EXTERNAL_IP Request Headers: accept=*/* host=EXTERNAL_IP user-agent=curl/7.81.0 Request Body: -no body in request-Periksa Layanan LoadBalancer dan kumpulan anotasinya yang menjelaskan resourceGoogle Cloud -nya:
kubectl describe svc store-v1-lb-svcOutputnya mirip dengan hal berikut ini:
Name: store-v1-lb-svc Namespace: default Labels: <none> Annotations: cloud.google.com/neg-status: {"network_endpoint_groups":{"0":"k8s2-qvveq1d8-default-my-service-ext-5s55db85"},"zones":["us-central1-c"]} #This annotation appears in the output only if the service uses NEG backends. networking.gke.io/weighted-load-balancing: pods-per-node #This annotation appears in the output only if weighted load balancing is enabled. service.kubernetes.io/backend-service: k8s2-qvveq1d8-default-my-service-ext-5s55db85 service.kubernetes.io/firewall-rule: k8s2-qvveq1d8-default-my-service-ext-5s55db85 service.kubernetes.io/firewall-rule-for-hc: k8s2-qvveq1d8-default-my-service-ext-5s55db85-fw service.kubernetes.io/healthcheck: k8s2-qvveq1d8-default-my-service-ext-5s55db85 service.kubernetes.io/tcp-forwarding-rule: a808124abf8ce406ca51ab3d4e7d0b7d Selector: app=store Type: LoadBalancer IP Family Policy: SingleStack IP Families: IPv4 IP: 10.18.102.23 IPs: 10.18.102.23 LoadBalancer Ingress: 35.184.160.229 Port: tcp-port 8080/TCP TargetPort: 8080/TCP NodePort: tcp-port 31864/TCP Endpoints: 10.20.1.28:8080,10.20.1.29:8080 Session Affinity: None External Traffic Policy: Local HealthCheck NodePort: 30394 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal ADD 4m55s loadbalancer-controller default/my-service-extAda beberapa kolom yang menunjukkan bahwa Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend dan resource Google Cloud -nya berhasil dibuat:
- Kolom
Events. Kolom ini kosong saat LoadBalancer Service dan resource-nya berhasil dibuat. Jika terjadi, error akan dicantumkan di sini. Daftar
Annotationsyang diaktifkan: GKE menambahkan daftar anotasi hanya baca berikut ke manifes Service. Setiap anotasi yang namanya diawali denganservice.kubernetes.io/digunakan untuk menunjukkan nama resourceGoogle Cloud yang dibuat sebagai bagian dari atau untuk mendukung load balancer.- Anotasi
networking.gke.io/weighted-load-balancing: pods-per-nodemenunjukkan bahwa load balancing berbobot telah diterapkan dan load balancer mendistribusikan traffic ke Pod backend berdasarkan jumlah Pod yang berjalan di setiap node. - Anotasi
service.kubernetes.io/backend-servicemenunjukkan nama layanan backend load balancer. - Anotasi
service.kubernetes.io/healthcheckmenunjukkan nama health check load balancer yang digunakan oleh layanan backend. - Anotasi
service.kubernetes.io/tcp-forwarding-ruleatauservice.kubernetes.io/udp-forwarding-rulemenunjukkan nama aturan penerusan load balancer. - Anotasi
service.kubernetes.io/firewall-rulemenunjukkan nama aturan firewall yang dibuat untuk mengizinkan traffic ke node cluster. Rentang sumber untuk aturan firewall ini dapat disesuaikan menggunakanspec.loadBalancerSourceRanges[]. Guna mengetahui detail tambahan tentang aturan firewall untuk Layanan LoadBalancer, lihat Aturan firewall dan daftar alamat IP sumber yang diizinkan. - Anotasi
service.kubernetes.io/firewall-rule-for-hcmenunjukkan nama aturan firewall yang diperlukan untuk health check load balancer. Anotasi
cloud.google.com/neg-statusmenunjukkan NEG yang digunakan oleh load balancer dan zonanya. Anotasi ini hanya ada jika kedua hal berikut terpenuhi:- Cluster menjalankan GKE versi 1.32.2-gke.1652000 atau yang lebih baru saat manifes diterapkan ke cluster.
- Kolom
spec.loadBalancerClassyang ditetapkan ke nilainetworking.gke.io/l4-regional-externalada dalam manifes Service saat diterapkan ke cluster.
- Anotasi
- Kolom
Verifikasi bahwa resource load balancer dan aturan firewall telah dibuat untuk Layanan LoadBalancer eksternal:
Untuk melihat aturan penerusan, jalankan perintah berikut:
gcloud compute forwarding-rules describe FWD_RULE_NAME \ --region=REGION_NAMEGanti kode berikut:
FWD_RULE_NAME: nama aturan penerusan yang diberikan oleh anotasi hanya bacaservice.kubernetes.io/tcp-forwarding-ruleatauservice.kubernetes.io/udp-forwarding-rule. Untuk memeriksa anotasi ini, jalankankubectl describe svc SERVICE_NAME.REGION_NAME: Google Cloud region yang berisi cluster. Untuk cluster zona, region berisi zona yang digunakan oleh cluster.
Untuk melihat layanan backend, jalankan perintah berikut:
gcloud compute backend-services describe BACKEND_SERVICE_NAME \ --region=REGION_NAMEGanti kode berikut:
BACKEND_SERVICE_NAME: nama layanan backend yang disediakan oleh anotasi hanya bacaservice.kubernetes.io/backend-service. Untuk memeriksa anotasi hanya baca ini, jalankankubectl describe svc SERVICE_NAME.REGION_NAME: Google Cloud region yang berisi cluster. Untuk cluster zona, region berisi zona yang digunakan oleh cluster.
Untuk melihat health check load balancer, jalankan perintah berikut:
gcloud compute health-checks describe HEALTH_CHECK_NAME \ --region=REGION_NAMEGanti kode berikut:
HEALTH_CHECK_NAME: nama health check load balancer. Nama health check diberikan oleh anotasi hanya bacaservice.kubernetes.io/healthcheck. Untuk memeriksa anotasi hanya baca ini, jalankankubectl describe svc SERVICE_NAME.REGION_NAME: Google Cloud region yang berisi cluster. Untuk cluster zona, region berisi zona yang digunakan oleh cluster.
Untuk melihat aturan firewall, jalankan perintah berikut:
gcloud compute firewall-rules describe FIREWALL_RULE_NAMEgcloud compute firewall-rules describe HEALTH_CHECK_FIREWALL_RULE_NAMEGanti kode berikut:
FIREWALL_RULE_NAME: nama aturan firewall yang mengizinkan traffic ke load balancer. Nama aturan firewall ini disediakan oleh anotasi hanya bacaservice.kubernetes.io/firewall-rule. Untuk memeriksa anotasi hanya baca ini, jalankankubectl describe svc SERVICE_NAME.HEALTH_CHECK_FIREWALL_RULE_NAME: nama aturan firewall yang mengizinkan health check backend load balancer (node cluster). Nama aturan firewall ini disediakan oleh anotasi hanya bacaservice.kubernetes.io/firewall-rule-for-hc. Untuk memeriksa anotasi hanya baca ini, jalankankubectl describe svc SERVICE_NAME.
Untuk melihat NEG load balancer, jalankan perintah berikut:
gcloud compute network-endpoint-groups describe NEG_NAME \ --zone=ZONE_NAMEGanti kode berikut:
NEG_NAME: nama NEG load balancer. Nama NEG diberikan oleh anotasi hanya bacacloud.google.com/neg-status. Untuk memeriksa anotasi hanya baca ini, jalankan perintahkubectl describe svc SERVICE_NAME. Anotasi ini berisi data terstruktur dengan informasi tentang nama dan zona NEG yang digunakan oleh load balancer. Untuk cluster zona, anotasi ini berisi informasi tentang satu NEG. Untuk cluster regional, anotasi ini berisi informasi tentang NEG di setiap zona tempat cluster berada.ZONE_NAME: Google Cloud zona yang berisi NEG.
Pastikan Cloud Logging telah diaktifkan untuk layanan backend:
kubectl get svc SERVICE_NAME --output yamlGanti kode berikut:
SERVICE_NAME: nama layanan backend.
Pada output, pastikan kolom
Status.ConditionsmemilikiType: LoggingConfigManageddanReason: Reconciled.
Menghapus Service LoadBalancer eksternal
Untuk menghapus contoh Layanan LoadBalancer eksternal store-v1-lb-svc, gunakan perintah berikut:
kubectl delete service store-v1-lb-svc
GKE otomatis menghapus semua resource load balancer yang dibuatnya untuk Service LoadBalancer eksternal.
Bermigrasi ke backend NEG GCE_VM_IP
Service LoadBalancer eksternal membuat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend jika dibuat di GKE 1.37 atau yang lebih baru, menentukan nilai networking.gke.io/l4-regional-external untuk kolom spec.loadBalancerClass, atau menyertakan anotasi cloud.google.com/l4-rbs: "enabled". Bergantung pada versi GKE cluster, GKE menggunakan grup endpoint jaringan GCE_VM_IP atau grup instance tidak terkelola sebagai backend:
Jika manifes Service diterapkan ke cluster yang menjalankan GKE versi 1.32.2-gke.1652000 atau yang lebih baru, Load Balancer Jaringan passthrough eksternal regional yang dihasilkan akan menggunakan backend grup endpoint jaringan (NEG)
GCE_VM_IP.Jika manifes Service diterapkan ke cluster yang menjalankan versi GKE yang lebih lama, Load Balancer Jaringan passthrough eksternal regional yang dihasilkan akan menggunakan backend grup instance tidak terkelola.
Untuk mengetahui informasi selengkapnya, lihat Pengelompokan node di artikel Tentang Service LoadBalancer.
Anda dapat membuat Service LoadBalancer eksternal baru yang didukung oleh Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend yang menggunakan backend NEG GCE_VM_IP jika Service yang ada menggunakan salah satu load balancer berikut:
- Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend dengan backend grup instance
- Load Balancer Jaringan passthrough eksternal regional berbasis kumpulan target
Untuk mempertahankan alamat IPv4 eksternal saat Anda beralih ke Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend yang menggunakan backend NEG GCE_VM_IP (Layanan LoadBalancer eksternal IPv6 tidak memerlukan migrasi ini):
Jika Anda belum melakukannya, upgrade cluster Anda ke GKE versi 1.32.2-gke.1652000 atau yang lebih baru.
Identifikasi Service LoadBalancer eksternal yang ingin Anda alihkan ke Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend menggunakan backend NEG
GCE_VM_IP. Deskripsikan Service menggunakan perintah berikut:kubectl describe svc SERVICE_NAME -n SERVICE_NAMESPACEGanti kode berikut:
SERVICE_NAME: nama Service LoadBalancer eksternal yang ada.SERVICE_NAMESPACE: namespace Service LoadBalancer eksternal yang ada.
Dalam output perintah, catat alamat IPv4 eksternal load balancer yang tercantum setelah
LoadBalancer Ingress.Ambil manifes Service untuk Service LoadBalancer yang ada:
Sebaiknya Anda memiliki manifes Service asli yang telah Anda terapkan ke cluster sebelumnya. Misalnya, Anda mungkin memiliki ini di repositori kontrol sumber.
Jika Anda tidak memiliki manifes Service asli:
Jalankan perintah berikut untuk mendapatkan salinan YAML manifes Service yang mewakili implementasi load balancer saat ini:
kubectl get svc SERVICE_NAME -n SERVICE_NAMESPACE -o yamlSalin YAML manifes ke editor teks. Hapus atribut
statusdan atributmetadataberikut:- Semua anotasi berikut:
- Anotasi
kubectl.kubernetes.io/last-applied-configuration - Semua anotasi yang diawali dengan
service.kubernetes.io
- Anotasi
creationTimestampfinalizersresourceVersionuid
- Semua anotasi berikut:
Pastikan manifes menyertakan kolom
spec.loadBalancerClassyang ditetapkan ke nilainetworking.gke.io/l4-regional-external. Jika Anda bermigrasi dari Load Balancer Jaringan passthrough eksternal regional berbasis kumpulan target, kolom ini harus ditambahkan.
Simpan file manifes dan catat tempat Anda menyimpannya. Bagian selanjutnya dari prosedur ini mengacu pada jalur tempat Anda menyimpan manifes sebagai MANIFEST_FILE_PATH.
Konfigurasikan resource alamat IPv4 eksternal statis untuk menyimpan alamat IPv4 eksternal yang digunakan oleh load balancer yang ada:
gcloud compute addresses create IP_ADDRESS_NAME --region=CLUSTER_REGION --addresses LB_EXTERNAL_IPGanti kode berikut:
IP_ADDRESS_NAME: nama alamat IP eksternal statis. Nama harus mematuhi konvensi nama untuk resource Compute Engine.CLUSTER_REGION: region yang berisi cluster. Untuk cluster zona, ini adalah region yang berisi zona cluster.LB_EXTERNAL_IP: alamat IPv4 eksternal yang digunakan oleh load balancer saat ini, yang ditentukan pada langkah kedua prosedur ini.
Pastikan resource alamat IPv4 eksternal statis telah dibuat:
gcloud compute addresses describe IP_ADDRESS_NAME --region=CLUSTER_REGIONGanti variabel seperti yang ditunjukkan pada langkah sebelumnya.
Hapus Service yang ada:
kubectl delete svc SERVICE_NAME -n SERVICE_NAMESPACETambahkan anotasi berikut ke file manifes Service
MANIFEST_FILE_PATH:networking.gke.io/load-balancer-ip-addresses: IP_ADDRESS_NAMEUntuk mengetahui informasi selengkapnya tentang anotasi ini, lihat Alamat IP statis di parameter Service LoadBalancer.
Terapkan manifes Service yang telah diupdate ke cluster:
kubectl apply -f MANIFEST_FILE_PATH(Opsional) Lepaskan resource alamat IPv4 statis.
gcloud compute addresses delete IP_ADDRESS_NAME --region=CLUSTER_REGION
Memecahkan masalah
Bagian ini menjelaskan masalah yang mungkin Anda alami saat mengonfigurasi Layanan LoadBalancer eksternal berbasis layanan backend.
Kebijakan traffic eksternal yang salah untuk load balancing berbobot
Jika Anda tidak menetapkan nilai externalTrafficPolicy: Local saat mengaktifkan load balancing berbobot, Anda mungkin mendapatkan peristiwa peringatan saat mendeskripsikan Service menggunakan perintah berikut:
kubectl describe svc store-v1-lb-svc`
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning UnsupportedConfiguration 4m55s loadbalancer-controller Weighted load balancing by pods-per-node has no effect with External Traffic Policy: Cluster.
Untuk mengaktifkan load balancing berbobot secara efektif, Anda harus menetapkan nilai externalTrafficPolicy: Local.
Terjadi error saat membuat load balancer IPv6 di Paket Standar
Jika Service LoadBalancer eksternal IPv6 menampilkan peristiwa SyncExternalLoadBalancerFailed
dengan pesan
Network tier Standard is not supported for IPv6 External Load Balancer, hapus anotasi cloud.google.com/network-tier: Standard dari
manifes Service. Service LoadBalancer eksternal IPv6 hanya didukung di Paket Premium.
Error saat mengonfigurasi bring your own IPv6 address (BYOIPv6)
Saat mengonfigurasi bawa alamat IPv6 Anda sendiri (BYOIPv6)
untuk Service LoadBalancer eksternal, Anda mungkin melihat
peristiwa peringatan SyncExternalLoadBalancerFailed saat menjalankan
perintah kubectl describe service SERVICE_NAME. Pesan
peristiwa dimulai dengan
Error ensuring Resource for L4 External LoadBalancer, err: diikuti dengan salah satu
error berikut:
networking.gke.io/ip-collection-v6 is currently only supported for IPv6-only Services: pastikan manifes Service Anda menentukanspec.ipFamilyPolicy: SingleStackdanspec.ipFamilies: ["IPv6"].static IPv6 address "ADDRESS_NAME" is a BYOIP address from IP collection "SUB_PREFIX", which is currently only supported for IPv6-only Services: pastikan manifes Service Anda menentukanspec.ipFamilyPolicy: SingleStackdanspec.ipFamilies: ["IPv6"]. Error ini menunjukkan bahwa Service menggunakan stack ganda atau IPv4, tetapi merujuk ke alamat BYOIPv6 statis.cannot specify both networking.gke.io/load-balancer-subnet ("SUBNET") and networking.gke.io/ip-collection-v6 ("SUB_PREFIX") for LoadBalancer: hapus anotasinetworking.gke.io/load-balancer-subnetdari manifes Service saat Anda menggunakan anotasinetworking.gke.io/ip-collection-v6.invalid networking.gke.io/ip-collection-v6 "VALUE": expected projects/PROJECT/regions/REGION/publicDelegatedPrefixes/NAMEatauinvalid networking.gke.io/ip-collection-v6 "VALUE": the public delegated prefix must be in the cluster region REGION: tetapkan anotasi ke URL resource lengkap atau jalur resource parsial (projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME) sub-awalan di region yang sama dengan cluster Anda. Nama sub-awalan kosong tidak diterima.reserved address ("ADDRESS_NAME") is not valid, err: ipCollection mismatch, expected "SUB_PREFIX_A", actual: "SUB_PREFIX_B": pastikan anotasinetworking.gke.io/ip-collection-v6cocok dengan awalan yang didelegasikan secara publik yang Anda gunakan untuk mencadangkan alamat IPv6 statis, atau hapus anotasinetworking.gke.io/ip-collection-v6saat Anda menggunakan anotasinetworking.gke.io/load-balancer-ip-addresses.googleapi: Error 403: Required 'compute.publicDelegatedPrefixes.use' permission for 'SUB_PREFIX', forbidden: berikan peran Compute Public IP Admin (roles/compute.publicIpAdmin) ke agen layanan GKE (service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com) pada project yang memiliki awalan yang didelegasikan secara publik. GKE memerlukan izin ini setiap kali menyinkronkan Service, jadi jangan hapus peran tersebut setelah GKE membuat Service.
Langkah berikutnya
- Untuk mengetahui ringkasan tentang Layanan Load Balancer, lihat Layanan LoadBalancer.
- Untuk deskripsi parameter Layanan Load Balancer, lihat Parameter Layanan LoadBalancer.
- Memecahkan masalah load balancing di GKE.