Membuat load balancer eksternal berbasis layanan backend

Halaman ini menunjukkan cara men-deploy Service LoadBalancer eksternal yang membangun Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend. Sebelum membaca halaman ini, pastikan Anda memahami hal-hal berikut:

Untuk mempelajari lebih lanjut Load Balancer Jaringan passthrough eksternal regional secara umum, lihat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend.

Sebelum memulai

Sebelum memulai, pastikan Anda telah melakukan tugas berikut:

  • Aktifkan Google Kubernetes Engine API.
  • Aktifkan Google Kubernetes Engine API
  • Untuk menggunakan Google Cloud CLI untuk tugas ini, instal lalu lakukan inisialisasi gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung menjalankan perintah dalam dokumen ini.

Persyaratan

  • Tutorial ini menggunakan spec.loadBalancerClass untuk membuat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend dengan backend NEG GCE_VM_IP. Tutorial ini memerlukan GKE versi 1.33.1-gke.1779000 atau yang lebih baru karena spec.loadBalancerClass memerlukan GKE versi 1.33.1-gke.1779000 atau yang lebih baru. Versi 1.33.1-gke.1779000 atau yang lebih baru juga melebihi persyaratan versi GKE minimum untuk backend NEG atau fitur load balancer berbobot.

  • Jika cluster Anda menggunakan versi yang lebih lama dari 1.36, add-on HttpLoadBalancing harus diaktifkan di cluster Anda. Add-on ini diaktifkan secara default. Untuk mengetahui informasi selengkapnya, lihat Prasyarat HttpLoadBalancing.

  • Untuk mengaktifkan Cloud Logging untuk Layanan LoadBalancer eksternal, cluster GKE Anda harus menggunakan versi 1.36.0-gke.2459000 atau yang lebih baru.

  • Untuk menggunakan alamat IPv6 bawa IP Anda sendiri (BYOIP) dengan Layanan LoadBalancer eksternal IPv6 stack tunggal, cluster GKE Anda harus menggunakan versi 1.37.1-gke.2097000 atau yang lebih baru.

Memilih cluster

Anda dapat membuat cluster baru atau memilih cluster yang sudah ada yang memenuhi persyaratan.

Buat cluster baru

Autopilot

Untuk membuat cluster Autopilot baru:

gcloud container clusters create-auto CLUSTER_NAME \
    --release-channel=RELEASE_CHANNEL \
    --cluster-version=VERSION \
    --location=COMPUTE_LOCATION

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster baru.
  • RELEASE_CHANNEL: nama saluran rilis GKE untuk cluster.
  • VERSION: versi GKE untuk cluster.
  • COMPUTE_LOCATION: region Compute Engine cluster.

Untuk menonaktifkan pembuatan aturan firewall VPC otomatis untuk Service LoadBalancer, sertakan flag --disable-l4-lb-firewall-reconciliation. Untuk mengetahui informasi selengkapnya, lihat Aturan firewall yang dikelola pengguna untuk Layanan LoadBalancer GKE.

Standar

Untuk membuat cluster Standard baru:

gcloud container clusters create CLUSTER_NAME \
    --release-channel=RELEASE_CHANNEL \
    --cluster-version=VERSION \
    --location=COMPUTE_LOCATION

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster baru.
  • RELEASE_CHANNEL: nama saluran rilis GKE untuk cluster.
  • VERSION: versi GKE untuk cluster.
  • COMPUTE_LOCATION: region Compute Engine cluster.

Untuk menonaktifkan pembuatan aturan firewall VPC otomatis untuk Service LoadBalancer, sertakan flag --disable-l4-lb-firewall-reconciliation. Untuk mengetahui informasi selengkapnya, lihat Aturan firewall yang dikelola pengguna untuk Layanan LoadBalancer GKE.

Mengupgrade cluster yang ada

Gunakan gcloud CLI untuk mengupdate cluster yang ada:

gcloud container clusters upgrade CLUSTER_NAME \
    --cluster-version=VERSION \
    --master \
    --location=COMPUTE_LOCATION

Ganti kode berikut:

Untuk menonaktifkan pembuatan aturan firewall VPC otomatis untuk Service LoadBalancer, sertakan flag --disable-l4-lb-firewall-reconciliation. Untuk mengetahui informasi selengkapnya, lihat Aturan firewall yang dikelola pengguna untuk Layanan LoadBalancer GKE.

Men-deploy sampel workload

Deploy contoh workload berikut yang menyediakan Pod aktif untuk Layanan LoadBalancer eksternal.

  1. Simpan contoh Deployment berikut sebagai store-deployment.yaml:

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: store
    spec:
      replicas: 20
      selector:
        matchLabels:
          app: store
      template:
        metadata:
          labels:
            app: store
        spec:
          containers:
          - image: registry.k8s.io/echoserver:1.10
            imagePullPolicy: Always
            name: echoserver
            ports:
              - name: http
                containerPort: 8080
            readinessProbe:
              httpGet:
                path: /healthz
                port: 8080
                scheme: HTTP
    
  2. Terapkan manifes ke cluster:

    kubectl apply -f store-deployment.yaml
    
  3. Pastikan ada 20 Pod aktif untuk Deployment:

    kubectl get pods
    

    Outputnya mirip dengan hal berikut ini:

    NAME                     READY   STATUS    RESTARTS   AGE
    store-cdb9bb4d6-s25vw      1/1     Running   0          10s
    store-cdb9bb4d6-vck6s      1/1     Running   0          10s
    ....
    

Membuat Layanan LoadBalancer eksternal

  1. Mengekspos workload contoh dengan membuat Service LoadBalancer eksternal.

    1. Simpan manifes Service berikut sebagai store-v1-lb-svc.yaml:

      apiVersion: v1
      kind: Service
      metadata:
        name: store-v1-lb-svc
      spec:
        type: LoadBalancer
        loadBalancerClass: networking.gke.io/l4-regional-external
        selector:
          app: store
        ports:
        - name: tcp-port
          protocol: TCP
          port: 8080
          targetPort: 8080
      
    2. Terapkan manifes ke cluster:

      kubectl apply -f store-v1-lb-svc.yaml
      

    Perhatikan poin-poin berikut tentang contoh manifes ini:

    • Jika cluster Anda menjalankan GKE 1.33.1-gke.1779000 hingga 1.36, Anda harus menetapkan kolom spec.loadBalancerClass ke nilai networking.gke.io/l4-regional-external saat manifes pertama kali diterapkan ke cluster. Kolom ini menginstruksikan GKE untuk membuat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend. Di GKE 1.37 dan yang lebih baru, konfigurasi ini adalah perilaku default dan kolom ini tidak diperlukan. Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend diperlukan untuk mendukung fitur seperti traffic IPv6 dan load balancing berbobot.

    • GKE menggunakan backend NEG GCE_VM_IP atau backend grup instance tidak terkelola, bergantung pada versi cluster. Di cluster dengan versi 1.32.2-gke.1652000, Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend menggunakan NEG GCE_VM_IP. Pada versi sebelumnya, Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend menggunakan grup instance tidak terkelola.

    • Kolom spec.loadBalancerClass ini tidak dapat diubah dan harus ditetapkan saat Anda membuat Service. Karena kolom ini tidak dapat diubah, Anda tidak dapat menambahkan atau mengubahnya pada manifes Service LoadBalancer yang sudah ada. Setiap upaya untuk melakukannya akan menghasilkan error dan update Layanan akan gagal.

    • Untuk membuat Service IPv6 stack tunggal di cluster stack ganda, tetapkan nilai kolom spec.ipFamilyPolicy ke SingleStack dan tetapkan nilai kolom spec.ipFamilies ke IPv6. Dalam cluster IPv6 stack tunggal, ini adalah nilai default dan Anda dapat menghilangkannya. Untuk mengetahui informasi selengkapnya, lihat Service LoadBalancer IPv6.

Membuat Service LoadBalancer eksternal di cluster IPv6 stack tunggal

Saat Anda membuat Service LoadBalancer eksternal IPv6 stack tunggal di cluster IPv6 stack tunggal atau cluster stack ganda, subnetwork yang digunakan oleh load balancer bergantung pada apakah subnetwork node cluster Anda menggunakan jenis akses IPv6 EXTERNAL atau INTERNAL. Pada cluster dual-stack, Anda harus menetapkan nilai kolom spec.ipFamilyPolicy ke SingleStack dan menetapkan nilai kolom spec.ipFamilies ke IPv6 (pada cluster IPv6 stack tunggal, ini adalah nilai default dan Anda dapat menghilangkannya). Service LoadBalancer eksternal IPv6 selalu menggunakan Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend di Paket Premium. Contoh berikut menetapkan kolom spec.loadBalancerClass ke networking.gke.io/l4-regional-external secara eksplisit, meskipun varian load balancer ini adalah default di GKE versi 1.37 dan yang lebih baru:

  • Cluster dengan node eksternal (jenis akses GUA EXTERNAL): jika node cluster Anda berjalan di subnetwork eksternal dengan Global Unicast Address (GUA), load balancer eksternal akan otomatis menggunakan subnetwork node yang ada. Buat Service Anda tanpa anotasi subnetwork kustom:

    apiVersion: v1
    kind: Service
    metadata:
      name: ext-ipv6-svc
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-external
      ipFamilyPolicy: SingleStack
      ipFamilies:
      - IPv6
      selector:
        app: store
      ports:
      - protocol: TCP
        port: 8080
        targetPort: 8080
    
  • Cluster dengan node internal (jenis akses ULA INTERNAL): jika node cluster Anda berjalan di subnetwork internal dengan Alamat Unicast Lokal Unik (ULA), load balancer eksternal tidak dapat menggunakan subnetwork tersebut secara langsung. Anda harus menyediakan subnetwork IPv6 eksternal (EXTERNAL) khusus dan mereferensikannya menggunakan anotasi networking.gke.io/load-balancer-subnet di Service Anda:

    1. Buat subnetwork IPv6 eksternal khusus:

      gcloud compute networks subnets create SUBNET_NAME \
          --stack-type=ipv6_only \
          --ipv6-access-type=EXTERNAL \
          --network=NETWORK_NAME \
          --region=COMPUTE_REGION
      

      Ganti kode berikut:

      • SUBNET_NAME: nama subnet yang akan dibuat.
      • NETWORK_NAME: nama jaringan VPC tempat Anda membuat subnet ini.
      • COMPUTE_REGION: region Compute Engine untuk subnet.
    2. Buat Service yang merujuk ke nama subnetwork khusus Anda dalam anotasi networking.gke.io/load-balancer-subnet:

      apiVersion: v1
      kind: Service
      metadata:
        name: ext-ipv6-svc
        annotations:
          networking.gke.io/load-balancer-subnet: SUBNET_NAME
      spec:
        type: LoadBalancer
        loadBalancerClass: networking.gke.io/l4-regional-external
        ipFamilyPolicy: SingleStack
        ipFamilies:
        - IPv6
        selector:
          app: store
        ports:
        - protocol: TCP
          port: 8080
          targetPort: 8080
      
  1. Verifikasi alamat IP Service yang ditetapkan:

    kubectl get svc ext-ipv6-svc
    

    Output mengonfirmasi bahwa kolom CLUSTER-IP dan EXTERNAL-IP (alamat GUA publik) diisi:

    NAME           TYPE           CLUSTER-IP                          EXTERNAL-IP                      PORT(S)        AGE
    ext-ipv6-svc   LoadBalancer   2600:2d00:0:4:1a1e:d3b3:de4d:c401   2600:1900:4000:2714:8000:0:0:0   80:31114/TCP   51s
    

Untuk mengetahui informasi selengkapnya, lihat Layanan LoadBalancer IPv6.

Menggunakan bawa alamat IPv6 Anda sendiri (BYOIPv6)

Di GKE versi 1.37.1-gke.2097000 dan yang lebih baru, Anda dapat mengonfigurasi Layanan LoadBalancer eksternal IPv6 stack tunggal untuk menggunakan bring your own IPv6 addresses (BYOIPv6) dari sub-awalan IPv6 regional dari awalan yang didelegasikan publik (PDP) dalam mode EXTERNAL_IPV6_FORWARDING_RULE_CREATION.

Sebelum membuat Service, pastikan Anda memenuhi persyaratan berikut:

  • Cluster Anda menjalankan GKE versi 1.37.1-gke.2097000 atau yang lebih baru. Cluster dapat berupa IPv6 stack tunggal atau stack ganda (Layanan harus berupa IPv6 stack tunggal dalam kedua kasus), dan subnet cluster dapat memiliki jenis akses IPv6 INTERNAL atau EXTERNAL; rentang subnet IPv6 eksternal tidak diperlukan karena rentang alamat berasal dari awalan yang didelegasikan publik.
  • Anda memiliki sub-awalan IPv6 regional dalam mode EXTERNAL_IPV6_FORWARDING_RULE_CREATION dengan panjang awalan yang dapat dialokasikan sebesar /96 dan status ANNOUNCED, di region yang sama dengan cluster Anda. Untuk mengetahui petunjuknya, lihat Membuat sub-awalan IPv6.
  • Agen layanan GKE (service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com) memiliki peran Compute Public IP Admin (roles/compute.publicIpAdmin) pada project yang memiliki awalan yang didelegasikan secara publik. Untuk memberikan peran, jalankan perintah berikut:

    gcloud projects add-iam-policy-binding PDP_PROJECT_ID \
        --member="serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
        --role="roles/compute.publicIpAdmin"
    

    Ganti kode berikut:

    • PDP_PROJECT_ID: ID project yang memiliki awalan yang didelegasikan secara publik.
    • PROJECT_NUMBER: nomor project dari project yang berisi cluster Anda.
  • Layanan ini adalah Layanan IPv6 stack tunggal (spec.ipFamilyPolicy: SingleStack dan spec.ipFamilies: ["IPv6"]) yang menetapkan kolom spec.loadBalancerClass ke networking.gke.io/l4-regional-external dan menggunakan Paket Premium. Layanan stack ganda, Layanan IPv4, dan Paket Standar tidak didukung dengan BYOIPv6.

  • Service tidak menyertakan anotasi networking.gke.io/load-balancer-subnet, yang tidak dapat digabungkan dengan anotasi networking.gke.io/ip-collection-v6.

Pilih apakah akan mengalokasikan rentang alamat BYOIPv6 eksternal sementara atau menggunakan rentang alamat BYOIPv6 eksternal statis yang dicadangkan:

  • Rentang alamat BYOIPv6 eksternal sementara: tambahkan anotasi networking.gke.io/ip-collection-v6 ke manifes Service dan tetapkan ke URL resource lengkap atau jalur resource parsial dari sub-awalan regional Anda:

    apiVersion: v1
    kind: Service
    metadata:
      name: ext-byoipv6-svc
      annotations:
        networking.gke.io/ip-collection-v6: "projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME"
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-external
      ipFamilyPolicy: SingleStack
      ipFamilies:
      - IPv6
      selector:
        app: store
      ports:
      - name: tcp-port
        protocol: TCP
        port: 80
        targetPort: 8080
    

    Ganti kode berikut:

    • PROJECT_ID: ID project yang berisi sub-awalan.
    • REGION: region cluster Anda.
    • SUB_PREFIX_NAME: nama sub-awalan regional Anda dalam mode EXTERNAL_IPV6_FORWARDING_RULE_CREATION.

    Jika nanti Anda mengubah anotasi networking.gke.io/ip-collection-v6, GKE akan membuat ulang aturan penerusan IPv6 dengan alamat baru dari awalan baru, yang akan mengganggu traffic ke Service untuk sementara. Jika Anda menghapus anotasi, Service akan kembali ke alamat yang disediakan Google dari subnet dengan rentang IPv6 eksternal. Jika subnet cluster Anda memiliki rentang IPv6 internal, tambahkan anotasi networking.gke.io/load-balancer-subnet secara bersamaan.

  • Rentang alamat BYOIPv6 eksternal statis: cadangkan rentang alamat IPv6 /96 eksternal statis regional dari sub-prefix dan referensikan menggunakan anotasi networking.gke.io/load-balancer-ip-addresses:

    1. Buat rentang alamat IPv6 eksternal statis regional dari sub-prefix Anda:

      gcloud compute addresses create STATIC_BYOIPV6_NAME \
          --region=REGION \
          --ip-version=IPV6 \
          --endpoint-type=NETLB \
          --ip-collection=projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME
      

      Ganti kode berikut:

      • STATIC_BYOIPV6_NAME: nama untuk resource alamat IPv6 statis.
      • REGION: region cluster Anda.
      • PROJECT_ID: ID project yang berisi sub-awalan.
      • SUB_PREFIX_NAME: nama sub-awalan regional Anda dalam mode EXTERNAL_IPV6_FORWARDING_RULE_CREATION.

      Anotasi networking.gke.io/ip-collection-v6 bersifat opsional saat Anda menggunakan rentang alamat BYOIPv6 eksternal statis; jika Anda menetapkan anotasi ini, anotasi tersebut harus merujuk ke sub-awalan yang sama dengan yang Anda gunakan untuk mencadangkan rentang alamat.

    2. Referensi nama resource alamat IPv6 statis yang dicadangkan dalam manifes Service Anda:

      apiVersion: v1
      kind: Service
      metadata:
        name: ext-static-byoipv6-svc
        annotations:
          networking.gke.io/load-balancer-ip-addresses: STATIC_BYOIPV6_NAME
      spec:
        type: LoadBalancer
        loadBalancerClass: networking.gke.io/l4-regional-external
        ipFamilyPolicy: SingleStack
        ipFamilies:
        - IPv6
        selector:
          app: store
        ports:
        - name: tcp-port
          protocol: TCP
          port: 80
          targetPort: 8080
      

Untuk mengetahui informasi selengkapnya, lihat Membawa alamat IPv6 Anda sendiri (BYOIPv6).

Mengaktifkan load balancing berbobot

Untuk mendistribusikan koneksi baru secara proporsional ke node berdasarkan jumlah Pod yang aktif, siap, dan tidak berhenti di setiap node, aktifkan load balancing berbobot dengan menambahkan anotasi networking.gke.io/weighted-load-balancing: "pods-per-node" ke manifes Service.

  1. Tambahkan anotasi networking.gke.io/weighted-load-balancing: "pods-per-node" ke manifes Service store-v1-lb-svc.yaml, dan pastikan Anda juga menetapkan nilai externalTrafficPolicy: Local agar terlihat seperti ini:

    apiVersion: v1
    kind: Service
    metadata:
      name: store-v1-lb-svc
      annotations:
        networking.gke.io/weighted-load-balancing: "pods-per-node"
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-external
      externalTrafficPolicy: Local
      selector:
        app: store
      ports:
      - name: tcp-port
        protocol: TCP
        port: 8080
        targetPort: 8080
    
  2. Terapkan manifes ke cluster:

    kubectl apply -f store-v1-lb-svc.yaml
    

Perhatikan hal-hal berikut tentang contoh load balancing berbobot ini:

  • Manifes Service menggunakan externalTrafficPolicy: Local. Jika tidak perlu mengaktifkan load balancing berbobot, Anda juga dapat menggunakan externalTrafficPolicy: Cluster. Untuk mengetahui detail tentang cara externalTrafficPolicy menentukan pengelompokan node, node mana yang lulus health check load balancer, dan cara paket diproses, lihat Konsep Service LoadBalancer.

  • Jika Anda mengaktifkan load balancing berbobot, GKE tidak akan mencegah Anda menggunakan externalTrafficPolicy: Cluster, tetapi externalTrafficPolicy: Cluster secara efektif menonaktifkan load balancing berbobot karena paket mungkin dirutekan, setelah load balancer, ke node yang berbeda.

Anda juga dapat mengaktifkan load balancing berbobot pada Service LoadBalancer eksternal yang ada menggunakan kubectl edit svc service-name. Perintah kubectl edit akan membuka manifes Service load balancer yang ada di editor teks yang telah dikonfigurasi, tempat Anda dapat mengubah manifes dan menyimpan perubahan. Saat Anda mengedit Service LoadBalancer eksternal yang ada, perhatikan poin-poin berikut:

  • Service LoadBalancer eksternal yang ada harus menghasilkan pembuatan Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend. Untuk cluster yang menjalankan GKE versi sebelum 1.37, persyaratan ini berarti Service LoadBalancer eksternal yang ada harus memiliki kolom spec.loadBalancerClass yang ditetapkan ke networking.gke.io/l4-regional-external saat manifes pertama kali diterapkan ke cluster.

    Menambahkan anotasi networking.gke.io/weighted-load-balancing: "pods-per-node" ke Service LoadBalancer eksternal yang sudah ada dan menggunakan Load Balancer Jaringan passthrough eksternal regional berbasis kumpulan target tidak akan berpengaruh.

  • Saat mengupdate manifes Service LoadBalancer eksternal yang ada, pastikan untuk menetapkan nilai externalTrafficPolicy: Local. Penggunaan externalTrafficPolicy: Cluster secara efektif menonaktifkan load balancing berbobot karena paket mungkin dirutekan, setelah load balancer, ke node yang berbeda.

Menonaktifkan load balancing berbobot

Untuk mendistribusikan koneksi baru ke node, terlepas dari berapa banyak Pod penayangan yang ada di setiap node, nonaktifkan load balancing berbobot dengan menghapus anotasi networking.gke.io/weighted-load-balancing: "pods-per-node" dari manifes Service.

Mengaktifkan logging untuk layanan backend

Anda dapat mengaktifkan, menonaktifkan, dan melihat log untuk Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend.

Anda mengonfigurasi Cloud Logging dengan membuat resource kustom L4LBConfig yang menentukan setelan logging Anda. Resource L4LBConfig ditautkan ke Service Kubernetes dalam manifes Service. Setelah Anda menerapkan manifes, pengontrol GKE akan mengonfigurasi logging untuk layanan backend. Jika Anda tidak menautkan resource L4LBConfig ke Service, pengontrol akan berhenti mengelola konfigurasi logging dan membiarkan layanan backend dalam status terakhir yang diketahui. Untuk mengetahui informasi selengkapnya, lihat Memahami perilaku coast.

Anda dapat mengonfigurasi kolom berikut:

  • enabled: jika ditetapkan ke true, mengaktifkan logging untuk Service ini dan log tersedia di Cloud Logging. Jika tidak, logging akan dinonaktifkan untuk Service ini.
  • sampleRate: menentukan nilai dari 0 hingga 1,000,000 (default). 0 berarti tidak ada paket yang dicatat ke dalam log, dan 1,000,000 berarti 100% paket dicatat ke dalam log. Kolom sampleRate bersifat opsional, dan hanya relevan jika nilai kolom enable ditetapkan ke true.
  • optionalMode: mengontrol kolom metadata opsional mana yang disertakan dalam log yang dihasilkan untuk load balancer. Kolom ini menerima salah satu nilai string berikut:
    • EXCLUDE_ALL_OPTIONAL: setelan default jika optionalMode tidak ditentukan. Jika ditetapkan, tidak ada bidang opsional yang disertakan dalam log, sehingga memberikan format log yang paling ringkas.
    • INCLUDE_ALL_OPTIONAL: mengaktifkan logging untuk semua kolom opsional yang tersedia, sehingga memberikan entri log yang paling mendetail.
    • CUSTOM: menentukan daftar kustom bidang opsional yang disertakan dalam log. Dengan mode CUSTOM, Anda juga harus menggunakan parameter optionalFields untuk memberikan daftar kolom yang dipisahkan koma yang Anda inginkan.
  • optionalFields: string nama kolom yang dipisahkan koma. Menentukan kolom metadata opsional yang tepat yang ingin Anda sertakan dalam log yang dihasilkan. Kolom ini hanya digunakan jika optionalMode ditetapkan ke CUSTOM, jika tidak, nilai apa pun akan diabaikan.

Untuk mengonfigurasi Cloud Logging, buat resource L4LBConfig di namespace yang sama dengan resource Service Anda. Contoh manifes L4LBConfig berikut mengaktifkan Cloud Logging dan menetapkan frekuensi sampel ke 50% dari permintaan untuk Service load balancer tertentu.

  1. Simpan manifes berikut sebagai svc-l4lb-config.yaml:

    apiVersion: networking.gke.io/v1
    kind: L4LBConfig
    metadata:
      name: svc-l4lb-config
      namespace: default
    spec:
      logging:
        enabled: true # must be included
        sampleRate: 500000
        optionalMode: "INCLUDE_ALL_OPTIONAL"
    
  2. Terapkan manifes L4LBConfig ke cluster Anda:

    kubectl apply -f svc-l4lb-config.yaml
    
  3. Tambahkan anotasi networking.gke.io/l4lb-config ke manifes Service store-v1-lb-svc.yaml:

    apiVersion: v1
    kind: Service
    metadata:
      name: store-v1-lb-svc
      annotations:
        cloud.google.com/l4-rbs: "enabled"
        networking.gke.io/l4lb-config: "svc-l4lb-config"
    spec:
      type: LoadBalancer
      selector:
        app: store
      ports:
        - name: tcp-port
          protocol: TCP
          port: 8080
          targetPort: 8080
    
  4. Terapkan manifes Service ke cluster Anda:

    kubectl apply -f store-v1-lb-svc.yaml
    

Memverifikasi Layanan LoadBalancer eksternal dan komponennya

  1. Pastikan Service Anda berjalan:

    kubectl get svc store-v1-lb-svc
    

    Outputnya mirip dengan hal berikut ini:

    NAME               TYPE           CLUSTER-IP        EXTERNAL-IP     PORT(S)          AGE
    store-v1-lb-svc   LoadBalancer   10.44.196.160     35.193.28.231   8080:32466/TCP   11m
    

    GKE menetapkan EXTERNAL_IP untuk Load Balancer Jaringan passthrough eksternal regional.

  2. Uji koneksi ke load balancer:

    curl EXTERNAL_IP:PORT
    

    Ganti kode berikut:

    • EXTERNAL_IP: alamat IP yang dialokasikan untuk Load Balancer Jaringan passthrough eksternal regional.
    • PORT: nomor port yang dialokasikan untuk Load Balancer Jaringan passthrough eksternal regional.

    Outputnya mirip dengan hal berikut ini:

    Hostname: store-v1-lb-svc-cdb9bb4d6-hflxd
    
    Pod Information:
      -no pod information available-
    
    Server values:
      server_version=nginx: 1.13.3 - lua: 10008
    
    Request Information:
      client_address=10.128.0.50
      method=GET
      real path=/
      query=
      request_version=1.1
      request_scheme=http
      request_uri=EXTERNAL_IP
    
    Request Headers:
      accept=*/*
      host=EXTERNAL_IP
      user-agent=curl/7.81.0
    
    Request Body:
      -no body in request-
    
    
  3. Periksa Layanan LoadBalancer dan kumpulan anotasinya yang menjelaskan resourceGoogle Cloud -nya:

    kubectl describe svc store-v1-lb-svc
    

    Outputnya mirip dengan hal berikut ini:

    Name:                     store-v1-lb-svc
    Namespace:                default
    Labels:                   <none>
    Annotations:              cloud.google.com/neg-status: {"network_endpoint_groups":{"0":"k8s2-qvveq1d8-default-my-service-ext-5s55db85"},"zones":["us-central1-c"]} #This annotation appears in the output only if the service uses NEG backends.
                              networking.gke.io/weighted-load-balancing: pods-per-node #This annotation appears in the output only if weighted load balancing is enabled.
                              service.kubernetes.io/backend-service: k8s2-qvveq1d8-default-my-service-ext-5s55db85
                              service.kubernetes.io/firewall-rule: k8s2-qvveq1d8-default-my-service-ext-5s55db85
                              service.kubernetes.io/firewall-rule-for-hc: k8s2-qvveq1d8-default-my-service-ext-5s55db85-fw
                              service.kubernetes.io/healthcheck: k8s2-qvveq1d8-default-my-service-ext-5s55db85
                              service.kubernetes.io/tcp-forwarding-rule: a808124abf8ce406ca51ab3d4e7d0b7d
    Selector:                 app=store
    Type:                     LoadBalancer
    IP Family Policy:         SingleStack
    IP Families:              IPv4
    IP:                       10.18.102.23
    IPs:                      10.18.102.23
    LoadBalancer Ingress:     35.184.160.229
    Port:                     tcp-port  8080/TCP
    TargetPort:               8080/TCP
    NodePort:                 tcp-port  31864/TCP
    Endpoints:                10.20.1.28:8080,10.20.1.29:8080
    Session Affinity:         None
    External Traffic Policy:  Local
    HealthCheck NodePort:     30394
    
    Events:
      Type    Reason                Age                    From                     Message
      ----    ------                ----                   ----                     -------
      Normal  ADD                   4m55s                  loadbalancer-controller  default/my-service-ext
    

    Ada beberapa kolom yang menunjukkan bahwa Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend dan resource Google Cloud -nya berhasil dibuat:

    • Kolom Events. Kolom ini kosong saat LoadBalancer Service dan resource-nya berhasil dibuat. Jika terjadi, error akan dicantumkan di sini.
    • Daftar Annotations yang diaktifkan: GKE menambahkan daftar anotasi hanya baca berikut ke manifes Service. Setiap anotasi yang namanya diawali dengan service.kubernetes.io/ digunakan untuk menunjukkan nama resourceGoogle Cloud yang dibuat sebagai bagian dari atau untuk mendukung load balancer.

      • Anotasi networking.gke.io/weighted-load-balancing: pods-per-node menunjukkan bahwa load balancing berbobot telah diterapkan dan load balancer mendistribusikan traffic ke Pod backend berdasarkan jumlah Pod yang berjalan di setiap node.
      • Anotasi service.kubernetes.io/backend-service menunjukkan nama layanan backend load balancer.
      • Anotasi service.kubernetes.io/healthcheck menunjukkan nama health check load balancer yang digunakan oleh layanan backend.
      • Anotasi service.kubernetes.io/tcp-forwarding-rule atau service.kubernetes.io/udp-forwarding-rule menunjukkan nama aturan penerusan load balancer.
      • Anotasi service.kubernetes.io/firewall-rule menunjukkan nama aturan firewall yang dibuat untuk mengizinkan traffic ke node cluster. Rentang sumber untuk aturan firewall ini dapat disesuaikan menggunakan spec.loadBalancerSourceRanges[]. Guna mengetahui detail tambahan tentang aturan firewall untuk Layanan LoadBalancer, lihat Aturan firewall dan daftar alamat IP sumber yang diizinkan.
      • Anotasi service.kubernetes.io/firewall-rule-for-hc menunjukkan nama aturan firewall yang diperlukan untuk health check load balancer.
      • Anotasi cloud.google.com/neg-status menunjukkan NEG yang digunakan oleh load balancer dan zonanya. Anotasi ini hanya ada jika kedua hal berikut terpenuhi:

        • Cluster menjalankan GKE versi 1.32.2-gke.1652000 atau yang lebih baru saat manifes diterapkan ke cluster.
        • Kolom spec.loadBalancerClass yang ditetapkan ke nilai networking.gke.io/l4-regional-external ada dalam manifes Service saat diterapkan ke cluster.
  4. Verifikasi bahwa resource load balancer dan aturan firewall telah dibuat untuk Layanan LoadBalancer eksternal:

    • Untuk melihat aturan penerusan, jalankan perintah berikut:

        gcloud compute forwarding-rules describe FWD_RULE_NAME \
          --region=REGION_NAME
      

      Ganti kode berikut:

      • FWD_RULE_NAME: nama aturan penerusan yang diberikan oleh anotasi hanya baca service.kubernetes.io/tcp-forwarding-rule atau service.kubernetes.io/udp-forwarding-rule. Untuk memeriksa anotasi ini, jalankan kubectl describe svc SERVICE_NAME.
      • REGION_NAME: Google Cloud region yang berisi cluster. Untuk cluster zona, region berisi zona yang digunakan oleh cluster.
    • Untuk melihat layanan backend, jalankan perintah berikut:

      gcloud compute backend-services describe BACKEND_SERVICE_NAME \
        --region=REGION_NAME
      

      Ganti kode berikut:

      • BACKEND_SERVICE_NAME: nama layanan backend yang disediakan oleh anotasi hanya baca service.kubernetes.io/backend-service. Untuk memeriksa anotasi hanya baca ini, jalankan kubectl describe svc SERVICE_NAME.
      • REGION_NAME: Google Cloud region yang berisi cluster. Untuk cluster zona, region berisi zona yang digunakan oleh cluster.
    • Untuk melihat health check load balancer, jalankan perintah berikut:

      gcloud compute health-checks describe HEALTH_CHECK_NAME \
        --region=REGION_NAME
      

      Ganti kode berikut:

      • HEALTH_CHECK_NAME: nama health check load balancer. Nama health check diberikan oleh anotasi hanya baca service.kubernetes.io/healthcheck. Untuk memeriksa anotasi hanya baca ini, jalankan kubectl describe svc SERVICE_NAME.
      • REGION_NAME: Google Cloud region yang berisi cluster. Untuk cluster zona, region berisi zona yang digunakan oleh cluster.
    • Untuk melihat aturan firewall, jalankan perintah berikut:

      gcloud compute firewall-rules describe FIREWALL_RULE_NAME
      
      gcloud compute firewall-rules describe HEALTH_CHECK_FIREWALL_RULE_NAME
      

      Ganti kode berikut:

      • FIREWALL_RULE_NAME: nama aturan firewall yang mengizinkan traffic ke load balancer. Nama aturan firewall ini disediakan oleh anotasi hanya baca service.kubernetes.io/firewall-rule. Untuk memeriksa anotasi hanya baca ini, jalankan kubectl describe svc SERVICE_NAME.
      • HEALTH_CHECK_FIREWALL_RULE_NAME: nama aturan firewall yang mengizinkan health check backend load balancer (node cluster). Nama aturan firewall ini disediakan oleh anotasi hanya baca service.kubernetes.io/firewall-rule-for-hc. Untuk memeriksa anotasi hanya baca ini, jalankan kubectl describe svc SERVICE_NAME.
    • Untuk melihat NEG load balancer, jalankan perintah berikut:

      gcloud compute network-endpoint-groups describe NEG_NAME \
        --zone=ZONE_NAME
      

      Ganti kode berikut:

      • NEG_NAME: nama NEG load balancer. Nama NEG diberikan oleh anotasi hanya baca cloud.google.com/neg-status. Untuk memeriksa anotasi hanya baca ini, jalankan perintah kubectl describe svc SERVICE_NAME. Anotasi ini berisi data terstruktur dengan informasi tentang nama dan zona NEG yang digunakan oleh load balancer. Untuk cluster zona, anotasi ini berisi informasi tentang satu NEG. Untuk cluster regional, anotasi ini berisi informasi tentang NEG di setiap zona tempat cluster berada.
      • ZONE_NAME: Google Cloud zona yang berisi NEG.
  5. Pastikan Cloud Logging telah diaktifkan untuk layanan backend:

    kubectl get svc SERVICE_NAME --output yaml
    

    Ganti kode berikut:

    • SERVICE_NAME: nama layanan backend.

    Pada output, pastikan kolom Status.Conditions memiliki Type: LoggingConfigManaged dan Reason: Reconciled.

Menghapus Service LoadBalancer eksternal

Untuk menghapus contoh Layanan LoadBalancer eksternal store-v1-lb-svc, gunakan perintah berikut:

kubectl delete service store-v1-lb-svc

GKE otomatis menghapus semua resource load balancer yang dibuatnya untuk Service LoadBalancer eksternal.

Bermigrasi ke backend NEG GCE_VM_IP

Service LoadBalancer eksternal membuat Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend jika dibuat di GKE 1.37 atau yang lebih baru, menentukan nilai networking.gke.io/l4-regional-external untuk kolom spec.loadBalancerClass, atau menyertakan anotasi cloud.google.com/l4-rbs: "enabled". Bergantung pada versi GKE cluster, GKE menggunakan grup endpoint jaringan GCE_VM_IP atau grup instance tidak terkelola sebagai backend:

  • Jika manifes Service diterapkan ke cluster yang menjalankan GKE versi 1.32.2-gke.1652000 atau yang lebih baru, Load Balancer Jaringan passthrough eksternal regional yang dihasilkan akan menggunakan backend grup endpoint jaringan (NEG) GCE_VM_IP.

  • Jika manifes Service diterapkan ke cluster yang menjalankan versi GKE yang lebih lama, Load Balancer Jaringan passthrough eksternal regional yang dihasilkan akan menggunakan backend grup instance tidak terkelola.

Untuk mengetahui informasi selengkapnya, lihat Pengelompokan node di artikel Tentang Service LoadBalancer.

Anda dapat membuat Service LoadBalancer eksternal baru yang didukung oleh Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend yang menggunakan backend NEG GCE_VM_IP jika Service yang ada menggunakan salah satu load balancer berikut:

  • Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend dengan backend grup instance
  • Load Balancer Jaringan passthrough eksternal regional berbasis kumpulan target

Untuk mempertahankan alamat IPv4 eksternal saat Anda beralih ke Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend yang menggunakan backend NEG GCE_VM_IP (Layanan LoadBalancer eksternal IPv6 tidak memerlukan migrasi ini):

  1. Jika Anda belum melakukannya, upgrade cluster Anda ke GKE versi 1.32.2-gke.1652000 atau yang lebih baru.

  2. Identifikasi Service LoadBalancer eksternal yang ingin Anda alihkan ke Load Balancer Jaringan passthrough eksternal regional berbasis layanan backend menggunakan backend NEG GCE_VM_IP. Deskripsikan Service menggunakan perintah berikut:

    kubectl describe svc SERVICE_NAME -n SERVICE_NAMESPACE
    

    Ganti kode berikut:

    • SERVICE_NAME: nama Service LoadBalancer eksternal yang ada.

    • SERVICE_NAMESPACE: namespace Service LoadBalancer eksternal yang ada.

    Dalam output perintah, catat alamat IPv4 eksternal load balancer yang tercantum setelah LoadBalancer Ingress.

  3. Ambil manifes Service untuk Service LoadBalancer yang ada:

    • Sebaiknya Anda memiliki manifes Service asli yang telah Anda terapkan ke cluster sebelumnya. Misalnya, Anda mungkin memiliki ini di repositori kontrol sumber.

    • Jika Anda tidak memiliki manifes Service asli:

      • Jalankan perintah berikut untuk mendapatkan salinan YAML manifes Service yang mewakili implementasi load balancer saat ini:

        kubectl get svc SERVICE_NAME -n SERVICE_NAMESPACE -o yaml
        
      • Salin YAML manifes ke editor teks. Hapus atribut status dan atribut metadata berikut:

        • Semua anotasi berikut:
          • Anotasi kubectl.kubernetes.io/last-applied-configuration
          • Semua anotasi yang diawali dengan service.kubernetes.io
        • creationTimestamp
        • finalizers
        • resourceVersion
        • uid
    • Pastikan manifes menyertakan kolom spec.loadBalancerClass yang ditetapkan ke nilai networking.gke.io/l4-regional-external. Jika Anda bermigrasi dari Load Balancer Jaringan passthrough eksternal regional berbasis kumpulan target, kolom ini harus ditambahkan.

    Simpan file manifes dan catat tempat Anda menyimpannya. Bagian selanjutnya dari prosedur ini mengacu pada jalur tempat Anda menyimpan manifes sebagai MANIFEST_FILE_PATH.

  4. Konfigurasikan resource alamat IPv4 eksternal statis untuk menyimpan alamat IPv4 eksternal yang digunakan oleh load balancer yang ada:

    gcloud compute addresses create IP_ADDRESS_NAME --region=CLUSTER_REGION --addresses LB_EXTERNAL_IP
    

    Ganti kode berikut:

    • IP_ADDRESS_NAME: nama alamat IP eksternal statis. Nama harus mematuhi konvensi nama untuk resource Compute Engine.

    • CLUSTER_REGION: region yang berisi cluster. Untuk cluster zona, ini adalah region yang berisi zona cluster.

    • LB_EXTERNAL_IP: alamat IPv4 eksternal yang digunakan oleh load balancer saat ini, yang ditentukan pada langkah kedua prosedur ini.

  5. Pastikan resource alamat IPv4 eksternal statis telah dibuat:

    gcloud compute addresses describe IP_ADDRESS_NAME --region=CLUSTER_REGION
    

    Ganti variabel seperti yang ditunjukkan pada langkah sebelumnya.

  6. Hapus Service yang ada:

    kubectl delete svc SERVICE_NAME -n SERVICE_NAMESPACE
    
  7. Tambahkan anotasi berikut ke file manifes Service MANIFEST_FILE_PATH:

    networking.gke.io/load-balancer-ip-addresses: IP_ADDRESS_NAME
    

    Untuk mengetahui informasi selengkapnya tentang anotasi ini, lihat Alamat IP statis di parameter Service LoadBalancer.

  8. Terapkan manifes Service yang telah diupdate ke cluster:

    kubectl apply -f MANIFEST_FILE_PATH
    
  9. (Opsional) Lepaskan resource alamat IPv4 statis.

    gcloud compute addresses delete IP_ADDRESS_NAME --region=CLUSTER_REGION
    

Memecahkan masalah

Bagian ini menjelaskan masalah yang mungkin Anda alami saat mengonfigurasi Layanan LoadBalancer eksternal berbasis layanan backend.

Kebijakan traffic eksternal yang salah untuk load balancing berbobot

Jika Anda tidak menetapkan nilai externalTrafficPolicy: Local saat mengaktifkan load balancing berbobot, Anda mungkin mendapatkan peristiwa peringatan saat mendeskripsikan Service menggunakan perintah berikut:

kubectl describe svc store-v1-lb-svc`
Events:
  Type     Reason                   Age      From                     Message
  ----     ------                   ----     ----                     -------
  Warning  UnsupportedConfiguration 4m55s    loadbalancer-controller  Weighted load balancing by pods-per-node has no effect with External Traffic Policy: Cluster.

Untuk mengaktifkan load balancing berbobot secara efektif, Anda harus menetapkan nilai externalTrafficPolicy: Local.

Terjadi error saat membuat load balancer IPv6 di Paket Standar

Jika Service LoadBalancer eksternal IPv6 menampilkan peristiwa SyncExternalLoadBalancerFailed dengan pesan Network tier Standard is not supported for IPv6 External Load Balancer, hapus anotasi cloud.google.com/network-tier: Standard dari manifes Service. Service LoadBalancer eksternal IPv6 hanya didukung di Paket Premium.

Error saat mengonfigurasi bring your own IPv6 address (BYOIPv6)

Saat mengonfigurasi bawa alamat IPv6 Anda sendiri (BYOIPv6) untuk Service LoadBalancer eksternal, Anda mungkin melihat peristiwa peringatan SyncExternalLoadBalancerFailed saat menjalankan perintah kubectl describe service SERVICE_NAME. Pesan peristiwa dimulai dengan Error ensuring Resource for L4 External LoadBalancer, err: diikuti dengan salah satu error berikut:

  • networking.gke.io/ip-collection-v6 is currently only supported for IPv6-only Services: pastikan manifes Service Anda menentukan spec.ipFamilyPolicy: SingleStack dan spec.ipFamilies: ["IPv6"].
  • static IPv6 address "ADDRESS_NAME" is a BYOIP address from IP collection "SUB_PREFIX", which is currently only supported for IPv6-only Services: pastikan manifes Service Anda menentukan spec.ipFamilyPolicy: SingleStack dan spec.ipFamilies: ["IPv6"]. Error ini menunjukkan bahwa Service menggunakan stack ganda atau IPv4, tetapi merujuk ke alamat BYOIPv6 statis.
  • cannot specify both networking.gke.io/load-balancer-subnet ("SUBNET") and networking.gke.io/ip-collection-v6 ("SUB_PREFIX") for LoadBalancer: hapus anotasi networking.gke.io/load-balancer-subnet dari manifes Service saat Anda menggunakan anotasi networking.gke.io/ip-collection-v6.
  • invalid networking.gke.io/ip-collection-v6 "VALUE": expected projects/PROJECT/regions/REGION/publicDelegatedPrefixes/NAME atau invalid networking.gke.io/ip-collection-v6 "VALUE": the public delegated prefix must be in the cluster region REGION: tetapkan anotasi ke URL resource lengkap atau jalur resource parsial (projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME) sub-awalan di region yang sama dengan cluster Anda. Nama sub-awalan kosong tidak diterima.
  • reserved address ("ADDRESS_NAME") is not valid, err: ipCollection mismatch, expected "SUB_PREFIX_A", actual: "SUB_PREFIX_B": pastikan anotasi networking.gke.io/ip-collection-v6 cocok dengan awalan yang didelegasikan secara publik yang Anda gunakan untuk mencadangkan alamat IPv6 statis, atau hapus anotasi networking.gke.io/ip-collection-v6 saat Anda menggunakan anotasi networking.gke.io/load-balancer-ip-addresses.
  • googleapi: Error 403: Required 'compute.publicDelegatedPrefixes.use' permission for 'SUB_PREFIX', forbidden: berikan peran Compute Public IP Admin (roles/compute.publicIpAdmin) ke agen layanan GKE (service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com) pada project yang memiliki awalan yang didelegasikan secara publik. GKE memerlukan izin ini setiap kali menyinkronkan Service, jadi jangan hapus peran tersebut setelah GKE membuat Service.

Langkah berikutnya