Menyelesaikan masalah pengelolaan traffic di Cloud Service Mesh

Bagian ini menjelaskan masalah umum Cloud Service Mesh dan cara menyelesaikannya. Jika Anda memerlukan bantuan tambahan, lihat Mendapatkan dukungan.

Error koneksi server API di log istiod

Istiod tidak dapat menghubungi apiserver jika Anda melihat error yang mirip dengan berikut ini:

error k8s.io/client-go@v0.18.0/tools/cache/reflector.go:125: Failed to watch *crd.IstioSomeCustomResource`…dial tcp 10.43.240.1:443: connect: connection refused

Anda dapat menggunakan string ekspresi reguler /error.*cannot list resource/ untuk menemukan error ini di log.

Error ini biasanya bersifat sementara dan jika Anda mencapai log proxy menggunakan kubectl, masalahnya mungkin sudah teratasi. Error ini biasanya disebabkan oleh peristiwa yang membuat server API tidak tersedia untuk sementara, seperti saat server API yang tidak berada dalam konfigurasi ketersediaan tinggi dimulai ulang untuk upgrade atau perubahan penskalaan otomatis.

Container istio-init error

Masalah ini dapat terjadi jika aturan iptables pod tidak diterapkan ke namespace jaringan pod. Hal ini dapat disebabkan oleh:

  • Penginstalan istio-cni yang tidak lengkap
  • Izin pod workload tidak memadai (izin CAP_NET_ADMIN tidak ada)

Jika Anda menggunakan plugin CNI Istio, pastikan Anda telah mengikuti petunjuknya sepenuhnya. Pastikan container istio-cni-node sudah siap, dan periksa log. Jika masalah berlanjut, buat secure shell (SSH) ke node host dan telusuri log node untuk menemukan perintah nsenter, lalu lihat apakah ada error.

Jika Anda tidak menggunakan plugin CNI Istio, pastikan pod workload memiliki izin CAP_NET_ADMIN, yang otomatis ditetapkan oleh injektor sidecar.

Koneksi ditolak setelah pod dimulai

Saat Pod dimulai dan mendapatkan connection refused saat mencoba terhubung ke endpoint, masalahnya mungkin adalah container aplikasi dimulai sebelum container isto-proxy. Dalam hal ini, container aplikasi mengirimkan permintaan ke istio-proxy, tetapi koneksi ditolak karena istio-proxy belum memproses port.

Dalam hal ini, Anda dapat:

  • Ubah kode startup aplikasi Anda untuk membuat permintaan berkelanjutan ke endpoint respons istio-proxy hingga aplikasi menerima kode 200. Endpoint health istio-proxy adalah:

    http://localhost:15020/healthz/ready
    
  • Tambahkan mekanisme permintaan percobaan ulang ke workload aplikasi Anda.

Daftar gateway menampilkan hasil kosong

Gejala: Saat Anda mencantumkan Gateway menggunakan kubectl get gateway --all-namespaces setelah berhasil membuat Gateway Cloud Service Mesh, perintah akan menampilkan No resources found.

Masalah ini dapat terjadi di GKE 1.20 dan yang lebih baru karena pengontrol GKE Gateway otomatis menginstal resource Gateway.networking.x-k8s.io/v1alpha1 GKE di cluster. Untuk mengatasi masalah ini:

  1. Periksa apakah ada beberapa resource kustom gateway di cluster:

    kubectl api-resources | grep gateway
    

    Contoh output:

    gateways                          gw           networking.istio.io/v1beta1            true         Gateway
    gatewayclasses                    gc           networking.x-k8s.io/v1alpha1           false        GatewayClass
    gateways                          gtw          networking.x-k8s.io/v1alpha1           true         Gateway

  2. Jika daftar menampilkan entri selain Gateway dengan apiVersion networking.istio.io/v1beta1, gunakan nama resource lengkap atau nama pendek yang dapat dibedakan dalam perintah kubectl. Misalnya, jalankan kubectl get gw atau kubectl get gateways.networking.istio.io, bukan kubectl get gateway untuk memastikan Gateway istio tercantum.

Untuk mengetahui informasi selengkapnya tentang masalah ini, lihat Gateway Kubernetes dan Gateway Istio.

Proxy Envoy berhenti merespons saat inisialisasi

Jika log debug menunjukkan bahwa proxy Envoy hang selama inisialisasi, Anda dapat menggunakan perintah berikut untuk mengidentifikasi hal yang memblokir proses:

kubectl -n <ns> -c istio-proxy exec -it POD_NAME -- /usr/local/bin/pilot-agent request POST /init_dump

Memecahkan masalah error respons HTTP 5xx

Anda mungkin mengalami error respons HTTP 5xx saat mengakses aplikasi melalui Gateway Ingress Istio. Ikuti langkah-langkah berikut untuk mendiagnosis dan menyelesaikan masalah.

  1. Mengidentifikasi bidang kontrol
  2. Memverifikasi potensi kesalahan konfigurasi
  3. Memverifikasi penemuan pod
  4. Menganalisis log akses

Mengidentifikasi bidang kontrol

Tentukan versi dan konfigurasi bidang kontrol karena versi yang berbeda dapat memengaruhi proses diagnostik. Untuk memverifikasi status bidang kontrol terkelola, jalankan perintah berikut:

gcloud container fleet mesh describe --project PROJECT_ID

Status ACTIVE menunjukkan bahwa bidang kontrol terkelola berjalan normal.

Memverifikasi potensi kesalahan konfigurasi

Kesalahan konfigurasi umum dapat menyebabkan kegagalan pemilihan rute:

  • Namespace Tidak Cocok: VirtualService harus berada di namespace yang sama dengan layanan GKE backend.
  • Ketidakcocokan Referensi Gateway: VirtualService harus secara eksplisit merujuk ke Gateway yang benar. Misalnya, jika VirtualService mereferensikan istio-system/istio-ingressgateway, tetapi gateway berada di namespace default, traffic tidak akan dirutekan dengan benar.

Memverifikasi penemuan pod

Pastikan pod aplikasi ditemukan dengan benar oleh mesh:

istioctl proxy-config endpoints POD_NAME

Menganalisis log akses

Aktifkan log akses untuk menentukan apakah error berasal dari aplikasi backend atau proxy. Kolom kunci mencakup RESPONSE_FLAGS, UPSTREAM_LOCAL_ADDRESS, dan RESPONSE_CODE.

Jika log menunjukkan error upstream, lakukan pengujian curl langsung ke layanan GKE dari pod di namespace yang sama. Jika permintaan curl menampilkan error 5xx yang sama, masalahnya berasal dari aplikasi backend itu sendiri.

Memecahkan masalah sertifikat SSL

Error sertifikat SSL di Gateway Ingress Istio dapat disebabkan oleh sertifikat yang sudah tidak berlaku, ketidakcocokan protokol, atau konfigurasi secret yang salah.

Mengidentifikasi error SSL

Tinjau log dari pod Gateway Ingress Istio:

kubectl logs -l app=istio-ingressgateway -n GATEWAY_NAMESPACE

Memverifikasi sertifikat dan kunci

Pastikan sertifikat dan kunci pribadi valid dan cocok menggunakan hash MD5:

openssl x509 -noout -modulus -in CERTIFICATE.CRT | openssl md5
openssl rsa -noout -modulus -in PRIVATE_KEY | openssl md5

Pastikan masa berlaku sertifikat belum habis dan Nama Umum (CN) atau Nama Alternatif Subjek (SAN) cocok dengan domain.

Memeriksa konfigurasi secret dan protokol TLS

Verifikasi versi TLS dan cipher suite di CRD Gateway. Pastikan secret Kubernetes yang berisi sertifikat dan kunci berada di namespace yang sama dengan Gateway Ingress dan credentialName cocok dengan nama secret.

Memecahkan masalah waktu tunggu yang terputus-putus ke endpoint eksternal

Waktu tunggu yang terputus-putus dapat terjadi saat permintaan dibuat ke endpoint eksternal (seperti NLB pihak ketiga) yang me-resolve ke beberapa alamat IP.

Kemungkinan penyebab: Resolusi ServiceEntry

Jika spec.resolution ditetapkan ke DNS, Istio akan menggunakan "DNS ketat", yang melakukan load balancing di semua alamat IP yang di-resolve. Beberapa NLB tidak mendukung hal ini.

Resolusi

Untuk mengatasinya, tetapkan resolusi di ServiceEntry ke DNS_ROUND_ROBIN.

Memecahkan masalah waktu tunggu habis atau lonjakan latensi bertahap

Waktu tunggu yang terputus-putus, error 503 dengan flag respons UF, atau lonjakan latensi dapat terjadi saat beberapa cluster didaftarkan ke fleet yang sama.

Kemungkinan penyebab: penemuan endpoint lintas cluster yang salah dikonfigurasi

Pengelolaan otomatis mengaktifkan penemuan endpoint lintas cluster (multicluster_mode: connected) secara default. Jika beberapa cluster dalam fleet yang sama mengaktifkan fitur ini, traffic akan di-load balanced di antara cluster tersebut, yang akan mengalami waktu tunggu habis jika aturan firewall Virtual Private Cloud (VPC) tidak dikonfigurasi di antara cluster.

Resolusi

Untuk mengatasinya, nonaktifkan penemuan endpoint multi-cluster di cluster mandiri atau buka aturan firewall Pod-ke-Pod. Untuk mengetahui detailnya, lihat Waktu tunggu lintas cluster, latensi tinggi, atau traffic lintas cluster yang tidak terduga.

Memecahkan masalah distribusi traffic yang tidak merata

Jika traffic tidak didistribusikan secara merata di seluruh pod aplikasi, periksa hal berikut:

  • Kesehatan Pod: Pastikan semua pod aplikasi berfungsi dengan baik selama ketidakseimbangan.
  • Algoritma Load Balancing: Tinjau konfigurasi DestinationRule untuk setelan loadBalancer (misalnya, consistentHash atau ROUND_ROBIN).
  • Load Balancing Lokalitas: Verifikasi apakah localityLbSetting diaktifkan. Perhatikan bahwa hal ini tidak didukung dengan bidang kontrol TRAFFIC_DIRECTOR.

Memecahkan masalah propagasi layanan dan kuota

Jika layanan atau konfigurasi jaringan baru tidak tercermin dalam mesh, hal ini mungkin disebabkan oleh kuota resource yang telah tercapai dalam project fleet.

Gejala

  • Konfigurasi jaringan (seperti VirtualService atau DestinationRule) tidak di-push ke proxy sidecar.
  • Layanan baru tampak "tidak terlihat" oleh mesh meskipun telah ditentukan dengan benar.

Langkah-langkah untuk mengidentifikasi dan menyelesaikan masalah

  1. Periksa kuota resource: Pastikan apakah project fleet telah mencapai kuotanya untuk resource BackendService dengan memeriksa kuota Global internal Traffic Director layanan backend di project fleet. Cloud Service Mesh biasanya membuat satu BackendService per port layanan Kubernetes.
  2. Tinjau batasan skala: Pastikan konfigurasi Anda tetap berada dalam batasan skala yang didukung untuk Cloud Service Mesh.
  3. Tingkatkan kuota: Jika kuota telah tercapai, minta peningkatan untuk resource yang terpengaruh dalam project fleet guna memulihkan propagasi layanan normal.

Memecahkan masalah evaluasi VirtualService

Jika VirtualService tidak berperilaku seperti yang diharapkan, ingatlah bahwa rute dievaluasi sesuai urutan yang tercantum. Jika Anda memiliki beberapa Layanan Virtual untuk host yang sama, rutenya akan digabungkan. Rute dari Layanan Virtual "lama" akan diprioritaskan, sehingga ditempatkan sebelum rute dari layanan "baru" dalam daftar gabungan. Hal ini memperkuat aturan "pencocokan pertama".

Memecahkan masalah load balancing lokalitas

Secara default, load balancing lokalitas mengarahkan traffic klien ke endpoint di zona yang sama (zona utama, atau Prioritas 0). Envoy hanya merutekan traffic ke zona failover (Prioritas 1 atau lebih tinggi) jika endpoint di zona utama tidak responsif atau tidak tersedia.

Jika Anda tidak menskalakan endpoint untuk menangani seluruh beban zona atau jika Anda lebih suka membagi traffic di seluruh zona, lakukan salah satu tindakan berikut:

  • Menskalakan pod di zona masing-masing untuk menangani beban traffic lokal.
  • Nonaktifkan setelan load balancing lokalitas.

Mengidentifikasi setelan load balancing lokalitas

Load balancing lokalitas mengandalkan label topologi node untuk mengelompokkan endpoint. Untuk memverifikasi label node dan memeriksa setelan, gunakan perintah berikut:

  • Verifikasi label topologi node:

    kubectl get nodes -o custom-columns=NAME:.metadata.name,\
        REGION:.metadata.labels."topology\\.kubernetes\\.io/region",\
        ZONE:.metadata.labels."topology\\.kubernetes\\.io/zone"
    
  • Untuk DestinationRules GKE, periksa setelan lokalitas:

    kubectl get destinationrule DESTINATION_RULE_NAME -o yaml
    

    Cari localityLbSetting: enabled: true di output.

  • Untuk memeriksa endpoint, prioritas, dan kondisi proxy Envoy:

    istioctl proxy-config endpoints POD_NAME.NAMESPACE \
        --cluster "outbound|PORT||SERVICE_FQDN" -o json
    

    Cari kolom priority di konfigurasi endpoint.

  • Untuk melihat konfigurasi cluster aktif yang mendetail:

    istioctl proxy-config cluster POD_NAME.NAMESPACE \
        --fqdn SERVICE_FQDN -o json