Menyelesaikan masalah pengelolaan traffic di Cloud Service Mesh
Bagian ini menjelaskan masalah umum Cloud Service Mesh dan cara menyelesaikannya. Jika Anda memerlukan bantuan tambahan, lihat Mendapatkan dukungan.
Error koneksi server API di log istiod
Istiod tidak dapat menghubungi apiserver jika Anda melihat error yang mirip dengan berikut ini:
error k8s.io/client-go@v0.18.0/tools/cache/reflector.go:125: Failed to watch *crd.IstioSomeCustomResource`…dial tcp 10.43.240.1:443: connect: connection refused
Anda dapat menggunakan string ekspresi reguler /error.*cannot list resource/ untuk menemukan error ini di log.
Error ini biasanya bersifat sementara dan jika Anda mencapai log proxy menggunakan
kubectl, masalahnya mungkin sudah teratasi. Error ini biasanya disebabkan oleh peristiwa yang membuat server API tidak tersedia untuk sementara, seperti saat server API yang tidak berada dalam konfigurasi ketersediaan tinggi dimulai ulang untuk upgrade atau perubahan penskalaan otomatis.
Container istio-init error
Masalah ini dapat terjadi jika aturan iptables pod tidak diterapkan ke namespace jaringan pod. Hal ini dapat disebabkan oleh:
- Penginstalan istio-cni yang tidak lengkap
- Izin pod workload tidak memadai (izin
CAP_NET_ADMINtidak ada)
Jika Anda menggunakan plugin CNI Istio, pastikan Anda telah mengikuti petunjuknya
sepenuhnya. Pastikan container istio-cni-node sudah siap, dan periksa log. Jika masalah berlanjut, buat secure shell (SSH) ke node host
dan telusuri log node untuk menemukan perintah nsenter, lalu lihat apakah ada error.
Jika Anda tidak menggunakan plugin CNI Istio, pastikan pod workload memiliki izin CAP_NET_ADMIN, yang otomatis ditetapkan oleh injektor sidecar.
Koneksi ditolak setelah pod dimulai
Saat Pod dimulai dan mendapatkan connection refused saat mencoba terhubung ke endpoint, masalahnya mungkin adalah container aplikasi dimulai sebelum container isto-proxy. Dalam hal ini, container aplikasi mengirimkan permintaan ke istio-proxy, tetapi koneksi ditolak karena istio-proxy belum memproses port.
Dalam hal ini, Anda dapat:
Ubah kode startup aplikasi Anda untuk membuat permintaan berkelanjutan ke endpoint respons
istio-proxyhingga aplikasi menerima kode 200. Endpoint healthistio-proxyadalah:http://localhost:15020/healthz/readyTambahkan mekanisme permintaan percobaan ulang ke workload aplikasi Anda.
Daftar gateway menampilkan hasil kosong
Gejala: Saat Anda mencantumkan Gateway menggunakan kubectl get gateway --all-namespaces
setelah berhasil membuat Gateway Cloud Service Mesh, perintah akan menampilkan
No resources found.
Masalah ini dapat terjadi di GKE 1.20 dan yang lebih baru karena pengontrol GKE Gateway
otomatis menginstal resource Gateway.networking.x-k8s.io/v1alpha1 GKE
di cluster. Untuk mengatasi masalah ini:
Periksa apakah ada beberapa resource kustom gateway di cluster:
kubectl api-resources | grep gatewayContoh output:
gateways gw networking.istio.io/v1beta1 true Gateway gatewayclasses gc networking.x-k8s.io/v1alpha1 false GatewayClass gateways gtw networking.x-k8s.io/v1alpha1 true Gateway
Jika daftar menampilkan entri selain Gateway dengan
apiVersionnetworking.istio.io/v1beta1, gunakan nama resource lengkap atau nama pendek yang dapat dibedakan dalam perintahkubectl. Misalnya, jalankankubectl get gwataukubectl get gateways.networking.istio.io, bukankubectl get gatewayuntuk memastikan Gateway istio tercantum.
Untuk mengetahui informasi selengkapnya tentang masalah ini, lihat Gateway Kubernetes dan Gateway Istio.
Proxy Envoy berhenti merespons saat inisialisasi
Jika log debug menunjukkan bahwa proxy Envoy hang selama inisialisasi, Anda dapat menggunakan perintah berikut untuk mengidentifikasi hal yang memblokir proses:
kubectl -n <ns> -c istio-proxy exec -it POD_NAME -- /usr/local/bin/pilot-agent request POST /init_dump
Memecahkan masalah error respons HTTP 5xx
Anda mungkin mengalami error respons HTTP 5xx saat mengakses aplikasi melalui Gateway Ingress Istio. Ikuti langkah-langkah berikut untuk mendiagnosis dan menyelesaikan masalah.
- Mengidentifikasi bidang kontrol
- Memverifikasi potensi kesalahan konfigurasi
- Memverifikasi penemuan pod
- Menganalisis log akses
Mengidentifikasi bidang kontrol
Tentukan versi dan konfigurasi bidang kontrol karena versi yang berbeda dapat memengaruhi proses diagnostik. Untuk memverifikasi status bidang kontrol terkelola, jalankan perintah berikut:
gcloud container fleet mesh describe --project PROJECT_ID
Status ACTIVE menunjukkan bahwa bidang kontrol terkelola berjalan normal.
Memverifikasi potensi kesalahan konfigurasi
Kesalahan konfigurasi umum dapat menyebabkan kegagalan pemilihan rute:
- Namespace Tidak Cocok:
VirtualServiceharus berada di namespace yang sama dengan layanan GKE backend. - Ketidakcocokan Referensi Gateway:
VirtualServiceharus secara eksplisit merujuk keGatewayyang benar. Misalnya, jikaVirtualServicemereferensikanistio-system/istio-ingressgateway, tetapi gateway berada di namespacedefault, traffic tidak akan dirutekan dengan benar.
Memverifikasi penemuan pod
Pastikan pod aplikasi ditemukan dengan benar oleh mesh:
istioctl proxy-config endpoints POD_NAME
Menganalisis log akses
Aktifkan log akses untuk menentukan apakah error berasal dari aplikasi backend atau proxy. Kolom kunci mencakup RESPONSE_FLAGS, UPSTREAM_LOCAL_ADDRESS, dan
RESPONSE_CODE.
Jika log menunjukkan error upstream, lakukan pengujian curl langsung ke
layanan GKE dari pod di namespace yang sama. Jika permintaan curl
menampilkan error 5xx yang sama, masalahnya berasal dari aplikasi backend
itu sendiri.
Memecahkan masalah sertifikat SSL
Error sertifikat SSL di Gateway Ingress Istio dapat disebabkan oleh sertifikat yang sudah tidak berlaku, ketidakcocokan protokol, atau konfigurasi secret yang salah.
Mengidentifikasi error SSL
Tinjau log dari pod Gateway Ingress Istio:
kubectl logs -l app=istio-ingressgateway -n GATEWAY_NAMESPACE
Memverifikasi sertifikat dan kunci
Pastikan sertifikat dan kunci pribadi valid dan cocok menggunakan hash MD5:
openssl x509 -noout -modulus -in CERTIFICATE.CRT | openssl md5
openssl rsa -noout -modulus -in PRIVATE_KEY | openssl md5
Pastikan masa berlaku sertifikat belum habis dan Nama Umum (CN) atau Nama Alternatif Subjek (SAN) cocok dengan domain.
Memeriksa konfigurasi secret dan protokol TLS
Verifikasi versi TLS dan cipher suite di CRD Gateway. Pastikan
secret Kubernetes yang berisi sertifikat dan kunci berada di namespace yang sama dengan
Gateway Ingress dan credentialName cocok dengan nama secret.
Memecahkan masalah waktu tunggu yang terputus-putus ke endpoint eksternal
Waktu tunggu yang terputus-putus dapat terjadi saat permintaan dibuat ke endpoint eksternal (seperti NLB pihak ketiga) yang me-resolve ke beberapa alamat IP.
Kemungkinan penyebab: Resolusi ServiceEntry
Jika spec.resolution ditetapkan ke DNS, Istio akan menggunakan "DNS ketat", yang melakukan load balancing di semua alamat IP yang di-resolve. Beberapa NLB tidak mendukung hal ini.
Resolusi
Untuk mengatasinya, tetapkan resolusi di ServiceEntry ke DNS_ROUND_ROBIN.
Memecahkan masalah waktu tunggu habis atau lonjakan latensi bertahap
Waktu tunggu yang terputus-putus, error 503 dengan flag respons UF, atau lonjakan latensi dapat terjadi saat beberapa cluster didaftarkan ke fleet yang sama.
Kemungkinan penyebab: penemuan endpoint lintas cluster yang salah dikonfigurasi
Pengelolaan otomatis mengaktifkan penemuan endpoint lintas cluster (multicluster_mode: connected) secara default. Jika beberapa cluster dalam fleet yang sama mengaktifkan fitur ini, traffic akan di-load balanced di antara cluster tersebut, yang akan mengalami waktu tunggu habis jika aturan firewall Virtual Private Cloud (VPC) tidak dikonfigurasi di antara cluster.
Resolusi
Untuk mengatasinya, nonaktifkan penemuan endpoint multi-cluster di cluster mandiri atau buka aturan firewall Pod-ke-Pod. Untuk mengetahui detailnya, lihat Waktu tunggu lintas cluster, latensi tinggi, atau traffic lintas cluster yang tidak terduga.
Memecahkan masalah distribusi traffic yang tidak merata
Jika traffic tidak didistribusikan secara merata di seluruh pod aplikasi, periksa hal berikut:
- Kesehatan Pod: Pastikan semua pod aplikasi berfungsi dengan baik selama ketidakseimbangan.
- Algoritma Load Balancing: Tinjau konfigurasi
DestinationRuleuntuk setelanloadBalancer(misalnya,consistentHashatauROUND_ROBIN). - Load Balancing Lokalitas: Verifikasi apakah
localityLbSettingdiaktifkan. Perhatikan bahwa hal ini tidak didukung dengan bidang kontrolTRAFFIC_DIRECTOR.
Memecahkan masalah propagasi layanan dan kuota
Jika layanan atau konfigurasi jaringan baru tidak tercermin dalam mesh, hal ini mungkin disebabkan oleh kuota resource yang telah tercapai dalam project fleet.
Gejala
- Konfigurasi jaringan (seperti
VirtualServiceatauDestinationRule) tidak di-push ke proxy sidecar. - Layanan baru tampak "tidak terlihat" oleh mesh meskipun telah ditentukan dengan benar.
Langkah-langkah untuk mengidentifikasi dan menyelesaikan masalah
- Periksa kuota resource: Pastikan apakah project fleet telah mencapai kuotanya untuk resource
BackendServicedengan memeriksa kuota Global internal Traffic Director layanan backend di project fleet. Cloud Service Mesh biasanya membuat satuBackendServiceper port layanan Kubernetes. - Tinjau batasan skala: Pastikan konfigurasi Anda tetap berada dalam batasan skala yang didukung untuk Cloud Service Mesh.
- Tingkatkan kuota: Jika kuota telah tercapai, minta peningkatan untuk resource yang terpengaruh dalam project fleet guna memulihkan propagasi layanan normal.
Memecahkan masalah evaluasi VirtualService
Jika VirtualService tidak berperilaku seperti yang diharapkan, ingatlah bahwa rute dievaluasi sesuai urutan yang tercantum. Jika Anda memiliki beberapa Layanan Virtual untuk host yang sama, rutenya akan digabungkan. Rute dari Layanan Virtual "lama" akan diprioritaskan, sehingga ditempatkan sebelum rute dari layanan "baru" dalam daftar gabungan. Hal ini memperkuat aturan "pencocokan pertama".
Memecahkan masalah load balancing lokalitas
Secara default, load balancing lokalitas mengarahkan traffic klien ke endpoint di zona yang sama (zona utama, atau Prioritas 0). Envoy hanya merutekan traffic ke zona failover (Prioritas 1 atau lebih tinggi) jika endpoint di zona utama tidak responsif atau tidak tersedia.
Jika Anda tidak menskalakan endpoint untuk menangani seluruh beban zona atau jika Anda lebih suka membagi traffic di seluruh zona, lakukan salah satu tindakan berikut:
- Menskalakan pod di zona masing-masing untuk menangani beban traffic lokal.
- Nonaktifkan setelan load balancing lokalitas.
Mengidentifikasi setelan load balancing lokalitas
Load balancing lokalitas mengandalkan label topologi node untuk mengelompokkan endpoint. Untuk memverifikasi label node dan memeriksa setelan, gunakan perintah berikut:
Verifikasi label topologi node:
kubectl get nodes -o custom-columns=NAME:.metadata.name,\ REGION:.metadata.labels."topology\\.kubernetes\\.io/region",\ ZONE:.metadata.labels."topology\\.kubernetes\\.io/zone"Untuk DestinationRules GKE, periksa setelan lokalitas:
kubectl get destinationrule DESTINATION_RULE_NAME -o yaml
Cari
localityLbSetting: enabled: truedi output.Untuk memeriksa endpoint, prioritas, dan kondisi proxy Envoy:
istioctl proxy-config endpoints POD_NAME.NAMESPACE \ --cluster "outbound|PORT||SERVICE_FQDN" -o jsonCari kolom
prioritydi konfigurasi endpoint.Untuk melihat konfigurasi cluster aktif yang mendetail:
istioctl proxy-config cluster POD_NAME.NAMESPACE \ --fqdn SERVICE_FQDN -o json