Memantau Distributed Cloud terhubung

Pelajari cara memantau kondisi, waktu aktif, dan upgrade workload Google Distributed Cloud terhubung. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi pemantauan dan metrik yang tersedia, lihat Log dan metrik.

Memantau kondisi dan waktu aktif workload

Anda bertanggung jawab untuk memantau kondisi dan waktu aktif workload (container dan virtual machine) yang berjalan di Distributed Cloud terhubung.

Workload container

Untuk memantau kondisi dan waktu aktif workload dalam container yang Anda deploy, sebaiknya gunakan solusi metrik Prometheus. Anda dapat mengonfigurasi Prometheus untuk mengambil metrik dari Pod dan Layanan. Layanan sistem yang dikelola Google dipantau dan dikelola secara otomatis oleh Google. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi Prometheus, lihat Mengumpulkan metrik dengan Prometheus.

Gunakan metrik utama berikut untuk memantau workload container. Jika menggunakan Prometheus, Anda bertanggung jawab untuk men-deploy dan mengelola Metrik Status Kube untuk mengekspos metrik spesifik ini untuk workload Anda:

  • kube_pod_status_phase: Pantau Pod dalam fase Failed atau Unknown.
  • kube_pod_container_status_waiting_reason: Identifikasi Pod yang stuck di CrashLoopBackOff atau ImagePullBackOff.
  • container_cpu_usage_seconds_total dan container_memory_working_set_bytes (dari cAdvisor): Pantau konsumsi resource untuk mencegah masalah kehabisan memori (OOM).

Workload virtual machine

Di Distributed Cloud terhubung, virtual machine (VM) berjalan di dalam Pod Kubernetes standar, biasanya diawali dengan virt-launcher-. Pantau kondisi dan status VM terutama dengan memeriksa status resource kustom VirtualMachine atau dengan memantau metrik aplikasi dari dalam VM.

Gunakan metrik Pod virt-launcher yang mendasarinya sebagai indikator sekunder untuk detail berikut:

  • Penggunaan resource: Pantau konsumsi CPU dan memori Pod peluncur untuk memastikan VM memiliki resource yang cukup.
  • Fase Pod: Lacak fase Pod peluncur untuk mengidentifikasi VM yang gagal dimulai atau mengalami error.

Untuk menyesuaikan resource yang ditetapkan ke VM, ubah spesifikasi resource kustom VM. Jangan ubah YAML Pod virt-launcher yang mendasarinya secara langsung, karena dikelola oleh platform. Setiap perubahan langsung akan ditimpa atau menyebabkan error rekonsiliasi.

Untuk memecahkan masalah VM yang stuck dalam status tertunda, lihat Memecahkan masalah virtual machine yang stuck dalam status Tertunda.

Memantau upgrade Distributed Cloud terhubung

Pantau progres dan status upgrade software Distributed Cloud terhubung menggunakan metrik Cloud Monitoring dan perintah gcloud. Upgrade dijadwalkan dan dijalankan oleh Google. Pemantauan hanya untuk visibilitas dan perencanaan migrasi workload.

Untuk mengetahui petunjuk mendetail tentang cara memeriksa apakah upgrade sedang berlangsung, memantau statusnya, dan memecahkan masalah upgrade yang gagal, lihat Memecahkan masalah upgrade software.

Pemantauan multi-cluster

Jika Anda mengelola banyak cluster Distributed Cloud terhubung, sebaiknya gunakan Cloud Monitoring untuk menggabungkan dan memfilter metrik.

  • Menggunakan label resource: Metrik yang diekspor ke Cloud Monitoring menyertakan label yang mengidentifikasi sumber. Label yang tersedia bergantung pada jenis resource:

    • Untuk metrik cluster dan container, seperti k8s_container, label utama mencakup nilai berikut:

      • project_id: Project yang menghosting cluster. Google Cloud
      • location: Region tempat cluster terdaftar. Google Cloud
      • cluster_name: Nama cluster.

    • Untuk metrik hardware, seperti edgecontainer.googleapis.com/machine, label utama mencakup nilai berikut:

      • resource_container: Project yang terkait dengan hardware. Google Cloud
      • location: Region tempat zona Distributed Cloud terhubung terdaftar. Google Cloud
      • machine_id: ID mesin.

      Metrik hardware tidak menyertakan label cluster_name secara langsung.

  • Membuat dasbor kustom: Buat dasbor yang menampilkan indikator kondisi utama di seluruh fleet Anda. Indikator kondisi utama mencakup konektivitas, status VM, dan penggunaan resource. Untuk menampilkan data dari beberapa cluster dalam satu diagram, gunakan karakter pengganti atau operasi pengelompokan.

  • Menyiapkan pemberitahuan multi-cluster: Konfigurasi kebijakan pemberitahuan yang berlaku untuk beberapa cluster. Misalnya, Anda dapat membuat pemberitahuan yang akan dipicu jika ada mesin di cluster mana pun yang kehilangan konektivitas.

Strategi pemberitahuan

Memantau dan memelihara Distributed Cloud terhubung adalah tanggung jawab bersama. Bagian ini menjelaskan hal yang diperingatkan Google dan cara mengonfigurasi kebijakan pemberitahuan Anda sendiri.

Hal yang diperingatkan Google

Google terus memantau infrastruktur yang mendasarinya. Google akan mengambil tindakan dan memberi tahu Anda jika diperlukan untuk situasi berikut:

  • Kegagalan hardware: Kegagalan catu daya, kegagalan kipas, overheating, atau kegagalan disk, seperti disk yang mencapai batas cadangan atau akhir masa pakai.
  • Masalah konektivitas: Kehilangan koneksi sepenuhnya antara zona Distributed Cloud terhubung dan Google Cloud.
  • Kondisi bidang kontrol: Kegagalan di bidang kontrol Kubernetes atau layanan sistem yang dikelola Google.
  • Kegagalan upgrade: Proses upgrade otomatis yang stuck atau gagal.

Mengonfigurasi pemberitahuan

Konfigurasi kebijakan pemberitahuan Anda sendiri di Cloud Monitoring atau di Prometheus untuk masalah yang memengaruhi workload atau lingkungan lokal Anda.

Anda dapat menyiapkan pemberitahuan untuk masalah berikut:

Masalah Deskripsi Sistem pemantauan Detail
Waktu nonaktif workload Pod atau VM gagal dimulai atau mengalami crash loop Prometheus Untuk workload container, buat pemberitahuan di kube_pod_status_phase untuk mendeteksi Pod dalam fase Failed atau Unknown. Anda juga dapat membuat pemberitahuan di kube_pod_container_status_waiting_reason jika sama dengan CrashLoopBackOff atau ImagePullBackOff.
Cloud Monitoring Untuk workload VM yang berjalan di Pod, siapkan pemberitahuan menggunakan metrik container Kubernetes standar di Cloud Monitoring untuk melacak status Pod virt-launcher.
Kehabisan resource workload Penggunaan disk mendekati kapasitas, atau penggunaan memori atau CPU yang tinggi pada workload Prometheus Untuk workload container, tetapkan pemberitahuan batas di container_cpu_usage_seconds_total dan container_memory_working_set_bytes (dari cAdvisor) untuk mengidentifikasi Pod yang mendekati batas resourcenya.
Cloud Monitoring Untuk penyimpanan mesin, pantau metrik pemakaian disk mesin edgecontainer.googleapis.com/machine/disk/utilization untuk mendeteksi kapan penyimpanan node mendekati kapasitas.
Masalah jaringan lokal Antarmuka jaringan turun di mesin Cloud Monitoring Pantau apakah metrik jaringan mesin aktif edgecontainer.googleapis.com/machine/network/up adalah false.
Kehilangan konektivitas internet Cloud Monitoring Pantau apakah metrik konektivitas jaringan edgecontainer.googleapis.com/machine/network/connectivity adalah false.
Mulai ulang mesin Reboot atau penonaktifan mesin yang tidak terduga Cloud Monitoring Konfigurasi pemberitahuan dengan metrik edgecontainer.googleapis.com/machine/uptime dan edgecontainer.googleapis.com/machine/restart_count. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah mulai ulang mesin.

Hardware Distributed Cloud terhubung dikelola oleh Google. Anda tidak memiliki akses SSH ke mesin atau kontrol atas sistem operasi host. Jika pemberitahuan berdasarkan metrik tingkat mesin diaktifkan, seperti konektivitas jaringan atau mulai ulang, item tindakan Anda terbatas pada pemeriksaan daya fisik, kabel, dan konfigurasi jaringan lokal serta firewall, atau meningkatkan masalah ke Dukungan Google.