Logging e monitoraggio

Google Distributed Cloud solo software per VMware include più opzioni per il logging e il monitoraggio dei cluster, tra cui servizi gestiti basati su cloud, strumenti open source e compatibilità convalidata con soluzioni commerciali di terze parti. Questo documento spiega queste opzioni e fornisce alcune indicazioni di base sulla selezione della soluzione appropriata per il tuo ambiente.

Opzioni per Google Distributed Cloud

Per Google Distributed Cloud sono disponibili diverse opzioni di logging e monitoraggio:

Cloud Logging e Cloud Monitoring

Google Cloud Observability (in precedenza Stackdriver) è la soluzione di osservabilità integrata per Google Cloud. Offre una soluzione di logging, raccolta di metriche, monitoraggio, dashboard e avvisi completamente gestita. Cloud Monitoring monitora i cluster Google Distributed Cloud in modo simile ai cluster GKE basati su cloud.

Puoi configurare gli agenti in-cluster per l'ambito di monitoraggio e logging, nonché per il livello di metriche raccolte:

  • L'ambito di logging e monitoraggio può essere impostato solo sui componenti di sistema (impostazione predefinita) o sui componenti di sistema e sulle applicazioni
  • Il livello delle metriche raccolte può essere configurato per un insieme ottimizzato di metriche o per metriche complete

Per saperne di più, consulta Configurazione degli agenti di logging e monitoraggio per Google Distributed Cloud in questo documento.

Cloud Logging e Cloud Monitoring offrono una soluzione ideale per i clienti che desiderano un'unica soluzione di osservabilità basata su cloud, potente e facile da configurare. Ti consigliamo vivamente di utilizzare Logging e Monitoring quando esegui workload solo su Google Distributed Cloud o workload su GKE e Google Distributed Cloud. Per le applicazioni con componenti in esecuzione su Google Distributed Cloud e sull'infrastruttura on-premise tradizionale, potresti prendere in considerazione altre soluzioni per una visualizzazione end-to-end di queste applicazioni.

Soluzioni di terze parti

Google ha collaborato con diversi fornitori di soluzioni di logging e monitoraggio di terze parti per aiutare i loro prodotti a funzionare bene con Google Distributed Cloud. Tra questi, Datadog, Elastic e Splunk. In futuro verranno aggiunte altre terze parti convalidate.

Per ulteriori informazioni sull'utilizzo di soluzioni di terze parti con Google Distributed Cloud, consulta quanto segue:

Come funzionano il logging e il monitoraggio per Google Distributed Cloud

Gli agenti di logging e monitoraggio vengono installati e attivati in ogni cluster quando crei un nuovo cluster di amministrazione o utente. Gli agenti raccolgono dati sui componenti del sistema, il cui ambito può essere configurato.

Per visualizzare i dati raccolti nella console Google Cloud , devi configurare il progetto Google Cloud che archivia i log e le metriche che vuoi visualizzare.

Gli agenti di logging e monitoraggio su ogni cluster includono:

  • Agente delle metriche GKE (gke-metrics-agent). Un DaemonSet che invia metriche all'API Cloud Monitoring.

  • Agente di inoltro dei log (stackdriver-log-forwarder). Un DaemonSet Fluent Bit che inoltra i log da ogni macchina a Cloud Logging. Il forwarding dei log memorizza nel buffer le voci di log sul nodo localmente e le invia nuovamente per un massimo di quattro ore. Se il buffer si riempie o se l'agente di inoltro dei log non riesce a raggiungere l'API Cloud Logging per più di quattro ore, i log vengono eliminati.

  • Agente delle metriche GKE globale (gke-metrics-agent-global). Un deployment che invia metriche all'API Cloud Monitoring.

  • Agente dei metadati (stackdriver-metadata-agent). Un deployment che invia i metadati per le risorse Kubernetes, come pod, deployment o nodi, all'API Stackdriver Resource Metadata. Questi dati vengono utilizzati per arricchire le query sulle metriche consentendoti di eseguire query in base al nome del deployment, al nome del nodo o anche al nome del servizio Kubernetes.

  • kube-state-metrics Un deployment che ascolta il server API e genera metriche sugli stati degli oggetti.

  • node-exporter Un DaemonSet che genera metriche relative all'hardware e al sistema operativo.

Puoi visualizzare tutti gli agenti di deployment eseguendo questo comando:

  kubectl --kubeconfig CLUSTER_KUBECONFIG get deployments -l "managed-by=stackdriver" --all-namespaces

dove CLUSTER_KUBECONFIG è il percorso del file kubeconfig del cluster.

L'output di questo comando è simile al seguente:

gke-metrics-agent-global                      1/1     Running   0   4h31m
stackdriver-metadata-agent-cluster-level      1/1     Running   0   4h31m

Puoi visualizzare tutti gli agenti DaemonSet eseguendo questo comando:

  kubectl --kubeconfig CLUSTER_KUBECONFIG get daemonsets -l "managed-by=stackdriver" --all-namespaces

L'output di questo comando è simile al seguente:

gke-metrics-agent                             1/1     Running   0   4h31m
stackdriver-log-forwarder                     1/1     Running   0   4h31m

Configurazione degli agenti di logging e monitoraggio per Google Distributed Cloud

Gli agenti installati con Google Distributed Cloud raccolgono dati sui componenti di sistema, in base alle tue impostazioni e alla tua configurazione, per mantenere e risolvere i problemi dei tuoi cluster.

Solo componenti di sistema (ambito predefinito)

Al momento dell'installazione, gli agenti raccolgono log e metriche, inclusi i dettagli sulle prestazioni (ad esempio, l'utilizzo della CPU e della memoria) e metadati simili, per i componenti di sistema forniti da Google. Sono inclusi tutti i workload nel cluster di amministrazione e, per i cluster utente, i workload negli spazi dei nomi kube-system, gke-system, gke-connect, istio-system e config-management-system. Puoi configurare o disattivare gli agenti come descritto nelle sezioni seguenti.

L'ambito dei log e delle metriche raccolti può essere ampliato per includere anche le applicazioni. Per istruzioni su come abilitare il logging e il monitoraggio delle applicazioni, consulta Abilitazione del logging e del monitoraggio per le applicazioni utente.

Metriche ottimizzate (metriche predefinite)

Per impostazione predefinita, gli agenti delle metriche in esecuzione nel cluster raccolgono e segnalano un insieme ottimizzato di metriche di container, kubelet e kube-state-metrics a Google Cloud Observability (in precedenza Stackdriver).

Per raccogliere questo insieme ottimizzato di metriche sono necessarie meno risorse, il che migliora le prestazioni e la scalabilità complessive. Ciò è particolarmente importante per le metriche a livello di container e di kube, a causa della grande quantità di oggetti da monitorare.

Per disattivare le metriche kube-state-metrics ottimizzate (non consigliato), imposta il campo optimizedMetrics su false nella risorsa personalizzata Stackdriver. Per saperne di più sulla modifica della risorsa personalizzata Stackdriver, consulta Configurazione delle risorse dei componenti Stackdriver. Tutte le metriche di Google Distributed Cloud, incluse quelle escluse per impostazione predefinita, sono descritte in Metriche di Google Distributed Cloud.

Abilita e disabilita Stackdriver

Puoi attivare o disattivare completamente gli agenti di logging e monitoraggio attivando o disattivando la risorsa personalizzata Stackdriver. Questa funzionalità è in anteprima.

Prima di disattivare gli agenti di logging e monitoraggio, consulta la pagina di assistenza per informazioni dettagliate su come questa operazione influisce sugli SLA di assistenza di Google Cloud .

Gli agenti di logging e monitoraggio acquisiscono i dati archiviati localmente, in base alla configurazione di archiviazione e conservazione. I dati vengono replicati nel progetto Google Cloud specificato al momento dell'installazione utilizzando un account di servizio autorizzato a scrivere dati in quel progetto. Puoi disattivare questi agenti in qualsiasi momento, come descritto in precedenza.

Puoi anche gestire ed eliminare i dati che gli agenti di logging e monitoraggio hanno inviato a Cloud Logging e Cloud Monitoring. Per saperne di più, consulta la documentazione di Cloud Monitoring.

Requisiti di configurazione per il logging e il monitoraggio

Per visualizzare i dati di Cloud Logging e Cloud Monitoring, devi configurare il progetto Google Cloud che archivia i log e le metriche che vuoi visualizzare. Questo progetto Google Cloud è chiamato progetto di logging-monitoring.

  1. Abilita le seguenti API nel tuo progetto di logging-monitoring:

  2. Concedi i seguenti ruoli IAM al tuo service account di logging-monitoring nel tuo progetto di logging-monitoring.

    • logging.logWriter
    • monitoring.metricWriter
    • stackdriver.resourceMetadata.writer
    • monitoring.dashboardEditor
    • opsconfigmonitoring.resourceMetadata.writer

Tag dei log

Molti log di Google Distributed Cloud hanno un tag F:

logtag: "F"

Questo tag indica che la voce di log è completa o piena. Per scoprire di più su questo tag, consulta Formato dei log nelle proposte di progettazione di Kubernetes su GitHub.

Passaggi successivi