Esegui il deployment del raccoglitore OpenTelemetry creato da Google su Compute Engine

Questo documento mostra come eseguire il collettore OpenTelemetry creato da Google su Compute Engine per raccogliere log, metriche e tracce OTLP da applicazioni strumentate ed esportare i dati in Google Cloud.

Prima di iniziare

L'esecuzione del raccoglitore OpenTelemetry creato da Google richiede le seguenti risorse:

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Abilita le API Cloud Logging, Cloud Monitoring e Cloud Trace.

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

Abilita le API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Abilita le API Cloud Logging, Cloud Monitoring e Cloud Trace.

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

Abilita le API

1. Un'istanza Compute Engine. Se non hai un'istanza Compute Engine, segui le istruzioni riportate in Crea e avvia un'istanza Compute Engine.
2. Un'installazione di gcloud. Per informazioni sull'installazione di gcloud, vedi Installa la CLI gcloud.

Configurare le autorizzazioni per il raccoglitore

Per impostazione predefinita, le istanze di Compute Engine utilizzano l'account di servizio predefinito di Compute Engine,[e-mail]. Questo account di servizio di solito dispone dei ruoli IAM (Identity and Access Management) necessari per scrivere le metriche e i log descritti in questo documento:

• Monitoring Metric Writer (roles/monitoring.metricWriter)
• Logs Writer (roles/logging.logWriter)
• Cloud Trace Agent

Se scegli di utilizzare un account di servizio gestito dall'utente anziché quello predefinito, devi assegnargli gli stessi ruoli. Per saperne di più, consulta Service account.

Installa il raccoglitore

Per installare il raccoglitore OpenTelemetry integrato in Google come pacchetto per l'istanza Compute Engine, completa i seguenti passaggi.

Debian e Ubuntu

1. Apri una connessione terminale all'istanza VM utilizzando SSH o uno strumento simile e assicurati di disporre dell'accesso sudo.

2. Esegui questo comando per configurare il repository dei pacchetti:

   sudo mkdir -p /etc/apt/keyrings
   sudo curl -o /etc/apt/keyrings/otelcol-google.asc https://packages.cloud.google.com/apt/doc/apt-key.gpg
   cat <<EOF | sudo tee /etc/apt/sources.list.d/otelcol-google.list
   deb [signed-by=/etc/apt/keyrings/otelcol-google.asc] https://us-apt.pkg.dev/projects/cloud-ops-agents-artifacts google-cloud-opentelemetry-collector-apt main
   EOF
   

3. Aggiorna il gestore di pacchetti e installa il pacchetto:

   sudo apt update
   sudo apt install otelcol-google
   

   Una volta installato, Google-Built OpenTelemetry Collector viene avviato automaticamente.

CentOS, RHEL e Rocky Linux

1. Apri una connessione terminale all'istanza VM utilizzando SSH o uno strumento simile e assicurati di disporre dell'accesso sudo.

2. Esegui questo comando per configurare il repository dei pacchetti:

   cat <<EOF | sudo tee /etc/yum.repos.d/otelcol-google.repo
   [otelcol-google]
   name=Google Built OpenTelemetry Collector
   baseurl=https://us-yum.pkg.dev/projects/cloud-ops-agents-artifacts/google-cloud-opentelemetry-collector-yum
   autorefresh=0
   enabled=1
   type=rpm-md
   gpgcheck=1
   repo_gpgcheck=0
   gpgkey=http://dl.google.com/linux/linux_signing_key.pub
   EOF
   

3. Installa il pacchetto:

   sudo yum install otelcol-google
   

   Una volta installato, Google-Built OpenTelemetry Collector viene avviato automaticamente.

SLES

1. Apri una connessione terminale all'istanza VM utilizzando SSH o uno strumento simile e assicurati di disporre dell'accesso sudo.

2. Esegui questo comando per configurare il repository dei pacchetti:

   cat <<EOF | sudo tee /etc/zypp/repos.d/otelcol-google.repo
   [otelcol-google]
   name=Google Built OpenTelemetry Collector
   baseurl=https://us-yum.pkg.dev/projects/cloud-ops-agents-artifacts/google-cloud-opentelemetry-collector-yum
   autorefresh=0
   enabled=1
   type=rpm-md
   gpgkey=http://dl.google.com/linux/linux_signing_key.pub
   EOF
   

3. Installa il pacchetto:

   sudo zypper install otelcol-google
   

   Una volta installato, Google-Built OpenTelemetry Collector viene avviato automaticamente.

Windows

1. Connettiti all'istanza utilizzando RDP o uno strumento simile e accedi a Windows.

2. Apri un terminale PowerShell con privilegi amministrativi facendo clic con il tasto destro del mouse sull'icona PowerShell e selezionando Esegui come amministratore.

3. Esegui il seguente comando PowerShell per configurare il repository dei pacchetti:

   googet addrepo otelcol-google `
       https://us-googet.pkg.dev/projects/cloud-ops-agents-artifacts/repos/google-cloud-opentelemetry-collector-googet
   

4. Installa il pacchetto:

   googet install otelcol-google
   

   Una volta installato, Google-Built OpenTelemetry Collector viene avviato automaticamente.

Esegui il deployment del raccoglitore

Il raccoglitore OpenTelemetry integrato in Google include una configurazione minima per impostazione predefinita che non esporta la telemetria. Per esportare la telemetria, dopo aver installato il raccoglitore, configuralo sostituendo la configurazione predefinita. Inserisci la configurazione per il raccoglitore nei seguenti file:

• Per Linux: /etc/otelcol-google/config.yaml
• Per Windows: C:\Program Files\Google\OpenTelemetry Collector\config.yaml

Configura il raccoglitore

Forniamo una configurazione di OpenTelemetry Collector da utilizzare con il raccoglitore creato da Google. Questa configurazione è progettata per fornire volumi elevati di metriche, log e tracce OTLP. Questa configurazione è progettata anche per prevenire problemi comuni di importazione. Puoi aggiungere elementi alla configurazione, ma ti consigliamo vivamente di non rimuovere elementi.

Questa sezione descrive la configurazione fornita, i componenti chiave come esportatori, processori, ricevitori e altri componenti disponibili.

Configurazione del raccoglitore fornita

Puoi trovare la configurazione del raccoglitore nella directory google-built-opentelemetry-collector nel repository opentelemetry-operations-collector:

receivers:
  # Open two OTLP servers:
  # - On port 4317, open an OTLP GRPC server
  # - On port 4318, open an OTLP HTTP server
  #
  # Docs:
  # https://github.com/open-telemetry/opentelemetry-collector/tree/main/receiver/otlpreceiver
  otlp:
    protocols:
      grpc:
        endpoint: localhost:4317
      http:
        cors:
          # This effectively allows any origin
          # to make requests to the HTTP server.
          allowed_origins:
          - http://*
          - https://*
        endpoint: localhost:4318

processors:
  # The batch processor is in place to regulate both the number of requests
  # being made and the size of those requests.
  #
  # Docs:
  # https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/batchprocessor
  batch:
    send_batch_max_size: 200
    send_batch_size: 200
    timeout: 5s

  # The memorylimiter will check the memory usage of the collector process.
  #
  # Docs:
  # https://github.com/open-telemetry/opentelemetry-collector/tree/main/processor/memorylimiterprocessor
  memory_limiter:
    check_interval: 1s
    limit_percentage: 65
    spike_limit_percentage: 20

  # The resourcedetection processor is configured to detect GCP resources.
  # Resource attributes that represent the GCP resource the collector is
  # running on will be attached to all telemetry that goes through this
  # processor.
  #
  # Docs:
  # https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/processor/resourcedetectionprocessor
  # https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/processor/resourcedetectionprocessor#gcp-metadata
  resourcedetection:
    detectors: [gcp]
    timeout: 10s

  transform/collision:
    metric_statements:
    - context: datapoint
      statements:
      - set(attributes["exported_location"], attributes["location"])
      - delete_key(attributes, "location")
      - set(attributes["exported_cluster"], attributes["cluster"])
      - delete_key(attributes, "cluster")
      - set(attributes["exported_namespace"], attributes["namespace"])
      - delete_key(attributes, "namespace")
      - set(attributes["exported_job"], attributes["job"])
      - delete_key(attributes, "job")
      - set(attributes["exported_instance"], attributes["instance"])
      - delete_key(attributes, "instance")
      - set(attributes["exported_project_id"], attributes["project_id"])
      - delete_key(attributes, "project_id")

exporters:
  # The googlecloud exporter will export telemetry to different
  # Google Cloud services:
  # Logs -> Cloud Logging
  # Metrics -> Cloud Monitoring
  # Traces -> Cloud Trace
  #
  # Docs:
  # https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/googlecloudexporter
  googlecloud:
    log:
      default_log_name: opentelemetry-collector

  # The googlemanagedprometheus exporter will send metrics to
  # Google Managed Service for Prometheus.
  #
  # Docs:
  # https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/googlemanagedprometheusexporter
  googlemanagedprometheus:

extensions:
  # Opens an endpoint on 13133 that can be used to check the
  # status of the collector. Since this does not configure the
  # `path` config value, the endpoint will default to `/`.
  #
  # When running on Cloud Run, this extension is required and not optional.
  # In other environments it is recommended but may not be required for operation
  # (i.e. in Container-Optimized OS or other GCE environments).
  #
  # Docs:
  # https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/extension/healthcheckextension
  health_check:
    endpoint: 0.0.0.0:13133

service:
  extensions:
  - health_check
  pipelines:
    logs:
      receivers:
      - otlp
      processors:
      - resourcedetection
      - memory_limiter
      - batch
      exporters:
      - googlecloud
    metrics/otlp:
      receivers:
      - otlp
      processors:
      - resourcedetection
      - transform/collision
      - memory_limiter
      - batch
      exporters:
      - googlemanagedprometheus
    traces:
      receivers:
      - otlp
      processors:
      - resourcedetection
      - memory_limiter
      - batch
      exporters:
      - googlecloud
  # Internal telemetry for the collector supports both push and pull-based telemetry data transmission.
  # Leveraging the pre-configured OTLP receiver eliminates the need for an additional port.
  #
  # Docs:
  # https://opentelemetry.io/docs/collector/internal-telemetry/
  telemetry:
    metrics:
      readers:
        - periodic:
            exporter:
              otlp:
                protocol: grpc
                endpoint: http://localhost:4317
                insecure: true

Esportatori

La configurazione del raccoglitore include i seguenti esportatori:

• Esportatore googlecloud per log e tracce. Questo esportatore è configurato con un nome log predefinito.

• googlemanagedprometheus per le metriche. Questo esportatore non richiede alcuna configurazione, ma sono disponibili opzioni di configurazione. Per informazioni sulle opzioni di configurazione per l'esportatore googlemanagedprometheus, consulta Introduzione a OpenTelemetry Collector nella documentazione di Google Cloud Managed Service per Prometheus.

Processori

La configurazione del raccoglitore include i seguenti processori:

• batch: Configurato per raggruppare le richieste di telemetria al numero massimo di voci per richiesta o all'intervallo minimo di 5 secondi (a seconda di quale si verifica per prima). Google Cloud Google Cloud

• memory_limiter: Limita l'utilizzo della memoria del raccoglitore per evitare arresti anomali per esaurimento della memoria eliminando i punti dati quando il limite viene superato.

• resourcedetection: Rileva automaticamente le etichette delle risorse Google Cloud , ad esempio project_id.

Ricevitori

La configurazione del raccoglitore include solo il ricevitore otlp. Per informazioni sull'instrumentazione delle applicazioni per inviare tracce e metriche OTLP all'endpoint OTLP dell'agente di raccolta, consulta Scegliere un approccio di instrumentazione.

Componenti disponibili

Il raccoglitore OpenTelemetry creato da Google contiene i componenti di cui la maggior parte degli utenti avrà bisogno per attivare un'esperienza avanzata in Google Cloud Observability. Per un elenco completo dei componenti disponibili, consulta Componenti nel repository opentelemetry-operations-collector.

Per richiedere modifiche o aggiunte ai componenti disponibili, apri una richiesta di funzionalità nel repository opentelemetry-operations-collector.

Generare dati di telemetria

Puoi testare la tua configurazione utilizzando lo strumento telemetrygen open source. Le istruzioni per scaricare ed eseguire lo strumento sono incluse nel link. Per eseguire lo strumento, devi installare Go o Docker.

Dopo alcuni minuti, la telemetria generata dall'applicazione inizia a fluire tramite l'agente di raccolta alla console Google Cloud per ogni segnale.

Visualizzare la telemetria

OpenTelemetry Collector integrato in Google invia metriche, log e tracce dalle applicazioni strumentate a Google Cloud Observability. Il raccoglitore invia anche metriche di auto-osservabilità. Le sezioni seguenti descrivono come visualizzare questa telemetria.

Visualizzare le metriche

Il raccoglitore OpenTelemetry integrato in Google raccoglie le metriche Prometheus che puoi visualizzare utilizzando Esplora metriche. Le metriche raccolte dipendono dall'instrumentazione dell'app, anche se il raccoglitore creato da Google scrive anche alcune metriche proprie.

Per visualizzare le metriche raccolte da Google-Built OpenTelemetry Collector, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina  Esplora metriche:

   Vai a Esplora metriche

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

2. Nella barra degli strumenti della console Google Cloud , seleziona il tuo progetto Google Cloud . Per le configurazioni di App Hub, seleziona il progetto host di App Hub o il progetto di gestione della cartella app.
3. Nell'elemento Metrica, espandi il menu Seleziona una metrica, digita Prometheus Target nella barra dei filtri e poi utilizza i sottomenu per selezionare un tipo di risorsa e una metrica specifici:
   1. Nel menu Risorse attive, seleziona Target Prometheus.
   2. Per selezionare una metrica, utilizza i menu Categorie di metriche attive e Metriche attive. Le metriche raccolte da OpenTelemetry Collector integrato in Google hanno il prefisso prometheus.googleapis.com.
   3. Fai clic su Applica.

4. Per aggiungere filtri, che rimuovono le serie temporali dai risultati della query, utilizza l'elemento Filtro.

5. Configura la modalità di visualizzazione dei dati.
   

   Quando le misurazioni di una metrica sono cumulative, Metrics Explorer normalizza automaticamente i dati misurati in base al periodo di allineamento, il che comporta la visualizzazione di una frequenza nel grafico. Per maggiori informazioni, consulta Tipi, tipi e conversioni.

   Quando vengono misurati valori interi o doppi, ad esempio con le metriche counter, Metrics Explorer somma automaticamente tutte le serie temporali. Per modificare questo comportamento, imposta il primo menu della voce Aggregazione su Nessuna.

   Per ulteriori informazioni sulla configurazione di un grafico, consulta Seleziona le metriche durante l'utilizzo di Esplora metriche.

Visualizza le tracce

Per visualizzare i dati di traccia:

1. Nella console Google Cloud , vai alla pagina Esplora tracce:

   Vai a Esplora tracce

   Puoi trovare questa pagina anche utilizzando la barra di ricerca.

2. Nella barra degli strumenti della console Google Cloud , seleziona il tuo progetto Google Cloud . Per le configurazioni di App Hub, seleziona il progetto host di App Hub o il progetto di gestione.
3. Nella sezione della tabella della pagina, seleziona una riga.

4. Nel grafico di Gantt nel riquadro Dettagli su Trace, seleziona un intervallo.

   Si apre un riquadro che mostra informazioni sulla richiesta tracciata. Questi dettagli includono il metodo, il codice di stato, il numero di byte e lo user agent del chiamante.

5. Per visualizzare i log associati a questa traccia, seleziona la scheda Log ed eventi.

   La scheda mostra i singoli log. Per visualizzare i dettagli della voce di log, espandila. Puoi anche fare clic su Visualizza log e visualizzare il log utilizzando Esplora log.

Per ulteriori informazioni sull'utilizzo di Esplora tracce, consulta Trovare ed esplorare le tracce.

Visualizza i log

Da Esplora log puoi esaminare i log e visualizzare le tracce associate, se esistenti.

1. Nella console Google Cloud , vai alla pagina segmento Esplora log:

   Vai a Esplora log

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

2. Individua una voce di log dell'app strumentata. Per visualizzare i dettagli, espandi la voce di log.

3. Fai clic su Trace in una voce di log con un messaggio di trace, quindi seleziona Visualizza dettagli trace.

   Si apre un riquadro Dettagli su Trace che mostra la traccia selezionata.

Per ulteriori informazioni sull'utilizzo di Esplora log, vedi Visualizza i log utilizzando Esplora log.

Osservare ed eseguire il debug del raccoglitore

Il raccoglitore OpenTelemetry creato da Google fornisce automaticamente metriche di auto-osservabilità per aiutarti a monitorare le sue prestazioni e garantire il tempo di attività continuo della pipeline di importazione OTLP.

Per monitorare il raccoglitore, installa la dashboard di esempio per il raccoglitore. Questa dashboard offre informazioni a colpo d'occhio su diverse metriche del raccoglitore, tra cui uptime, utilizzo della memoria e chiamate API a Google Cloud Observability.

Per installare la dashboard:

1. Nella console Google Cloud , vai alla pagina  Dashboard:

   Vai a Dashboard

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

2. Fai clic su Modelli di dashboard.
3. Cerca la dashboard OpenTelemetry Collector.
4. (Facoltativo) Per visualizzare l'anteprima della dashboard, selezionala.

5. Fai clic su Aggiungi dashboard all'elenco e poi completa la finestra di dialogo.

   La finestra di dialogo ti consente di selezionare il nome della dashboard e aggiungere etichette alla dashboard.

Per saperne di più sull'installazione delle dashboard, vedi Installare un modello di dashboard.