Configura i bucket di log

Puoi creare, visualizzare e gestire i bucket Cloud Logging per archiviare e centralizzare i dati di log utilizzando la console Google Cloud , Google Cloud CLI o l'API Logging. Puoi anche configurare i periodi di conservazione e bloccare i bucket per soddisfare i requisiti di conformità.

Per analizzare i dati di log con Observability Analytics, che fornisce un'interfaccia SQL, esegui l'upgrade dei bucket di log. Questa interfaccia ti consente di eseguire query sui dati di log e di unire i dati di log e di traccia.

Per analizzare i dati di log con i servizi BigQuery, crea set di dati BigQuery collegati nei bucket di log. Questi set di dati sono di sola lettura e vengono interrogati in modo simile a qualsiasi altro set di dati BigQuery. In alternativa, puoi indirizzare le voci di log direttamente a BigQuery.

Per informazioni concettuali, consulta Archivia le voci di log.

Prima di iniziare

Configura il progetto, i ruoli IAM e seleziona l'interfaccia che prevedi di utilizzare.

Configura il progetto e i ruoli

Per iniziare a utilizzare i bucket, segui questi passaggi:

Seleziona l'interfaccia che intendi utilizzare

Console Google Cloud

Quando utilizzi la console Google Cloud per accedere ai servizi e alle API Google Cloud , non devi configurare l'autenticazione.

gcloud

Nella console Google Cloud , attiva Cloud Shell.

Attiva Cloud Shell

Nella parte inferiore della console Google Cloud , viene avviata una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installata e con valori già impostati per il progetto corrente. L'inizializzazione della sessione può richiedere alcuni secondi.

REST

Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

    Installa Google Cloud CLI.

    Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per saperne di più, consulta Autenticati per usare REST nella documentazione sull'autenticazione di Google Cloud .

Crea un bucket

Queste istruzioni presuppongono che tu stia utilizzando la crittografia gestita da Google. Se preferisci utilizzare le chiavi di crittografia gestite dal cliente (CMEK), consulta Configura CMEK per l'archiviazione dei log.

Puoi creare un massimo di 100 bucket per progettoGoogle Cloud . Non puoi creare bucket di log in cartelle o organizzazioni.

Per creare un bucket di log definito dall'utente per il tuo progetto Google Cloud , segui questi passaggi:

Console Google Cloud

Per creare un bucket di log nel tuo progetto Google Cloud , segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Fai clic su Crea bucket di log.

  3. Inserisci un nome e una descrizione per il bucket.

  4. (Facoltativo) Esegui l'upgrade del bucket per utilizzare Observability Analytics.

    1. Seleziona Esegui l'upgrade per utilizzare Observability Analytics.

      Quando esegui l'upgrade di un bucket per utilizzare Observability Analytics, puoi eseguire query sui log nella pagina Observability Analytics utilizzando query SQL. Puoi anche continuare a visualizzare i log utilizzando Esplora log.

    2. (Facoltativo) Per visualizzare i log in BigQuery, seleziona Crea un nuovo set di dati BigQuery che si colleghi a questo bucket e inserisci un nome univoco per il set di dati.

      Se selezioni questa opzione, BigQuery può leggere i dati archiviati nel bucket di log. Ora puoi eseguire query nell'interfaccia di BigQuery, dove puoi unire i dati di log e accedere ai dati di altri strumenti come Data Studio e Looker.

  5. Per selezionare la regione di archiviazione per i log, fai clic sul menu Seleziona la regione del bucket di log e seleziona una regione.

  6. (Facoltativo) Per impostare un periodo di conservazione personalizzato per i log nel bucket, fai clic su Avanti.

    Nel campo Periodo di conservazione, inserisci il numero di giorni, tra 1 e3650 days, durante i quali vuoi che Cloud Logging conservi i log. Se non personalizzi il periodo di conservazione, il valore predefinito è 30 days.

    Puoi anche aggiornare il periodo di conservazione del bucket di log dopo averlo creato.

  7. Fai clic su Crea bucket.

    Dopo aver creato il bucket di log, Logging esegue l'upgrade del bucket e crea il link al set di dati, se queste opzioni sono state selezionate.

    Il completamento di questi passaggi potrebbe richiedere un po' di tempo.

gcloud

Per creare solo un bucket di log, esegui il comando gcloud logging buckets create. Se vuoi eseguire l'upgrade del bucket di log per utilizzare Observability Analytics, includi i flag --enable-analytics e --async e assicurati di impostare la variabile LOCATION su una regione supportata:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

Il flag --async forza l'esecuzione asincrona del comando. Il risultato di un metodo asincrono è un oggetto Operation, che contiene informazioni sull'avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene informazioni sull'esito positivo o negativo della richiesta. Per saperne di più, consulta Metodi API asincroni.

Se non vuoi eseguire l'upgrade del bucket di log per utilizzare Observability Analytics, ometti i flag --enable-analytics e --async.

Ad esempio, se vuoi creare un bucket con my-bucket BUCKET_ID nella regione global, il comando sarà simile al seguente:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

Ad esempio, per creare un bucket con my-upgraded-bucket BUCKET_ID nella località global, quindi eseguire l'upgrade del bucket di log per utilizzare Observability Analytics, il comando sarà il seguente:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

Per creare un bucket, utilizza il metodo projects.locations.buckets.create o projects.locations.buckets.createAsync. Prepara gli argomenti per il metodo come segue:

  1. Imposta il parametro parent in modo che corrisponda alla risorsa in cui creare il bucket: projects/PROJECT_ID/locations/LOCATION

    La variabile LOCATION si riferisce alla regione in cui vuoi archiviare i log.

    Ad esempio, se vuoi creare un bucket per il progetto my-project nella regione global, il parametro parent sarà simile al seguente: projects/my-project/locations/global

  2. Imposta il parametro bucketId, ad esempio my-bucket.

  3. Esegui una delle seguenti operazioni:

    • Per creare un bucket di log ed eseguirne l'upgrade per utilizzare Observability Analytics:

      1. Imposta il valore booleano LogBucket.analyticsEnabled su true.

      2. Chiama il metodo asincrono projects.locations.buckets.createAsync per creare il bucket.

        La risposta ai metodi asincroni è un oggetto Operation. Questo oggetto contiene informazioni sullo stato di avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene lo stato. Per saperne di più, consulta Metodi API asincroni.

        Il completamento del metodo createAsync richiede alcuni minuti. Questo metodo non genera un messaggio di errore o non va a buon fine quando il valore booleano analyticsEnabled è impostato su true.

    • In caso contrario, chiama il metodo sincrono projects.locations.buckets.create per creare il bucket.

Dopo aver creato un bucket, crea un sink per instradare le voci di log al bucket e configura le visualizzazioni dei log per controllare chi può accedere ai log nel nuovo bucket e quali log sono accessibili. Puoi anche aggiornare il bucket per configurare la conservazione personalizzata e i campi limitati.

Elenca e visualizza i dettagli dei bucket di log

Questa sezione descrive come elencare e visualizzare i dettagli dei bucket di log in un progetto, una cartella o un'organizzazione.

Elenca bucket

Per elencare i bucket di log associati a un progetto Google Cloud e visualizzare dettagli come le impostazioni di conservazione, segui questi passaggi:

Console Google Cloud

Nella console Google Cloud , vai alla pagina Archiviazione dei log:

Vai ad Archiviazione dei log

Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

Una tabella denominata Bucket di log elenca i bucket associati al progettoGoogle Cloud attuale.

La tabella elenca i seguenti attributi per ogni bucket di log:

  • Nome: il nome del bucket di log.
  • Descrizione: la descrizione del bucket.
  • Periodo di conservazione: il numero di giorni per cui i dati del bucket verranno archiviati da Cloud Logging.
  • Regione: la posizione geografica in cui vengono archiviati i dati del bucket.
  • Stato: indica se il bucket è bloccato o sbloccato.

Se un bucket è in attesa di eliminazione da parte di Cloud Logging, la voce della tabella è annotata con un simbolo di avviso.

gcloud

Esegui il comando gcloud logging buckets list:

gcloud logging buckets list

Vengono visualizzati i seguenti attributi per i bucket di log:

  • LOCATION: la regione in cui sono archiviati i dati del bucket.
  • BUCKET_ID: il nome del bucket di log.
  • RETENTION_DAYS: il numero di giorni per cui i dati del bucket verranno archiviati da Cloud Logging.
  • LIFECYCLE_STATE: indica se il bucket è in attesa di eliminazione da parte di Cloud Logging.
  • LOCKED: indica se il bucket è bloccato o sbloccato.
  • CREATE_TIME: un timestamp che indica quando è stato creato il bucket.
  • UPDATE_TIME: un timestamp che indica l'ultima modifica del bucket.

Puoi anche visualizzare gli attributi di un solo bucket. Ad esempio, per visualizzare i dettagli del bucket di log _Default nella regione global, esegui il comando gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

Per elencare i bucket di log associati a un progetto Google Cloud , utilizza projects.locations.buckets.list nell'API Logging.

Visualizza i dettagli di un bucket

I dettagli di un bucket di log includono il nome, la descrizione, la località e il periodo di conservazione. Puoi anche visualizzare le informazioni su quando il bucket di log è stato creato e aggiornato l'ultima volta, nonché il nome del set di dati BigQuery collegato, se esistente.

Per visualizzare i dettagli di un singolo bucket di log, segui questi passaggi:

Console Google Cloud

Nella console Google Cloud , vai alla pagina Archiviazione dei log:

Vai ad Archiviazione dei log

Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

Nel bucket di log, fai clic su Altro e poi seleziona Visualizza dettagli bucket.

La finestra di dialogo elenca i seguenti attributi per il bucket di log:

  • Nome: il nome del bucket di log.
  • Descrizione: la descrizione del bucket di log.
  • Periodo di conservazione: il numero di giorni per cui i dati del bucket verranno archiviati da Cloud Logging.
  • Regione: la posizione geografica in cui vengono archiviati i dati del bucket.
  • Observability Analytics: indica se è stato eseguito l'upgrade del bucket per utilizzare Observability Analytics.
  • Analisi BigQuery: indica se un set di dati BigQuery è collegato al tuo bucket.
  • Set di dati BigQuery: fornisce un link al tuo set di dati BigQuery, che si apre nella pagina BigQuery Studio. Viene visualizzata anche la data di attivazione del collegamento a BigQuery.

gcloud

Esegui il comando gcloud logging buckets describe.

Ad esempio, il seguente comando restituisce i dettagli del bucket _Default:

gcloud logging buckets describe _Default --location=global

Vengono visualizzati i seguenti attributi per il bucket di log:

  • createTime: un timestamp che indica quando è stato creato il bucket.
  • description: la descrizione del bucket di log.
  • lifecycleState: indica se il bucket è in attesa di eliminazione da parte di Cloud Logging.
  • name: il nome del bucket di log.
  • retentionDays: il numero di giorni per cui i dati del bucket verranno archiviati da Cloud Logging.
  • updateTime: un timestamp che indica l'ultima modifica del bucket.

REST

Per visualizzare i dettagli di un singolo bucket di log, utilizza projects.locations.buckets.get nell'API Logging.

Gestisci i bucket

Questa sezione descrive come gestire i bucket di log utilizzando Google Cloud CLI o la console Google Cloud .

Aggiorna un bucket

Per aggiornare le proprietà del bucket, ad esempio la descrizione o il periodo di conservazione, segui questi passaggi:

Console Google Cloud

Per aggiornare le proprietà del bucket:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per il bucket che vuoi aggiornare, fai clic su Altro.

  3. Seleziona Modifica bucket.

  4. Modifica il bucket in base alle tue esigenze.

  5. Fai clic su Aggiorna bucket.

gcloud

Per aggiornare le proprietà del bucket, esegui il comando gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Ad esempio:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Per aggiornare le proprietà del bucket, utilizza projects.locations.buckets.patch nell'API Logging.

Configura la conservazione personalizzata

Quando crei un bucket di log, puoi personalizzare il periodo di archiviazione dei log nel bucket da parte di Cloud Logging. Puoi anche configurare il periodo di conservazione per il bucket di log _Default quando questo si trova in un progetto.

Non puoi modificare il periodo di conservazione del bucket di log _Required. Inoltre, non puoi estendere il periodo di conservazione di un bucket di log che si trova in una cartella o in un'organizzazione. Tuttavia, puoi creare un sink di log per instradare le voci di log a livello di cartella o organizzazione a un bucket di log che si trova in un progetto, quindi configurare il periodo di conservazione di quel bucket di log.

Se riduci il periodo di conservazione di un bucket di log, viene applicato un periodo di tolleranza di 7 giorni durante il quale i log scaduti non vengono eliminati. Non puoi eseguire query o visualizzare i log scaduti. Tuttavia, durante questo periodo di 7 giorni, puoi ripristinare l'accesso completo estendendo il periodo di conservazione del bucket. I log archiviati durante il periodo di tolleranza vengono conteggiati ai fini dei costi di conservazione.

L'applicazione della conservazione è un processo a coerenza finale. Se scrivi voci di log in un bucket di log quando le voci di log sono più vecchie del periodo di conservazione del bucket, potresti riuscire a visualizzarle brevemente. Ad esempio, se invii voci di log risalenti a 10 giorni prima a un bucket di log con un periodo di conservazione di 7 giorni, queste voci di log vengono archiviate e poi eliminate definitivamente. Queste voci di log non contribuiscono ai costi di conservazione. Contribuiscono ai costi di archiviazione. Per ridurre al minimo i costi di archiviazione, non scrivere voci di log più vecchie del periodo di conservazione del bucket.

Per aggiornare il periodo di conservazione di un bucket di log personalizzato o del bucket di log _Default che si trova in un progetto, segui questi passaggi:

Console Google Cloud

Per aggiornare il periodo di conservazione di un bucket di log, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per il bucket che vuoi aggiornare, fai clic su Altro e poi seleziona Modifica bucket.

  3. Nel campo Conservazione, inserisci il numero di giorni, tra 1 e3650 days, durante i quali vuoi che Cloud Logging conservi i log.

  4. Fai clic su Aggiorna bucket. Il nuovo periodo di conservazione viene visualizzato nell'elenco Bucket di log.

gcloud

Per aggiornare il periodo di conservazione per un bucket di log definito dall'utente o per il bucket di log _Default che si trova in un progetto, esegui il comando gcloud logging buckets update, dopo aver impostato un valore per RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Ad esempio, per conservare i log nel bucket _Default nella località global per un anno, il comando sarà il seguente:

gcloud logging buckets update _Default --location=global --retention-days=365

Se estendi il periodo di conservazione di un bucket, le regole di conservazione si applicano in futuro e non retroattivamente. I log non possono essere recuperati dopo la scadenza del periodo di conservazione applicabile.

Blocca un bucket

Quando blocchi un bucket per impedire gli aggiornamenti, blocchi anche la policy di conservazione del bucket. Una volta bloccata una policy di conservazione, non puoi eliminare il bucket finché ogni voce di log nel bucket non ha soddisfatto il periodo di conservazione del bucket. Se vuoi evitare l'eliminazione accidentale di un progetto che contiene un bucket di log bloccato, aggiungi un blocco al progetto. Per scoprire di più, consulta l'articolo Protezione dei progetti con blocchi.

Per impedire a chiunque di aggiornare o eliminare un bucket di log, blocca il bucket. Per bloccare il bucket, segui questi passaggi:

Console Google Cloud

La console Google Cloud non supporta il blocco di un bucket di log.

gcloud

Per bloccare il bucket, esegui il comando gcloud logging buckets update con il flag --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Ad esempio:

gcloud logging buckets update my-bucket --location=global --locked

REST

Per bloccare gli attributi del bucket, utilizza projects.locations.buckets.patch nell'API Logging. Imposta il parametro locked su true.

Elimina un bucket

Puoi eliminare i bucket di log che soddisfano una delle seguenti condizioni:

  • Il bucket di log è sbloccato.
  • Il bucket di log è bloccato e tutte le voci di log nel bucket di log hanno soddisfatto il periodo di conservazione del bucket.

Non puoi eliminare un bucket di log in nessuna delle seguenti situazioni:

  • Il bucket di log è bloccato per gli aggiornamenti e memorizza le voci di log che non hanno soddisfatto il periodo di conservazione del bucket.

  • Sono presenti uno o più link nel bucket di log. Per determinare se sono presenti link nel bucket di log, puoi utilizzare la console Google Cloud o eseguire il comando gcloud logging links list.

    Se necessario, elimina i link utilizzando il comando gcloud logging links delete. Se elimini un link, elimini anche tutti gli artefatti associati, che potrebbero includere un set di dati BigQuery collegato.

Dopo aver eseguito il comando di eliminazione, il bucket di log passa allo stato DELETE_REQUESTED e rimane in questo stato per 7 giorni. Durante questo periodo di tempo, Logging continua a instradare i log al bucket di log. Puoi interrompere il routing dei log al bucket di log eliminando o modificando i sink di log che eseguono il routing delle voci di log al bucket.

Non puoi creare un nuovo bucket di log che utilizza lo stesso nome di un bucket di log che si trova nello stato DELETE_REQUESTED.

Per eliminare un bucket di log, segui questi passaggi:

Console Google Cloud

Per eliminare un bucket di log, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Individua il bucket che vuoi eliminare e fai clic su Altro.

  3. Se la colonna Set di dati collegato in BigQuery mostra un link, elimina il set di dati BigQuery collegato:

    1. Fai clic su Modifica bucket.
    2. Cancella Crea un nuovo set di dati BigQuery che si colleghi a questo bucket, fai clic su Fine, quindi su Aggiorna bucket.

      Dopo essere tornato alla pagina Archiviazione log, fai clic su Altro per il bucket che vuoi eliminare, quindi procedi con i passaggi successivi.

  1. Seleziona Elimina bucket.

  2. Nel riquadro di conferma, fai clic su Elimina.

  3. Nella pagina Archiviazione log, il bucket ha un indicatore che indica che è in attesa di eliminazione. Il bucket, inclusi tutti i log al suo interno, viene eliminato dopo 7 giorni.

gcloud

Per eliminare un bucket di log, esegui il comando gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

REST

Per eliminare un bucket, utilizza projects.locations.buckets.delete nell'API Logging.

Ripristina un bucket eliminato

Puoi ripristinare o annullare l'eliminazione di un bucket di log che si trova nello stato di eliminazione in attesa. Per ripristinare un bucket di log, segui questi passaggi:

Console Google Cloud

Per ripristinare un bucket di log in attesa di eliminazione, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per il bucket che vuoi ripristinare, fai clic su Altro, quindi seleziona Ripristina bucket eliminato.

  3. Nel riquadro di conferma, fai clic su Ripristina.

  4. Nella pagina Archiviazione log, l'indicatore di eliminazione in attesa viene rimosso dal bucket di log.

gcloud

Per ripristinare un bucket di log in attesa di eliminazione, esegui il comando gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

Per ripristinare un bucket in attesa di eliminazione, utilizza projects.locations.buckets.undelete nell'API Logging.

Abilita Observability Analytics e l'esecuzione di query da BigQuery

Questa sezione descrive come:

  • Esegui l'upgrade del bucket di log in modo da poter analizzare i dati di log utilizzando Observability Analytics, che fornisce un'interfaccia SQL.

  • Crea link sui bucket di log. Un link fornisce una connessione tra un bucket di log e un set di dati BigQuery collegato. Puoi utilizzare i servizi BigQuery per eseguire query sul set di dati collegato.

Esegui l'upgrade di un bucket per utilizzare Observability Analytics

Dopo aver eseguito l'upgrade di un bucket per utilizzare Observability Analytics, tutte le nuove voci di log che arrivano sono disponibili per l'analisi nell'interfaccia di Observability Analytics. Non puoi annullare un'operazione di upgrade su un bucket.

Per eseguire l'upgrade di un bucket esistente per utilizzare Observability Analytics, si applicano le seguenti limitazioni:

  • Il bucket di log è stato creato a livello di progetto Google Cloud .
  • Il bucket di log è sbloccato, a meno che non si tratti del bucket _Required.
  • Non sono presenti aggiornamenti in attesa per il bucket.

  • Per i progetti all'interno di un perimetro dei Controlli di servizio VPC:

    1. Il perimetro non deve limitare i seguenti servizi:

      • logging.googleapis.com
      • cloudkms.googleapis.com: obbligatorio per i bucket di log che utilizzano CMEK.

    2. Non puoi utilizzare regole in entrata o in uscita basate sull'identità per concedere l'accesso tra perimetri alla chiave Cloud Key Management Service quando il bucket di log e la chiave Cloud KMS si trovano in perimetri dei Controlli di servizio VPC diversi.

L'upgrade di un bucket potrebbe richiedere fino a 10 minuti. Per informazioni sulla risoluzione dei problemi, consulta Risolvi i problemi relativi all'upgrade di un bucket per utilizzare Observability Analytics.

Console Google Cloud

Per eseguire l'upgrade di un bucket esistente per utilizzare Observability Analytics, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Individua il bucket di cui vuoi eseguire l'upgrade.

  3. Quando la colonna Analisi di Observability disponibile mostra Esegui l'upgrade, puoi eseguire l'upgrade del bucket di log per utilizzare Observability Analytics. Fai clic su Esegui upgrade.

    Si apre una finestra di dialogo. Fai clic su Conferma.

gcloud

Per eseguire l'upgrade del bucket di log in modo da utilizzare Observability Analytics, esegui il comando gcloud logging buckets update. Devi impostare il flag --enable-analytics e ti consigliamo di includere anche il flag --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

Il flag --async forza l'esecuzione asincrona del comando. La risposta è un oggetto Operation. Esegui il polling del metodo projects.locations.operations.get finché il campo Operation.done non è impostato su true. Altri campi della struttura Operation forniscono informazioni sull'esito positivo o negativo della richiesta. Per saperne di più, consulta Metodi API asincroni.

REST

Per eseguire l'upgrade di un bucket di log per utilizzare Observability Analytics, utilizza il metodo projects.locations.buckets.updateAsync dell'API Cloud Logging.

Prepara gli argomenti per il metodo come segue:

  1. Imposta il valore booleano LogBucket.analyticsEnabled su true.
  2. Per il parametro di query del comando, utilizza updateMask=analyticsEnabled.

La risposta ai metodi asincroni è un oggetto Operation. Questo oggetto contiene informazioni sullo stato di avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene informazioni sull'esito positivo o negativo della richiesta. Per saperne di più, consulta Metodi API asincroni.

Il completamento del metodo updateAsync potrebbe richiedere diversi minuti.

Se vuoi utilizzare le funzionalità di BigQuery per analizzare i dati di log, esegui l'upgrade di un bucket di log per utilizzare Observability Analytics, quindi crea un set di dati collegato. Con questa configurazione, Logging archivia i dati di log, ma BigQuery può leggerli.

Console Google Cloud

Per creare un link a un set di dati BigQuery per un bucket di log esistente, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Individua il bucket di log e verifica che la colonna Observability Analytics disponibile mostri Apri.

    Se in questa colonna viene visualizzato Esegui l'upgrade, non è stato eseguito l'upgrade del bucket di log per l'utilizzo di Observability Analytics. Configura Observability Analytics:

    1. Fai clic su Esegui upgrade.
    2. Fai clic su Conferma nella finestra di dialogo.

    Al termine dell'upgrade, vai al passaggio successivo.

  3. Nel bucket di log, fai clic su Altro, quindi su Modifica bucket.

    Si apre la finestra di dialogo Modifica bucket di log.

  4. Seleziona Crea un nuovo set di dati BigQuery che si colleghi a questo bucket e inserisci il nome del nuovo set di dati.

    Il nome del set di dati deve essere univoco per ogni progetto Google Cloud . Se inserisci il nome di un set di dati esistente, ricevi il seguente errore: Dataset name must be unique in the selected region.

  5. Fai clic su Fine, quindi su Aggiorna bucket.

    Dopo che Logging visualizza il nome del set di dati collegato nella pagina Archiviazione log, potrebbero essere necessari alcuni minuti prima che BigQuery riconosca il set di dati.

gcloud

Per creare un set di dati collegato per un bucket di log di cui è stato eseguito l'upgrade per utilizzare Observability Analytics, esegui il comando gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

Il valore LINK_ID che fornisci viene utilizzato come nome del set di dati BigQuery e deve essere univoco per il tuo progetto Google Cloud .

Il comando links create è asincrono. Il risultato di un metodo asincrono è un oggetto Operation e contiene informazioni sull'avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene lo stato. Per saperne di più, consulta Metodi API asincroni.

Il completamento del comando links create richiede alcuni minuti.

Ad esempio, il seguente comando crea un set di dati collegato denominato mylink per il bucket di log denominato my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Il nome del set di dati deve essere univoco per ogni progetto Google Cloud . Se provi a creare un set di dati con lo stesso nome di un set di dati esistente, riceverai il seguente errore:

BigQuery dataset with name "LINK_ID" already exists.

Se tenti di creare un set di dati collegato per un bucket di log di cui non è stato eseguito l'upgrade per utilizzare Observability Analytics, viene visualizzato il seguente errore:

A link can only be created for an analytics-enabled bucket.

REST

Per creare un set di dati BigQuery collegato per un bucket di log esistente di cui è stato eseguito l'upgrade per utilizzare Observability Analytics, chiama il metodo asincrono projects.locations.buckets.links.create dell'API Cloud Logging.

Prepara gli argomenti per il metodo come segue:

  1. Crea il corpo della richiesta per il comando create. Il corpo della richiesta è formattato come oggetto Link.
  2. Per il parametro di query del comando, utilizza linkId=LINK_ID. Il valore LINK_ID che fornisci viene utilizzato come nome del set di dati BigQuery e deve essere univoco per il tuo progetto Google Cloud .

La risposta ai metodi asincroni è un oggetto Operation. Questo oggetto contiene informazioni sullo stato di avanzamento del metodo. Al termine del metodo, l'oggetto Operation contiene lo stato. Per saperne di più, consulta Metodi API asincroni.

Il completamento del metodo links.create richiede alcuni minuti.

Il nome del set di dati deve essere univoco per ogni progetto Google Cloud . Se provi a creare un set di dati con lo stesso nome di un set di dati esistente, riceverai il seguente errore:

BigQuery dataset with name "LINK_ID" already exists.

Se tenti di creare un set di dati collegato per un bucket di log di cui non è stato eseguito l'upgrade per utilizzare Observability Analytics, viene visualizzato il seguente errore:

A link can only be created for an analytics-enabled bucket.

Esegui il polling dei metodi API asincroni

La risposta di un metodo asincrono come projects.locations.buckets.createAsync è un oggetto Operation.

Le applicazioni che chiamano un metodo API asincrono devono eseguire il polling del metodo operation.get finché il valore del campo Operation.done non è true:

  • Se done è false, l'operazione è in corso.

    Per aggiornare le informazioni sullo stato, invia una richiesta GET al metodo operation.get.

  • Se done è true, l'operazione è completata e viene impostato il campo error o response:

    • error: se impostato, l'operazione asincrona non è riuscita. Il valore di questo campo è un oggetto Status che contiene un codice di errore gRPC e un messaggio di errore.
    • response: se impostato, l'operazione asincrona è stata completata correttamente e il valore riflette il risultato.

Per eseguire il polling di un comando asincrono utilizzando Google Cloud CLI, esegui il seguente comando:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Per saperne di più, consulta gcloud logging operations describe.

Leggi e scrivi voci di log

Non scrivi direttamente i log in un bucket di log. Invece, scrivi i log in una risorsaGoogle Cloud : un progetto, una cartella o un'organizzazione Google Cloud . I sink nella risorsa principale indirizzano quindi i log alle destinazioni, inclusi i bucket di log. Un sink esegue il routing dei log a una destinazione del bucket di log quando i log corrispondono al filtro del sink e il sink dispone dell'autorizzazione per eseguire il routing dei log al bucket di log. Per saperne di più, consulta Voci di log delle route.

Ogni bucket di log ha un insieme di visualizzazioni di log. Per leggere i log da un bucket di log, devi avere accesso a una visualizzazione di log nel bucket di log. Le visualizzazioni dei log ti consentono di concedere a un utente l'accesso solo a un sottoinsieme dei log archiviati in un bucket di log. Per scoprire di più sulle visualizzazioni dei log, consulta Archivia le voci di log e Configura le visualizzazioni dei log su un bucket di log.

Per leggere i log da un bucket di log, segui questi passaggi:

Console Google Cloud

  1. Nella console Google Cloud , vai alla pagina Esplora log:

    Vai a Esplora log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per personalizzare i log visualizzati in Esplora log, fai clic su Perfeziona ambito e seleziona un'opzione. Ad esempio, puoi visualizzare i log archiviati in un progetto o per visualizzazione log.

  3. Fai clic su Applica. Il riquadro Risultati delle query viene ricaricato con i log che corrispondono all'opzione selezionata.

Per saperne di più, consulta Panoramica di Esplora log: perfeziona l'ambito.

gcloud

Per leggere i log da un bucket di log, utilizza il comando gcloud logging read e aggiungi un LOG_FILTER per selezionare i dati:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

REST

Per leggere i log da un bucket di log, utilizza il metodo entries.list. Imposta resourceNames per specificare il bucket e la visualizzazione log appropriati e imposta filter per selezionare i dati.

Per informazioni dettagliate sulla sintassi di filtro, consulta Linguaggio di query di Logging.

Monitora il volume

Questa sezione descrive come monitorare il volume dei dati di log.

Monitora il volume dei log archiviati nei bucket di log

La pagina Archiviazione dei log nella console Google Cloud monitora il volume dei dati di log archiviati nei bucket di log:

Nella console Google Cloud , vai alla pagina Archiviazione dei log:

Vai ad Archiviazione dei log

Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

La pagina Archiviazione log mostra un riepilogo delle statistiche per il tuo progettoGoogle Cloud :

Le statistiche di riepilogo indicano la quantità di dati di log archiviati nei bucket di log per il progetto selezionato.

Vengono riportate le seguenti statistiche:

  • Importazione del mese corrente: la quantità di dati di log che il tuo progettoGoogle Cloud ha archiviato nei bucket di log dal primo giorno del mese di calendario corrente.

  • Importazione del mese precedente: la quantità di dati di log archiviati dal tuo progettoGoogle Cloud nei bucket di log nell'ultimo mese di calendario.

  • Importazione prevista entro la fine del mese: la quantità stimata di dati di log che il tuo progettoGoogle Cloud memorizzerà nei bucket di log entro la fine del mese di calendario corrente, in base all'utilizzo attuale.

  • Archiviazione fatturabile nel mese corrente: la quantità di dati di log conservati per più di 30 giorni che viene fatturata.

Le statistiche precedenti non includono i log nel bucket _Required. I log in quel bucket non possono essere esclusi o disattivati.

La pagina Router dei log nella console Google Cloud fornisce strumenti che puoi utilizzare per ridurre al minimo eventuali addebiti per l'archiviazione dei log nei bucket di log o per l'archiviazione che supera l'allocazione mensile. Puoi:

  • Disabilita l'archiviazione dei log a livello di bucket.
  • Escludere determinate voci di log dall'archiviazione nei bucket di log.

Per saperne di più, consulta Gestisci i sink.

Avviso sui byte di log mensili archiviati nei bucket di log

Per creare una criterio di avviso, vai alla pagina Archiviazione dei log nella consoleGoogle Cloud , fai clic su Crea avviso di utilizzo e completa la finestra di dialogo. La pagina Crea policy di avviso precompila il campo del tipo di metrica con logging.googleapis.com/billing/bytes_ingested.

Per creare una criterio di avviso che si attiva quando il numero di byte di log scritti nei bucket di log supera il limite definito dall'utente per Cloud Logging, utilizza le seguenti impostazioni.

Nuova condizione
Campo
Valore
Risorsa e metrica Nel menu Risorse, seleziona Globale.
Nel menu Categorie di metriche, seleziona Metrica basata su log.
Nel menu Metriche, seleziona Byte di log mensili importati.
Filtro Nessuno.
Nelle serie temporali
Aggregazione serie temporali		 sum
Finestra temporale continua 60 m
Funzione finestra temporale continua max
Configura trigger di avviso
Campo
Valore
Tipo di condizione Threshold
Trigger di avviso Any time series violates
Posizione soglia Above threshold
Valore soglia Sei tu a determinare il valore accettabile.
Finestra di ripetizione test Il valore minimo accettabile è di 30 minuti.

Per saperne di più sulle policy di avviso, consulta Panoramica degli avvisi.

Risolvere i problemi comuni

Se riscontri problemi durante l'utilizzo dei bucket di log, consulta i seguenti passaggi per la risoluzione dei problemi e le risposte alle domande più comuni.

Perché non riesco a eliminare questo bucket?

Se stai tentando di eliminare un bucket, procedi nel seguente modo:

  • Verifica di disporre delle autorizzazioni corrette per eliminare il bucket. Per l'elenco delle autorizzazioni necessarie, consulta Controllo dell'accesso con IAM.

  • Determina se il bucket è bloccato elencando gli attributi del bucket. Se il bucket è bloccato, controlla il periodo di conservazione del bucket. Non puoi eliminare un bucket bloccato finché tutti i log al suo interno non hanno raggiunto il periodo di conservazione del bucket.

  • Verifica che il bucket di log non contenga link. Non puoi eliminare un bucket di log che contiene link.

    Il seguente errore viene visualizzato in risposta a un comando delete su un bucket di log con un set di dati BigQuery collegato:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    Per elencare i link associati a un bucket di log, esegui il comando gcloud logging links list o il metodo API projects.locations.buckets.links.list.

    Per eliminare i link, utilizza il comando gcloud logging links delete.

Quali service account eseguono il routing dei log al mio bucket?

Per determinare se i service account dispongono delle autorizzazioni IAM per instradare i log al tuo bucket, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina IAM:

    Vai a IAM

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo IAM e amministrazione.

  2. Nella scheda Autorizzazioni, visualizza per Ruoli. Viene visualizzata una tabella con tutti i ruoli e le entità IAM associati al tuo progettoGoogle Cloud .

  3. Nella casella di testo Filtro della tabella, inserisci Writer bucket di log.

    Vengono visualizzate tutte le entità con il ruolo Writer bucket di log. Se un'entità è un account di servizio, il suo ID contiene la stringa gserviceaccount.com.

  4. (Facoltativo) Se vuoi rimuovere un account di servizio per impedirgli di instradare i log al tuo progetto Google Cloud , seleziona la casella di controllo per il account di servizio e fai clic su Rimuovi.

Perché vedo i log di un progetto Google Cloud anche se li ho esclusi dal mio sink _Default?

Potresti visualizzare i log in un bucket di log in un progetto Google Cloud centralizzato, che aggrega i log di tutta l'organizzazione.

Se utilizzi Esplora log per accedere a questi log e visualizzi log che hai escluso dal sink _Default, la visualizzazione potrebbe essere impostata sul livello di progettoGoogle Cloud .

Per risolvere il problema, seleziona Visualizzazione log nel menu Perfeziona ambito, quindi seleziona la visualizzazione log associata al bucket _Default nel tuo progettoGoogle Cloud . Non dovresti più vedere i log esclusi.

Passaggi successivi

Per informazioni sui metodi API dei bucket di log, consulta la documentazione di riferimento di LogBucket.

Se gestisci un'organizzazione o una cartella, puoi specificare la località dei bucket di log _Default e _Required delle risorse secondarie. Puoi anche configurare se i bucket di log utilizzano CMEK e il comportamento del sink di log _Default. Per ulteriori informazioni, consulta la pagina Configura le impostazioni predefinite per organizzazioni e cartelle.

Per informazioni su come gestire i casi d'uso comuni con i bucket di log, consulta i seguenti argomenti: