Report sugli spazi pubblicitari

I report sull'inventario ti aiutano a gestire l'archiviazione degli oggetti su larga scala. Si tratta di un'alternativa più rapida e pianificata all' Objects: list operazione API. Utilizza i report sull'inventario se vuoi convalidare la migrazione di bucket di grandi dimensioni senza alcun impatto sul rendimento o controllare l'integrità degli oggetti in un singolo bucket.

I report sull'inventario contengono informazioni sui metadati relative agli oggetti, come la classe di archiviazione, l'ETag e il tipo di contenuto dell'oggetto. Queste informazioni consentono di analizzare i costi di archiviazione, controllare e convalidare gli oggetti e garantire la sicurezza dei dati e la conformità. Puoi esportare i report sull'inventario come file con valori separati da virgole (CSV) o Apache Parquet in modo da poterli analizzare ulteriormente utilizzando strumenti come BigQuery.

Questa pagina fornisce una panoramica dei report sull'inventario. Per istruzioni su come utilizzare i report sull'inventario, vedi Creare e gestire i report sull'inventario.

Panoramica dei report sull'inventario

I report sull'inventario contengono un elenco di oggetti e dei relativi metadati per un determinato bucket, noto anche come bucket di origine. Per generare report sull'inventario , devi prima creare una configurazione dei report sull'inventario che definisca la frequenza di generazione dei report, i campi dei metadati che vuoi includere nei report e un bucket per generare e archiviare i report, noto anche come bucket di destinazione.

Quando crei una configurazione dei report sull'inventario, le viene assegnato automaticamente un identificatore univoco universale (UUID). Questo campo non è modificabile. Tuttavia, puoi modificare i seguenti campi di una configurazione dei report sull'inventario:

  • Il nome visualizzato della configurazione dei report sull'inventario
  • I campi dei metadati degli oggetti inclusi nei report sull'inventario
  • Il bucket di destinazione che archivia i report sull'inventario
  • La pianificazione che determina la frequenza di generazione dei report sull'inventario
  • Il formato di file in cui vengono generati i report sull'inventario (CSV o Apache Parquet)

Quando elimini una configurazione dei report sull'inventario, i nuovi report sull'inventario non vengono più generati per la configurazione, ma i report sull'inventario esistenti rimangono.

Quando utilizzare i report sull'inventario

I report sull'inventario sono progettati per l'analisi rapida dei singoli bucket. Puoi utilizzarli per:

  • Elencare tutti gli oggetti all'interno di un bucket

  • Convalidare la riuscita dei trasferimenti di dati

  • Generare report di audit per un bucket specifico

Quando non utilizzare i report sull'inventario

La raccolta e l'analisi manuale dei report sull'inventario di molti bucket e progetti possono essere difficili, soprattutto per l'analisi su larga scala. Per casi d'uso come la visibilità a livello di organizzazione, l'analisi della sicurezza o la gestione dei costi, puoi utilizzare i set di dati di Storage Insights. I set di dati di Storage Insights offrono la flessibilità di configurare un ambito personalizzato a livello di bucket, cartella, progetto o organizzazione. I set di dati di Storage Insights forniscono anche approfondimenti aggiuntivi sugli oggetti, come dati operativi, informazioni sugli errori, dati aggregati sull'attività di bucket e progetti e metadati personalizzati.

Per i set di dati di Storage Insights, i dati vengono aggiornati quotidianamente per le visualizzazioni dei metadati e ogni 4-6 ore per le visualizzazioni delle attività. Puoi analizzare i dati utilizzando SQL in BigQuery o domande in linguaggio naturale con Gemini.

Utilizza i set di dati di Storage Insights se i tuoi obiettivi sono i seguenti:

  • Individuazione dei dati tra le organizzazioni
  • Analisi per l'ottimizzazione dei costi e la gestione del ciclo di vita
  • Analisi delle serie temporali per identificare le tendenze
  • Risoluzione dei problemi relativi alle operazioni
  • Monitoraggio delle attività che si verificano su bucket e progetti

I set di dati di Storage Insights sono una funzionalità esclusiva disponibile solo tramite l' abbonamento a Storage Intelligence.

Bucket di origine e di destinazione

Il bucket di origine contiene gli oggetti per i quali vuoi generare report sull'inventario. Contiene anche la configurazione dei report sull'inventario. In un bucket di origine puoi avere fino a 100 configurazioni di report sull'inventario.

Il bucket di destinazione archivia i report sull'inventario generati. Il bucket di destinazione deve soddisfare i seguenti requisiti:

  • Deve trovarsi nella stessa località del bucket di origine.
  • Deve trovarsi nello stesso progetto del bucket di origine.
  • Può essere uguale al bucket di origine.

Quando crei per la prima volta una configurazione dei report sull'inventario, viene creato automaticamente un service agent per tuo conto. Per creare configurazioni dei report sull'inventario e scrivere report sull'inventario nel bucket di destinazione, sia tu sia il tuo agente di servizio dovete disporre delle autorizzazioni IAM richieste. Consulta le autorizzazioni richieste per te e per il tuo service agent.

I report sull'inventario utilizzano i nomi dei bucket di origine e di destinazione per determinare quali bucket utilizzare durante l'esecuzione dei job. Se elimini un bucket di origine o di destinazione e in un secondo momento crei un nuovo bucket con lo stesso nome, i report sull'inventario eseguiranno i job utilizzando il nuovo bucket.

Campi dei metadati degli oggetti

I seguenti campi dei metadati possono essere inclusi in un report sull'inventario. I campi dei metadati contrassegnati come "Obbligatori" devono essere inclusi nel report sull'inventario.

Campo metadati Descrizione Note
progetto L'ID del progetto in cui si trova il bucket di origine. Obbligatorio
bucket Il nome del bucket di origine. Obbligatorio
nome Il nome dell'oggetto. Obbligatorio
località La località del bucket di origine. Facoltativo
dimensioni Le dimensioni dell'oggetto. Facoltativo
timeCreated L'ora di creazione dell'oggetto in formato RFC 3339. Facoltativo
timeDeleted L'ora di eliminazione dell'oggetto in formato RFC 3339. Restituito se e solo se questa versione dell'oggetto non è più una versione live, ma rimane nel bucket come versione non corrente. Facoltativo
aggiornato L'ora di modifica dei metadati dell'oggetto in formato RFC 3339. Facoltativo
storageClass La classe di archiviazione dell' oggetto. Facoltativo
etag Tag di entità HTTP 1.1 per l'oggetto. Facoltativo
retentionExpirationTime L'ora più recente in cui l'oggetto può essere eliminato, che dipende da qualsiasi configurazione di conservazione impostata per l'oggetto e da qualsiasi criterio di conservazione impostato per il bucket che contiene l'oggetto. Il valore di retentionExpirationTime è in formato RFC 3339. Facoltativo
crc32c Il checksum CRC32C, come descritto in RFC 4960 Appendix B, codificato utilizzando base64 in ordine di byte big-endian. Per ulteriori informazioni sul checksum CRC32C, vedi Metadati degli oggetti. Facoltativo
md5Hash L'hash MD5 dei dati, codificato utilizzando base64. Questo campo non è presente per oggetti compositi. Per ulteriori informazioni sull'hash MD5, vedi Metadati degli oggetti. Facoltativo
di generazione La generazione di contenuti di questo oggetto. Utilizzato per il controllo delle versioni degli oggetti. Facoltativo
metagenerazione La versione dei metadati per questo oggetto in questa generazione. Utilizzato per le precondizioni e per rilevare le modifiche nei metadati. Un numero di metagenerazione è significativo solo nel contesto di una particolare generazione di un particolare oggetto. Facoltativo
contentType Il tipo di contenuto dei dati dell'oggetto. Se un oggetto viene archiviato senza un tipo di contenuto, viene pubblicato come application/octet-stream. Facoltativo
contentEncoding La codifica dei contenuti dei dati dell'oggetto. Facoltativo
timeStorageClassUpdated L'ora in cui la classe di archiviazione dell'oggetto è stata modificata l'ultima volta. Quando l'oggetto viene creato inizialmente, viene impostato su timeCreated. Facoltativo

Per ulteriori informazioni sui campi dei metadati degli oggetti, vedi Metadati degli oggetti.

Shard dei report sull'inventario

Quando un report sull'inventario contiene più di 1.000.000 di oggetti, vengono generati uno o più oggetti shard per comporre il report sull'inventario. Quando tutti gli shard di un report sull'inventario sono stati generati correttamente, viene generato un file manifest nello stesso bucket di destinazione degli shard.

File manifest dei report sull'inventario

La presenza di un file manifest indica che sono stati generati tutti gli shard che compongono un report sull'inventario. Il file manifest fornisce anche i nomi degli oggetti shard dei report sull'inventario.

Il file manifest segue la convenzione di denominazione REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json, dove:

  • REPORT_CONFIG_UUID è l'UUID generato automaticamente della configurazione dei report sull'inventario.

  • TARGET_DATETIME è la data e l'ora UTC generate automaticamente in cui viene generato un report sull'inventario.

Un esempio di nome file manifest è fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

Il file manifest.json contiene i seguenti campi compilati automaticamente:

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

Dove:

  • REPORT_CONFIG_FIELDS include i campi contenuti in nella risorsa ReportConfig.

  • NUMBER_OF_INCLUDED_OBJECTS è il numero di oggetti inclusi nel report sull'inventario.

  • SNAPSHOT_TIME è la data e l'ora UTC generate automaticamente in cui si verifica lo snapshot dei dati. Tutti i dati in un report sull'inventario vengono acquisiti nello snapshot.

  • TARGET_DATETIME è la data e l'ora UTC generate automaticamente in cui viene generato un report sull'inventario.

  • SHARD_COUNT è il numero totale di shard generati che compongono il report sull'inventario.

  • SHARD_FILE_NAME è il nome di uno shard che compone un report sull'inventario.

Un esempio di file manifest.json è il seguente:

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

Prezzi

L'utilizzo dei report sull'inventario è soggetto a prezzi, che dipendono dalla località del bucket. Per ulteriori informazioni sui prezzi dei report sull'inventario, vedi Prezzi.

Audit logging

Cloud Storage crea audit log quando i report sull'inventario vengono generati nel bucket di destinazione. Cloud Storage genera audit log ogni volta che vengono create, aggiornate o eliminate configurazioni dei report sull'inventario.

Cloud Storage non crea audit log quando una configurazione dei report sull'inventario legge i metadati degli oggetti da un bucket di origine.

Integrazione con i Controlli di servizio VPC

Puoi fornire un ulteriore livello di sicurezza per le risorse dei report sull'inventario utilizzando i Controlli di servizio VPC. Quando utilizzi i Controlli di servizio VPC, aggiungi progetti ai perimetri di servizio che proteggono risorse e servizi da richieste provenienti dall'esterno del perimetro. Per saperne di più su Controlli di servizio VPC e perimetri di servizio, vedi Dettagli e configurazione del perimetro di servizio.

Limitazioni

I report sull'inventario presentano le seguenti limitazioni.

  • L'attivazione del filtro IP sui bucket Cloud Storage impedisce ai report sull'inventario di accedere al bucket, indipendentemente dal fatto che utilizzino un agente di servizio per interagire con Cloud Storage. Per evitare interruzioni del servizio, ti consigliamo di non utilizzare il filtro IP sui bucket Cloud Storage se stai creando report sull'inventario per quel bucket.

  • I report sull'inventario non sono supportati nelle seguenti località:

    • Regioni:

      • africa-south1
      • asia-southeast3
      • europe-north2
      • europe-west10
      • europe-west12
      • me-central1
      • me-central2
      • northamerica-south1
    • Regioni duali:

      • eur5
      • eur7
      • eur8

Passaggi successivi

Scopri come creare una configurazione dei report sull'inventario e iniziare a generare report sull'inventario.