Gestisci le configurazioni dei set di dati Storage Insights

Questa pagina mostra come gestire le configurazioni dei set di dati di Storage Insights per controllare l'origine, l'ambito e la conservazione dei dati. Scoprirai come visualizzare, elencare, aggiornare ed eliminare le configurazioni, nonché come visualizzare, eseguire query e scollegare i set di dati collegati.

Ottenere i ruoli richiesti

Per ottenere le autorizzazioni necessarie per gestire le configurazioni dei set di dati, chiedi all'amministratore di concederti i seguenti ruoli IAM nei progetti di origine:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per gestire le configurazioni dei set di dati. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per gestire le configurazioni dei set di dati sono necessarie le seguenti autorizzazioni:

  • Visualizza ed elenca la configurazione del set di dati:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Aggiorna ed elimina la configurazione del set di dati:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Scollega dal set di dati BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Esegui query sui set di dati collegati a BigQuery: bigquery.jobs.create or bigquery.jobs.*

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Visualizzare ed eseguire query sui set di dati collegati

Per visualizzare ed eseguire query sui set di dati collegati:

  1. Nella console Google Cloud , vai alla pagina Storage Insights in Cloud Storage.

    Vai a Storage Insights

    Il progetto mostra un elenco delle configurazioni del set di dati create.

  2. Fai clic sul set di dati collegato a BigQuery per la configurazione del set di dati che vuoi visualizzare.

    La console Google Cloud mostra il set di dati collegato a BigQuery. Per informazioni sullo schema del set di dati dei metadati, vedi Schema del set di dati dei metadati.

  3. Puoi eseguire query su tabelle e viste nei set di dati collegati nello stesso modo in cui esegui query su qualsiasi altra tabella BigQuery.

Per impedire la pubblicazione della configurazione del set di dati nel set di dati BigQuery, scollega il set di dati. Per scollegare un set di dati, completa i seguenti passaggi:

  1. Nella console Google Cloud , vai alla pagina Storage Insights in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati che ha generato il set di dati da scollegare.

  3. Nella sezione Set di dati collegato a BigQuery, fai clic su Scollega set di dati.

  1. Per scollegare il set di dati, esegui il comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi scollegare.

    • LOCATION con la posizione del tuo set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    Puoi anche specificare un percorso di configurazione completo del set di dati. Ad esempio:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Sostituisci:

    • DESTINATION_PROJECT_ID con l'ID del progetto che contiene la configurazione del set di dati. Per saperne di più sugli ID progetto, consulta la pagina Creare e gestire progetti.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi scollegare.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

  1. Avere gcloud CLI installata e inizializzata, il che ti consente di generare un token di accesso per l'intestazione Authorization.

  2. Crea un file JSON contenente le seguenti informazioni:

    {
  "name": "DATASET_NAME"
}

    Sostituisci:

    DATASET_NAME con il nome del set di dati che vuoi scollegare. Ad esempio, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Utilizza cURL per chiamare l'API JSON con una richiesta unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sostituisci:

    • JSON_FILE_NAME con il percorso del file JSON creato nel passaggio precedente.

    • PROJECT_ID con l'ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi scollegare.

    • SERVICE_ACCOUNT con il account di servizio. Ad esempio, test-service-account@test-project.iam.gserviceaccount.com.

Visualizzare una configurazione del set di dati

Per visualizzare la configurazione di un set di dati:

Console

  1. Nella console Google Cloud , vai alla pagina Storage Insights in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati che vuoi visualizzare.

    Vengono visualizzati i dettagli di configurazione del set di dati.

Riga di comando

  1. Per descrivere una configurazione del set di dati, esegui il comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati.

    Puoi anche specificare un percorso di configurazione completo del set di dati. Ad esempio:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Sostituisci:

    • DESTINATION_PROJECT_ID con l'ID del progetto che contiene la configurazione del set di dati. Per saperne di più sugli ID progetto, consulta la pagina Creare e gestire progetti.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che ha generato il set di dati che vuoi visualizzare.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

API JSON

  1. Avere gcloud CLI installata e inizializzata, il che ti consente di generare un token di accesso per l'intestazione Authorization.

  2. Utilizza cURL per chiamare l'API JSON con una richiesta Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sostituisci:

    • PROJECT_ID con l'ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati.

    • SERVICE_ACCOUNT con il account di servizio. Ad esempio, test-service-account@test-project..

Elenca le configurazioni del set di dati

Per elencare le configurazioni del set di dati in un progetto, completa i seguenti passaggi:

Console

  1. Nella console Google Cloud , vai alla pagina Storage Insights in Cloud Storage.

    Vai a Storage Insights

    Viene visualizzato l'elenco delle configurazioni del set di dati.

Riga di comando

  1. Per elencare le configurazioni del set di dati in un progetto, esegui il comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Sostituisci:

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    Puoi utilizzare i seguenti flag facoltativi per specificare il comportamento della chiamata di elenco:

    • Utilizza --page-size per specificare il numero massimo di risultati da restituire per pagina.

    • Utilizza --filter=FILTER per filtrare i risultati. Per maggiori informazioni su come utilizzare il flag --filter, esegui gcloud topic filters e consulta la documentazione.

    • Utilizza --sort-by=SORT_BY_VALUE per specificare un elenco separato da virgole con i nomi delle chiavi dei campi delle risorse in base a cui eseguire l'ordinamento. Ad esempio, --sort-by=DATASET_CONFIG_ID.

API JSON

  1. Avere gcloud CLI installata e inizializzata, il che ti consente di generare un token di accesso per l'intestazione Authorization.

  2. Utilizza cURL per chiamare l'API JSON con una richiesta Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sostituisci:

    • PROJECT_ID con l'ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    • SERVICE_ACCOUNT con il account di servizio. Ad esempio, test-service-account@test-project.iam.gserviceaccount.com.

Aggiornare una configurazione del set di dati

Per aggiornare la configurazione di un set di dati:

Console

  1. Nella console Google Cloud , vai alla pagina Storage Insights in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati da aggiornare.

  3. Nella scheda Configurazione del set di dati, fai clic su Modifica per aggiornare i campi.

Riga di comando

  1. Per aggiornare una configurazione del set di dati, esegui il comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati.

    Utilizza i seguenti flag per aggiornare le proprietà della configurazione del set di dati:

    • Utilizza --skip-verification per ignorare i controlli e gli errori della procedura di verifica, che include i controlli delle autorizzazioni IAM richieste. Se utilizzati, alcuni o tutti i bucket potrebbero essere esclusi dal set di dati.

    • Utilizza --retention-period-days=DAYS per specificare il numero mobile di giorni di dati da acquisire nello snapshot del set di dati. Ad esempio, 90.

    • Utilizza --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS per specificare il periodo di conservazione dei dati delle attività nel set di dati. Per impostazione predefinita, i dati delle attività sono inclusi nel set di dati e ereditano il periodo di conservazione del set di dati. Per ignorare il periodo di conservazione del set di dati, specifica il numero di giorni per cui conservare i dati delle attività. Per escludere i dati sull'attività, imposta ACTIVITY_RETENTION_PERIOD_DAYS su 0.

    • Utilizza --description=DESCRIPTION per scrivere una descrizione della configurazione del set di dati.

    • Utilizza --organization=ORGANIZATION_ID per specificare l'ID organizzazione del progetto di origine. Se non specificato, il valore predefinito è l'ID organizzazione del progetto di origine.

API JSON

  1. Avere gcloud CLI installata e inizializzata, il che ti consente di generare un token di accesso per l'intestazione Authorization.

  2. Crea un file JSON contenente le seguenti informazioni facoltative:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Sostituisci:

    • ORGANIZATION_ID con l'ID risorsa dell' organizzazione a cui appartengono i progetti di origine. Se non specificato, viene utilizzato l'ID organizzazione del progetto di origine.

    • PROJECT_NUMBERS con i numeri di progetto da includere nel set di dati. Puoi specificare uno o più progetti in formato elenco.

    • RETENTION_PERIOD con il numero mobile di giorni di dati da acquisire nello snapshot del set di dati. Ad esempio, 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS con il numero di giorni di dati sull'attività da acquisire nello snapshot del set di dati. Per impostazione predefinita, i dati delle attività sono inclusi nel set di dati ed ereditano il periodo di conservazione del set di dati. Per ignorare il periodo di conservazione del set di dati, specifica il numero di giorni per cui conservare i dati delle attività. Per escludere i dati sull'attività, imposta ACTIVITY_RETENTION_PERIOD_DAYS su 0.

  3. Per aggiornare la configurazione del set di dati, utilizza cURL per chiamare l'API JSON con una richiesta Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sostituisci:

    • JSON_FILE_NAME con il percorso del file JSON che hai creato nel passaggio precedente.

    • PROJECT_ID con l'ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che vuoi aggiornare.

    • UPDATE_MASK è l'elenco separato da virgole dei nomi dei campi che questa richiesta aggiorna. I campi utilizzano il formato fieldMask e fanno parte della risorsa DatasetConfig.

    • SERVICE_ACCOUNT con il account di servizio. Ad esempio,test-service-account@test-project.iam.gserviceaccount.com.

Eliminare una configurazione del set di dati

Per eliminare una configurazione del set di dati:

Console

  1. Nella console Google Cloud , vai alla pagina Storage Insights in Cloud Storage.

    Vai a Storage Insights

  2. Fai clic sul nome della configurazione del set di dati che vuoi eliminare.

  3. Fai clic su Elimina .

Riga di comando

  1. Per eliminare una configurazione del set di dati, esegui il comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Sostituisci:

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che vuoi eliminare.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    Utilizza i seguenti flag per eliminare una configurazione del set di dati:

    • Utilizza --auto-delete-link per scollegare il set di dati generato dalla configurazione del set di dati che vuoi eliminare. Devi scollegare un set di dati prima di poter eliminare la configurazione del set di dati che lo ha generato.

    Puoi anche specificare un percorso di configurazione completo del set di dati. Ad esempio:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API JSON

  1. Avere gcloud CLI installata e inizializzata, il che ti consente di generare un token di accesso per l'intestazione Authorization.

  2. Utilizza cURL per chiamare l'API JSON con una richiesta Delete DatasetConfig:

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Sostituisci:

    • PROJECT_ID con l'ID del progetto a cui appartiene la configurazione del set di dati.

    • LOCATION con la posizione del set di dati e la configurazione del set di dati. Ad esempio: us-central1.

    • DATASET_CONFIG_ID con il nome della configurazione del set di dati che vuoi eliminare.

    • SERVICE_ACCOUNT con il account di servizio. Ad esempio, test-service-account@test-project.iam.gserviceaccount.com.

Passaggi successivi