Creazione di set di dati

Questo documento descrive come creare set di dati che archiviano i dati in BigQuery. I set di dati sono container di primo livello che ti consentono di organizzare e controllare l'accesso alle tabelle e alle viste.

Per scoprire come utilizzare altri tipi di set di dati, consulta le seguenti risorse:

• Per i set di dati esterni di Spanner, consulta Crea set di dati esterni di Spanner.
• Per i set di dati federati AWS Glue, consulta Crea set di dati federati AWS Glue.

Per scoprire come eseguire query sulle tabelle di un set di dati pubblico, consulta Esegui una query su un set di dati pubblico con la console Google Cloud .

Limitazioni del set di dati

I set di dati BigQuery sono soggetti alle seguenti limitazioni:

• La località del set di dati può essere impostata solo al momento della creazione. Una volta creato un set di dati, la sua posizione non può essere modificata.
• Tutte le tabelle a cui viene fatto riferimento in una query devono essere archiviate in set di dati nella stessa posizione.

• I set di dati esterni non supportano la scadenza delle tabelle, le repliche, il viaggio nel tempo, le regole di confronto predefinite, la modalità di arrotondamento predefinita o l'opzione per attivare o disattivare i nomi delle tabelle senza distinzione tra maiuscole e minuscole.

• Quando copi una tabella, i set di dati che contengono la tabella di origine e la tabella di destinazione devono trovarsi nella stessa località.

• I nomi dei set di dati devono essere univoci per ogni progetto.

• Se modifichi il modello di fatturazione dello spazio di archiviazione di un set di dati, devi attendere 14 giorni prima di poterlo modificare di nuovo.

• Non puoi registrare un set di dati nella fatturazione dello spazio di archiviazione fisico se hai impegni di slot con costo fisso legacy esistentisituati nella stessa regione del set di dati.

Prima di iniziare

Concedi i ruoli Identity and Access Management (IAM) che forniscono agli utenti le autorizzazioni necessarie per eseguire ogni attività descritta in questo documento.

Autorizzazioni obbligatorie

Per creare un set di dati, devi disporre dell'autorizzazione IAM bigquery.datasets.create.

Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per creare un set di dati:

• roles/bigquery.dataEditor
• roles/bigquery.dataOwner
• roles/bigquery.user
• roles/bigquery.admin

Per saperne di più sui ruoli IAM in BigQuery, consulta Ruoli predefiniti e autorizzazioni.

Nota: al creatore di un set di dati viene assegnato automaticamente il ruolo BigQuery Data Owner (roles/bigquery.dataOwner) su quel set di dati. Pertanto, un utente o un account di servizio che ha la possibilità di creare un set di dati ha anche la possibilità di eliminarlo, anche se questa autorizzazione non è stata concessa esplicitamente.

Creazione di set di dati

Quando crei un set di dati, in genere specifichi una località in cui vengono archiviati i dati. Se non specifichi una località, viene utilizzata la località predefinita. Per saperne di più, consulta Specifica le località.

Nota: se scegli EU o una regione con sede nell'UE per la località del set di dati, la residenza dei dati dei clienti BigQuery principali risiede nell'UE. I dati dei clienti di BigQuery principali sono definiti nei Termini specifici dei servizi.

Per creare un set di dati:

Console

1. Apri la pagina BigQuery nella console Google Cloud .
Vai alla pagina BigQuery
2. Nel riquadro a sinistra, fai clic su Explorer.
3. Seleziona il progetto in cui vuoi creare il set di dati.
4. Fai clic su Visualizza azioni e poi su Crea set di dati.

5. Nella pagina Crea set di dati:
1. In ID set di dati, inserisci un nome univoco per il set di dati.
2. In Tipo di località, scegli una località geografica per il set di dati. Dopo la creazione di un set di dati, la località non può essere modificata.
3. (Facoltativo) Seleziona Link a un set di dati esterno se stai creando un set di dati esterno.
4. Se non hai bisogno di configurare opzioni aggiuntive come tag e scadenze delle tabelle, fai clic su Crea set di dati. In caso contrario, espandi la sezione seguente per configurare le opzioni aggiuntive del set di dati.

Opzioni aggiuntive per i set di dati

1. (Facoltativo) Espandi la sezione Tag per aggiungere tag al set di dati.
2. Per applicare un tag esistente:
1. Fai clic sulla freccia menu a discesa accanto a Seleziona ambito e scegli Ambito corrente: Seleziona l'organizzazione corrente o Seleziona il progetto corrente.

In alternativa, fai clic su Seleziona ambito per cercare una risorsa o per visualizzare un elenco delle risorse attuali.

2. Per Chiave 1 e Valore 1, scegli i valori appropriati dagli elenchi.
3. Per inserire manualmente un nuovo tag:
1. Fai clic sulla freccia menu a discesa accanto a Seleziona un ambito e scegli Inserisci manualmente gli ID > Organizzazione, Progetto o Tag.
2. Se stai creando un tag per il tuo progetto o la tua organizzazione, nella finestra di dialogo, inserisci PROJECT_ID o ORGANIZATION_ID, quindi fai clic su Salva.
3. Per Chiave 1 e Valore 1, scegli i valori appropriati dagli elenchi.
4. Per aggiungere altri tag alla tabella, fai clic su Aggiungi tag e segui i passaggi precedenti.
4. (Facoltativo) Espandi la sezione Opzioni avanzate per configurare una o più delle seguenti opzioni.
1. Per modificare l'opzione Crittografia in modo da utilizzare la tua chiave di crittografia con Cloud Key Management Service, seleziona Chiave Cloud KMS.
2. Per utilizzare nomi di tabelle senza distinzione tra maiuscole e minuscole, seleziona Abilita nomi tabella senza distinzione tra maiuscole e minuscole.
3. Per modificare la specifica delle regole di confronto predefinite, scegli il tipo di regole di confronto dall'elenco.
4. Per impostare una scadenza per le tabelle nel set di dati, seleziona Abilita scadenza tabella, quindi specifica la Durata massima predefinita della tabella in giorni.
Nota: se il tuo progetto non è associato a un account di fatturazione, BigQuery imposta automaticamente la scadenza predefinita della tabella per i set di dati che crei nel progetto. Puoi specificare una scadenza predefinita più breve per una tabella per un set di dati, ma non puoi specificare una scadenza predefinita più lunga.
5. Per impostare una modalità di arrotondamento predefinita, scegli la modalità di arrotondamento dall'elenco.
6. Per attivare il modello di fatturazione dello spazio di archiviazione fisico, scegli il modello di fatturazione dall'elenco.

Quando modifichi il modello di fatturazione di un set di dati, l'applicazione della modifica richiede 24 ore.

Dopo aver modificato il modello di fatturazione dello spazio di archiviazione di un set di dati, devi attendere 14 giorni prima di poterlo modificare di nuovo.

7. Per impostare la finestra di spostamento cronologico del set di dati, scegli le dimensioni della finestra dall'elenco.
5. Fai clic su Crea set di dati.

SQL

Utilizza l'istruzione CREATE SCHEMA.

Per creare un set di dati in un progetto diverso da quello predefinito, aggiungi l'ID progetto all'ID set di dati nel seguente formato: PROJECT_ID.DATASET_ID.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, inserisci la seguente istruzione:

   CREATE SCHEMA PROJECT_ID.DATASET_ID
     OPTIONS (
       default_kms_key_name = 'KMS_KEY_NAME',
       default_partition_expiration_days = PARTITION_EXPIRATION,
       default_table_expiration_days = TABLE_EXPIRATION,
       description = 'DESCRIPTION',
       labels = [('KEY_1','VALUE_1'),('KEY_2','VALUE_2')],
       location = 'LOCATION',
       max_time_travel_hours = HOURS,
       storage_billing_model = BILLING_MODEL);

   Sostituisci quanto segue:

   • PROJECT_ID: il tuo ID progetto
   • DATASET_ID: l'ID del set di dati che stai creando
   • KMS_KEY_NAME: il nome della chiave Cloud Key Management Service predefinita utilizzata per proteggere le tabelle appena create in questo set di dati, a meno che non venga fornita una chiave diversa al momento della creazione. Non puoi creare una tabella criptata da Google in un set di dati con questo parametro impostato.
   • PARTITION_EXPIRATION: la durata predefinita (in giorni) per le partizioni nelle tabelle partizionate appena create. La scadenza predefinita della partizione non ha un valore minimo. La data di scadenza corrisponde alla data della partizione più il valore intero. Qualsiasi partizione creata in una tabella partizionata nel set di dati viene eliminata PARTITION_EXPIRATION giorni dopo la data della partizione. Se fornisci l'opzione time_partitioning_expiration quando crei o aggiorni una tabella partizionata, la scadenza della partizione a livello di tabella ha la precedenza sulla scadenza della partizione predefinita a livello di set di dati.
   • TABLE_EXPIRATION: la durata predefinita (in giorni) per le tabelle appena create. Il valore minimo è 0,042 giorni (un'ora). La scadenza corrisponde all'ora corrente più il valore intero. Qualsiasi tabella creata nel set di dati viene eliminata TABLE_EXPIRATION giorni dopo la data di creazione. Questo valore viene applicato se non imposti una scadenza della tabella quando crei la tabella.
   • DESCRIPTION: una descrizione del set di dati
   • KEY_1:VALUE_1: la coppia chiave-valore che vuoi impostare come prima etichetta di questo set di dati
   • KEY_2:VALUE_2: la coppia chiave-valore che vuoi impostare come seconda etichetta
   • LOCATION: la località del set di dati. Dopo aver creato un set di dati, la località non può essere modificata.
   • HOURS: la durata in ore della finestra di spostamento cronologico del nuovo set di dati. Il valore HOURS deve essere un numero intero espresso in multipli di 24 (48, 72, 96, 120, 144, 168) compreso tra 48 (2 giorni) e 168 (7 giorni). 168 ore è il valore predefinito se questa opzione non è specificata.
   • BILLING_MODEL: imposta il modello di fatturazione dello spazio di archiviazione per il set di dati. Imposta il valore BILLING_MODEL su PHYSICAL per utilizzare i byte fisici durante il calcolo dei costi di archiviazione o su LOGICAL per utilizzare i byte logici. LOGICAL è il valore predefinito.

     Quando modifichi il modello di fatturazione di un set di dati, l'applicazione della modifica richiede 24 ore.

     Dopo aver modificato il modello di fatturazione dello spazio di archiviazione di un set di dati, devi attendere 14 giorni prima di poterlo modificare di nuovo.

3. Fai clic su Esegui.

Per saperne di più su come eseguire le query, consulta Esegui una query interattiva.

bq

Per creare un nuovo set di dati, utilizza il comando bq mk con il flag --location. Per un elenco completo dei possibili parametri, consulta il riferimento al comando bq mk --dataset.

Per creare un set di dati in un progetto diverso da quello predefinito, aggiungi l'ID progetto al nome del set di dati nel seguente formato: PROJECT_ID:DATASET_ID.

bq --location=LOCATION mk \
    --dataset \
    --default_kms_key=KMS_KEY_NAME \
    --default_partition_expiration=PARTITION_EXPIRATION \
    --default_table_expiration=TABLE_EXPIRATION \
    --description="DESCRIPTION" \
    --label=KEY_1:VALUE_1 \
    --label=KEY_2:VALUE_2 \
    --add_tags=KEY_3:VALUE_3[,...] \
    --max_time_travel_hours=HOURS \
    --storage_billing_model=BILLING_MODEL \
    PROJECT_ID:DATASET_ID

Sostituisci quanto segue:

• LOCATION: la località del set di dati. Dopo aver creato un set di dati, la località non può essere modificata. Puoi impostare un valore predefinito per la posizione utilizzando il file .bigqueryrc.
• KMS_KEY_NAME: il nome della chiave Cloud Key Management Service predefinita utilizzata per proteggere le tabelle appena create in questo set di dati, a meno che non venga fornita una chiave diversa al momento della creazione. Non puoi creare una tabella criptata da Google in un set di dati con questo parametro impostato.
• PARTITION_EXPIRATION: la durata predefinita (in secondi) per le partizioni nelle tabelle partizionate appena create. La scadenza predefinita della partizione non ha un valore minimo. La data di scadenza corrisponde alla data della partizione più il valore intero. Qualsiasi partizione creata in una tabella partizionata nel set di dati viene eliminata PARTITION_EXPIRATION secondi dopo la data della partizione. Se fornisci il flag --time_partitioning_expiration quando crei o aggiorni una tabella partizionata, la scadenza della partizione a livello di tabella ha la precedenza sulla scadenza della partizione predefinita a livello di set di dati.
• TABLE_EXPIRATION: la durata predefinita (in secondi) per le tabelle appena create. Il valore minimo è 3600 secondi (un'ora). La scadenza corrisponde all'ora corrente più il valore intero. Qualsiasi tabella creata nel set di dati viene eliminata TABLE_EXPIRATION secondi dopo l'ora di creazione. Questo valore viene applicato se non imposti una scadenza della tabella quando crei la tabella.
• DESCRIPTION: una descrizione del set di dati
• KEY_1:VALUE_1: la coppia chiave-valore che vuoi impostare come prima etichetta di questo set di dati e KEY_2:VALUE_2 è la coppia chiave-valore che vuoi impostare come seconda etichetta.
• KEY_3:VALUE_3: la coppia chiave-valore che vuoi impostare come tag sul set di dati. Aggiungi più tag sotto lo stesso flag con virgole tra le coppie chiave:valore.
• HOURS: la durata in ore della finestra di viaggio nel tempo per il nuovo set di dati. Il valore di HOURS deve essere un numero intero espresso in multipli di 24 (48, 72, 96, 120, 144, 168) compreso tra 48 (2 giorni) e 168 (7 giorni). Se questa opzione non viene specificata, il valore predefinito è 168 ore.

• BILLING_MODEL: imposta il modello di fatturazione dello spazio di archiviazione per il set di dati. Imposta il valore BILLING_MODEL su PHYSICAL per utilizzare i byte fisici durante il calcolo dei costi di archiviazione o su LOGICAL per utilizzare i byte logici. LOGICAL è il valore predefinito.

  Quando modifichi il modello di fatturazione di un set di dati, l'applicazione della modifica richiede 24 ore.

  Dopo aver modificato il modello di fatturazione dello spazio di archiviazione di un set di dati, devi attendere 14 giorni prima di poterlo modificare di nuovo.

• PROJECT_ID: il tuo ID progetto.

• DATASET_ID è l'ID del set di dati che stai creando.

Ad esempio, il seguente comando crea un set di dati denominato mydataset con la posizione dei dati impostata su US, una scadenza predefinita della tabella di 3600 secondi (1 ora) e una descrizione di This is my dataset. Anziché utilizzare il flag --dataset, il comando utilizza la scorciatoia -d. Se ometti -d e --dataset, il comando crea un set di dati per impostazione predefinita.

bq --location=US mk -d \
    --default_table_expiration 3600 \
    --description "This is my dataset." \
    mydataset

Per confermare che il set di dati sia stato creato, inserisci il comando bq ls. Inoltre, puoi creare una tabella quando crei un nuovo set di dati utilizzando il seguente formato: bq mk -t dataset.table. Per saperne di più sulla creazione di tabelle, consulta Creazione di una tabella.

Terraform

Utilizza la risorsa google_bigquery_dataset.

Nota: devi abilitare l'API Cloud Resource Manager per utilizzare Terraform per creare oggetti BigQuery.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

Crea un set di dati

L'esempio seguente crea un set di dati denominato mydataset:

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
}

Quando crei un set di dati utilizzando la risorsa google_bigquery_dataset, concedi automaticamente l'accesso al set di dati a tutti gli account che sono membri dei ruoli di base a livello di progetto. Se esegui il comando terraform show dopo aver creato il set di dati, il blocco access per il set di dati è simile al seguente:

Per concedere l'accesso al set di dati, ti consigliamo di utilizzare una delle risorse google_bigquery_iam, come mostrato nell'esempio seguente, a meno che tu non preveda di creare oggetti autorizzati, ad esempio viste autorizzate, all'interno del set di dati. In questo caso, utilizza la risorsa google_bigquery_dataset_access. Per alcuni esempi, consulta la documentazione.

Creare un set di dati e concedere l'accesso

L'esempio seguente crea un set di dati denominato mydataset, quindi utilizza la risorsa google_bigquery_dataset_iam_policy per concedere l'accesso.

Nota: non utilizzare questo approccio se vuoi utilizzare oggetti autorizzati, come le visualizzazioni autorizzate, con questo set di dati. In questo caso, utilizza la risorsa google_bigquery_dataset_access. Per alcuni esempi, vedi google_bigquery_dataset_access.

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
}

# Update the user, group, or service account
# provided by the members argument with the
# appropriate principals for your organization.
data "google_iam_policy" "default" {
  binding {
    role = "roles/bigquery.dataOwner"
    members = [
      "user:[e-mail]",
    ]
  }
  binding {
    role = "roles/bigquery.admin"
    members = [
      "user:[e-mail]",
    ]
  }
  binding {
    role = "roles/bigquery.user"
    members = [
      "group:[e-mail]",
    ]
  }
  binding {
    role = "roles/bigquery.dataViewer"
    members = [
      "serviceAccount:[e-mail]",
    ]
  }
}

resource "google_bigquery_dataset_iam_policy" "default" {
  dataset_id  = google_bigquery_dataset.default.dataset_id
  policy_data = data.google_iam_policy.default.policy_data
}

Crea un set di dati con una chiave di crittografia gestita dal cliente

L'esempio seguente crea un set di dati denominato mydataset e utilizza anche le risorse google_kms_crypto_key e google_kms_key_ring per specificare una chiave Cloud Key Management Service per il set di dati. Devi abilitare l'API Cloud Key Management Service prima di eseguire questo esempio.

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  default_encryption_configuration {
    kms_key_name = google_kms_crypto_key.crypto_key.id
  }

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
  depends_on = [google_project_iam_member.service_account_access]
}

resource "google_kms_crypto_key" "crypto_key" {
  name     = "example-key"
  key_ring = google_kms_key_ring.key_ring.id
}

resource "random_id" "default" {
  byte_length = 8
}

resource "google_kms_key_ring" "key_ring" {
  name     = "${random_id.default.hex}-example-keyring"
  location = "us"
}

# Enable the BigQuery service account to encrypt/decrypt Cloud KMS keys
data "google_project" "project" {
}

resource "google_project_iam_member" "service_account_access" {
  project = data.google_project.project.project_id
  role    = "roles/cloudkms.cryptoKeyEncrypterDecrypter"
  member  = "serviceAccount:bq-${data.google_project.project.number}@bigquery-encryption.iam.gserviceaccount.com"
}

Per applicare la configurazione Terraform in un progetto Google Cloud , completa i passaggi descritti nelle sezioni seguenti.

Prepara Cloud Shell

1. Avvia Cloud Shell.

2. Imposta il progetto Google Cloud predefinito in cui vuoi applicare le configurazioni Terraform.

   Devi eseguire questo comando una sola volta per progetto e puoi eseguirlo in qualsiasi directory.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Le variabili di ambiente vengono sostituite se imposti valori espliciti nel file di configurazione Terraform.

Prepara la directory

Ogni file di configurazione Terraform deve avere la propria directory (chiamata anche modulo principale).

1. In Cloud Shell, crea una directory e un nuovo file al suo interno. Il nome file deve avere l'estensione .tf, ad esempio main.tf. In questo tutorial, il file è denominato main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Se stai seguendo un tutorial, puoi copiare il codice campione in ogni sezione o passaggio.

   Copia il codice campione nel file main.tf appena creato.

   Facoltativamente, copia il codice da GitHub. Questa opzione è consigliata quando lo snippet Terraform fa parte di una soluzione end-to-end.

3. Esamina e modifica i parametri di esempio da applicare al tuo ambiente.
4. Salva le modifiche.
5. Inizializza Terraform. Devi eseguire questa operazione una sola volta per directory.

   terraform init

   (Facoltativo) Per utilizzare l'ultima versione del provider Google, includi l'opzione -upgrade:

   terraform init -upgrade

Applica le modifiche

1. Esamina la configurazione e verifica che le risorse che Terraform creerà o aggiornerà corrispondano alle tue aspettative:

   terraform plan

   Apporta le correzioni necessarie alla configurazione.

2. Applica la configurazione Terraform eseguendo il comando seguente e inserendo yes al prompt:

   terraform apply

   Attendi che Terraform visualizzi il messaggio "Apply complete!".

3. Apri il tuo progetto Google Cloud per visualizzare i risultati. Nella console Google Cloud , vai alle risorse nell'interfaccia utente per assicurarti che Terraform le abbia create o aggiornate.

Nota: gli esempi di Terraform in genere presuppongono che le API richieste siano attive nel tuo progetto Google Cloud .

API

Chiama il metodo datasets.insert con una risorsa dataset definita.

C#

Prima di provare questo esempio, segui le istruzioni di configurazione di C# nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery C#.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;

public class BigQueryCreateDataset
{
    public BigQueryDataset CreateDataset(
        string projectId = "your-project-id",
        string location = "US"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var dataset = new Dataset
        {
            // Specify the geographic location where the dataset should reside.
            Location = location
        };
        // Create the dataset
        return client.CreateDataset(
            datasetId: "your_new_dataset_id", dataset);
    }
}

Vai

Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Go.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// createDataset demonstrates creation of a new dataset using an explicit destination location.
func createDataset(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta := &bigquery.DatasetMetadata{
		Location: "US", // See https://cloud.google.com/bigquery/docs/locations
	}
	if err := client.Dataset(datasetID).Create(ctx, meta); err != nil {
		return err
	}
	return nil
}

Java

Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetInfo;

public class CreateDataset {

  public static void runCreateDataset() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    createDataset(datasetName);
  }

  public static void createDataset(String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      DatasetInfo datasetInfo = DatasetInfo.newBuilder(datasetName).build();

      Dataset newDataset = bigquery.create(datasetInfo);
      String newDatasetName = newDataset.getDatasetId().getDataset();
      System.out.println(newDatasetName + " created successfully");
    } catch (BigQueryException e) {
      System.out.println("Dataset was not created. \n" + e.toString());
    }
  }
}

Node.js

Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Node.js.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function createDataset() {
  // Creates a new dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_new_dataset";

  // Specify the geographic location where the dataset should reside
  const options = {
    location: 'US',
  };

  // Create a new dataset
  const [dataset] = await bigquery.createDataset(datasetId, options);
  console.log(`Dataset ${dataset.id} created.`);
}
createDataset();

PHP

Prima di provare questo esempio, segui le istruzioni di configurazione di PHP nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery PHP.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->createDataset($datasetId);
printf('Created dataset %s' . PHP_EOL, $datasetId);

Python

Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to create.
# dataset_id = "{}.your_dataset".format(client.project)

# Construct a full Dataset object to send to the API.
dataset = bigquery.Dataset(dataset_id)

# TODO(developer): Specify the geographic location where the dataset should reside.
dataset.location = "US"

# Send the dataset to the API for creation, with an explicit timeout.
# Raises google.api_core.exceptions.Conflict if the Dataset already
# exists within the project.
dataset = client.create_dataset(dataset, timeout=30)  # Make an API request.
print("Created dataset {}.{}".format(client.project, dataset.dataset_id))

Ruby

Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Ruby.

Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura l'autenticazione per le librerie client.

require "google/cloud/bigquery"

def create_dataset dataset_id = "my_dataset", location = "US"
  bigquery = Google::Cloud::Bigquery.new

  # Create the dataset in a specified geographic location
  bigquery.create_dataset dataset_id, location: location

  puts "Created dataset: #{dataset_id}"
end

Assegnare un nome ai set di dati

Quando crei un set di dati in BigQuery, il nome del set di dati deve essere univoco per ogni progetto. Il nome del set di dati può contenere:

• Fino a 1024 caratteri.
• Lettere (maiuscole o minuscole), numeri e trattini bassi.

Per impostazione predefinita, i nomi dei set di dati sono sensibili alle maiuscole. mydataset e MyDataset possono coesistere nello stesso progetto, a meno che uno dei due non abbia la sensibilità alle maiuscole disattivata. Per esempi, consulta Creazione di un set di dati senza distinzione tra maiuscole e minuscole e Risorsa: set di dati.

I nomi dei set di dati non possono contenere spazi o caratteri speciali come -, &, @ o %.

Set di dati nascosti

Un set di dati nascosto è un set di dati il cui nome inizia con un trattino basso. Puoi eseguire query su tabelle e viste nei set di dati nascosti nello stesso modo in cui faresti in qualsiasi altro set di dati. I set di dati nascosti presentano le seguenti limitazioni:

• Sono nascosti nel riquadro Explorer della console Google Cloud .
• Non vengono visualizzati in nessuna vista INFORMATION_SCHEMA.
• Non possono essere utilizzati con i set di dati collegati.
• Non possono essere utilizzati come set di dati di origine con le seguenti risorse autorizzate:
  • Set di dati autorizzati
  • Routine autorizzate
  • Visualizzazioni autorizzate
• Non vengono visualizzati in Knowledge Catalog.
• Non possono essere utilizzati come set di dati di origine per la creazione di una replica del set di dati

Sicurezza del set di dati

Per controllare l'accesso ai set di dati in BigQuery, consulta Controllo dell'accesso ai set di dati. Per informazioni sulla crittografia dei dati, consulta Crittografia at-rest.

Passaggi successivi

• Per saperne di più su come elencare i set di dati in un progetto, consulta Elenca i set di dati.
• Per saperne di più sui metadati dei set di dati, consulta Recupero di informazioni sui set di dati.
• Per saperne di più sulla modifica delle proprietà del set di dati, vedi Aggiornamento dei set di dati.
• Per saperne di più sulla creazione e sulla gestione delle etichette, consulta Creazione e gestione delle etichette.

Provalo

Se non conosci Google Cloud, crea un account per valutare le prestazioni di BigQuery in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

Prova BigQuery senza costi