Provare BigQuery DataFrames

BigQuery DataFrames porta l'analisi Python scalabile e il machine learning (ML) in BigQuery. I calcoli vengono eseguiti in BigQuery con l'elaborazione lato server, il che ti consente di analizzare e modellare set di dati di grandi dimensioni senza essere vincolato dalla memoria locale o del notebook. Puoi utilizzare una sintassi simile a pandas (bigframes.pandas) e BigQuery ML (bigframes.bigquery) senza scrivere SQL.

Utilizza questa guida rapida per eseguire le seguenti attività di analisi e ML utilizzando l' API BigQuery DataFrames in un notebook BigQuery:

• Crea un DataFrame sul set di dati pubblici bigquery-public-data.ml_datasets.penguins.
• Calcola la massa corporea media di un pinguino.
• Pulisci e prepara un sottoinsieme dei dati dei pinguini per l'addestramento.
• Addestra un modello di regressione lineare utilizzando bigframes.bigquery.ml.create_model.
• Valuta il modello utilizzando bigframes.bigquery.ml.evaluate.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Verifica che la fatturazione sia attivata per il tuo Google Cloud progetto.

2. Verifica che l'API BigQuery sia attivata.

   Abilita l'API

   Se hai creato un nuovo progetto, l'API BigQuery viene abilitata automaticamente abilitata.

Autorizzazioni obbligatorie

Per creare ed eseguire notebook, devi disporre dei seguenti ruoli Identity and Access Management (IAM):

• Utente BigQuery (roles/bigquery.user)
• Utente runtime notebook (roles/aiplatform.notebookRuntimeUser)
• Creatore di codice (roles/dataform.codeCreator)

Crea un notebook

Segui le istruzioni riportate in Creare un notebook dall'editor BigQuery per creare un nuovo notebook.

Provare BigQuery DataFrames

Prova BigQuery DataFrames seguendo questi passaggi:

1. Crea una nuova cella di codice nel notebook.

2. Aggiungi il seguente codice alla cella di codice:

   import bigframes.pandas as bpd
   
   # Set BigQuery DataFrames options
   # Note: The project option is not required in all environments.
   # On BigQuery Studio, the project ID is automatically detected.
   bpd.options.bigquery.project = your_gcp_project_id
   
   # Use "partial" ordering mode to generate more efficient queries, but the
   # order of the rows in DataFrames may not be deterministic if you have not
   # explictly sorted it. Some operations that depend on the order, such as
   # head() will not function until you explictly order the DataFrame. Set the
   # ordering mode to "strict" (default) for more pandas compatibility.
   bpd.options.bigquery.ordering_mode = "partial"
   
   # Create a DataFrame from a BigQuery table
   query_or_table = "bigquery-public-data.ml_datasets.penguins"
   df = bpd.read_gbq(query_or_table)
   
   # Efficiently preview the results using the .peek() method.
   df.peek()
   

3. Modifica la bpd.options.bigquery.project = your_gcp_project_id riga per specificare il tuo Google Cloud ID progetto. Ad esempio, bpd.options.bigquery.project = "myProjectID".

4. Esegui la cella di codice.

   Il codice restituisce un oggetto DataFrame con i dati sui pinguini.

5. Crea una nuova cella di codice nel notebook e aggiungi il seguente codice:

   # Use the DataFrame just as you would a pandas DataFrame, but calculations
   # happen in the BigQuery query engine instead of the local system.
   average_body_mass = df["body_mass_g"].mean()
   print(f"average_body_mass: {average_body_mass}")
   

6. Esegui la cella di codice.

   Il codice calcola la massa corporea media dei pinguini e la stampa nella Google Cloud console.

7. Crea una nuova cella di codice nel notebook e aggiungi il seguente codice:

   import bigframes.bigquery as bbq
   from google.cloud import bigquery
   
   # Ensure a dataset exists to store the model
   client = bigquery.Client(project=bpd.options.bigquery.project)
   client.create_dataset("bq_quickstart", exists_ok=True)
   
   # Filter down to the Adelie Penguin species
   adelie_data = df[df.species == "Adelie Penguin (Pygoscelis adeliae)"]
   
   # Drop the columns that are not needed
   adelie_data = adelie_data.drop(columns=["species"])
   
   # Drop rows with nulls to get the training data
   training_data = adelie_data.dropna()
   
   # Train a linear regression model
   model_name = f"{bpd.options.bigquery.project}.bq_quickstart.penguin_weight"
   model_metadata = bbq.ml.create_model(
       model_name,
       replace=True,
       options={"model_type": "LINEAR_REG"},
       training_data=training_data.rename(columns={"body_mass_g": "label"}),
   )
   
   # Evaluate the model
   evaluation = bbq.ml.evaluate(model_name)
   print(evaluation)
   

8. Esegui la cella di codice.

   Il codice addestra il modello di regressione lineare direttamente in BigQuery e restituisce le metriche di valutazione del modello.

Libera spazio

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

• Continua a scoprire BigQuery DataFrames.
• Scopri come visualizzare i grafici utilizzando BigQuery DataFrames.
• Scopri come utilizzare un notebook BigQuery DataFrames.