Notebooks erstellen

In diesem Dokument wird beschrieben, wie Sie Colab Enterprise-Notebooks in BigQuery erstellen. Notebooks sind BigQuery Studio-Code-Assets, die auf Dataform basieren.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Compute Engine APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Compute Engine APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

Erforderliche Berechtigungen

Legen Sie die entsprechenden Berechtigungen zum Erstellen, Bearbeiten oder Anzeigen von Notebooks fest.

Alle Nutzer mit der Rolle „Dataform-Administrator“ (roles/dataform.admin) haben Inhaberzugriff auf alle im Projekt erstellten Notebooks.

Weitere Informationen zu BigQuery Identity and Access Management (IAM) finden Sie unter Zugriffssteuerung mit IAM.

Berechtigungen zum Erstellen von Notebooks

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery Studio-Nutzer (roles/bigquery.studioUser) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Ausführen von Notebooks benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Hinweis: Nutzer, denen die Rolle „Code Creator“ in einem Projekt zugewiesen ist, können die Namen von Code-Assets in diesem Projekt über die Dataform API oder die Dataform-Befehlszeile (CLI) auflisten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die genauen Berechtigungen aufzurufen, die zum Erstellen und Ausführen von Notebooks erforderlich sind:

Erforderliche Berechtigungen

• bigquery.config.get
• bigquery.jobs.create
• bigquery.readsessions.create
• bigquery.readsessions.getData
• bigquery.readsessions.update
• resourcemanager.projects.get
• resourcemanager.projects.list
• dataform.locations.get
• dataform.locations.list
• dataform.repositories.create
• dataform.repositories.list
• dataform.collections.create
• dataform.collections.list
• aiplatform.notebookRuntimeTemplates.apply
• aiplatform.notebookRuntimeTemplates.get
• aiplatform.notebookRuntimeTemplates.list
• aiplatform.notebookRuntimeTemplates.getIamPolicy
• aiplatform.notebookRuntimes.assign
• aiplatform.notebookRuntimes.get
• aiplatform.notebookRuntimes.list
• aiplatform.operations.list

Hinweis: Wenn Sie ein Notebook erstellen, wird Ihnen in BigQuery die Rolle „Dataform Admin“ (roles/dataform.admin) für dieses Notebook zugewiesen. Alle Nutzer, die für das Google Cloud -Projekt die Rolle „Dataform-Administrator“ haben, haben Inhaberzugriff auf alle im Projekt erstellten Notebooks. Informationen zum Überschreiben dieses Verhaltens finden Sie unter Bestimmte Rolle beim Erstellen einer Ressource zuweisen.

Rollen zum Bearbeiten von Notebooks

Zum Bearbeiten und Ausführen von Notebooks benötigen Sie die folgenden IAM-Rollen:

• BigQuery-Jobnutzer (roles/bigquery.jobUser)
• BigQuery Read Session-Nutzer (roles/bigquery.readSessionUser)
• Notebook Runtime User (roles/aiplatform.notebookRuntimeUser)
• Code-Editor (roles/dataform.codeEditor)

Rollen zum Aufrufen von Notebooks

Zum Aufrufen und Ausführen von Notebooks benötigen Sie die folgenden IAM-Rollen:

• BigQuery-Jobnutzer (roles/bigquery.jobUser)
• BigQuery Read Session-Nutzer (roles/bigquery.readSessionUser)
• Notebook Runtime User (roles/aiplatform.notebookRuntimeUser)
• Code-Betrachter (roles/dataform.codeViewer)

Sicherheitsaspekte für Notebooks

Da Code-Assets in BigQuery auf Dataform basieren, sollten Sie die folgenden Sicherheitsaspekte für Nutzer mit Zugriff auf diese Assets berücksichtigen:

• Die Sichtbarkeit von Code-Assets unterliegt Dataform-Berechtigungen auf Projektebene. Nutzer mit der Berechtigung dataform.repositories.list, die in BigQuery-Standardrollen wie BigQuery Job User, BigQuery Studio User und BigQuery User enthalten ist, können alle Code-Assets im Bereich Explorer des Projekts Google Cloud sehen, unabhängig davon, ob sie diese Assets erstellt haben oder ob diese Assets für sie freigegeben wurden. Wenn Sie die Sichtbarkeit einschränken möchten, können Sie benutzerdefinierte Rollen erstellen, die die Berechtigung dataform.repositories.list ausschließen.
• Auf alle Secrets, die für den Dataform-Dienst-Agent freigegeben werden, können potenziell Nutzer zugreifen, die diese Assets bearbeiten können. Um Ihre Anmeldedaten zu schützen, sollten Sie den Erstellungs- und Bearbeitungszugriff auf vertrauenswürdige Nutzer beschränken und die Secrets, auf die der Dataform-Dienst-Agent zugreifen kann, einschränken. Weitere Informationen finden Sie unter Zugriff auf Secrets während der Paketinstallation.

Weitere Informationen finden Sie unter Sicherheitsaspekte für Dataform-Berechtigungen.

Notebooks erstellen

In den folgenden Abschnitten erfahren Sie, wie Sie ein Notebook erstellen.

Standardregion für Code-Assets festlegen

Alle neuen Code-Assets in Ihrem Google Cloud -Projekt verwenden eine Standardregion. Nachdem das Asset erstellt wurde, können Sie seine Region nicht mehr ändern.

Wichtig: Wenn Sie die Region beim Erstellen eines Code-Assets ändern, wird diese Region zur Standardregion für alle nachfolgenden Code-Assets. Vorhandene Code-Assets sind davon nicht betroffen.

So legen Sie die Standardregion für neue Code-Assets fest:

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Dateien, um den Dateibrowser zu öffnen:

   

3. Klicken Sie neben dem Projektnamen auf Aktionen im Dateibereich ansehen > Coderegion wechseln.

4. Wählen Sie die Coderegion aus, die Sie als Standard verwenden möchten.

5. Klicken Sie auf Speichern.

Eine Liste der unterstützten Regionen finden Sie unter BigQuery Studio-Standorte.

Notebook über die Notebook-Galerie erstellen

Die Notebook-Galerie in der Google Cloud Console für BigQuery ist Ihr zentraler Hub zum Suchen und Verwenden vordefinierter Notebook-Vorlagen.

So erstellen Sie ein Notebook aus einer Vorlage in der Notebook-Galerie:

1. Wechseln Sie in der Google Cloud Console zu BigQuery Studio.

   Zu BigQuery Studio

2. Klicken Sie zum Öffnen der Galerie in der Tableiste des Editorbereichs auf den Pfeil neben SQL-Abfrage und dann auf Notebook > Alle Vorlagen.

3. Wählen Sie in der Notebook-Galerie eine Vorlage aus. Sie können beispielsweise Erste Schritte mit BigQuery DataFrames auswählen.

   Das neue Notebook wird geöffnet und enthält Zellen, die Beispielabfragen für das öffentliche Dataset bigquery-public-data.ml_datasets.penguins zeigen.

4. Alternativ können Sie auf den Pfeil neben SQL-Abfrage klicken und dann auf Notebook > Leeres Notebook, Notebook > BigQuery-Vorlage oder Notebook > Spark-Vorlage, um diese spezifischen Vorlagen zu öffnen.

5. Klicken Sie auf Diese Vorlage verwenden, um ein ausführbares Notebook aus der Vorlage zu erstellen.

6. Optional: Wenn Sie Notebook-Details oder den Versionsverlauf aufrufen, neue Kommentare hinzufügen, auf einen vorhandenen Kommentar antworten oder einen Link zu einem vorhandenen Kommentar abrufen möchten, verwenden Sie die folgende Symbolleiste:

   

   Die Symbolleistenfunktion Kommentare befindet sich in der Vorschau. Wenn Sie Feedback geben oder Support für dieses Feature anfordern möchten, senden Sie eine E-Mail an [e-mail].

7. Optional: In der Symbolleiste Kommentare können Sie im Bereich Referenz eine Vorschau der Schemadetails von Tabellen, Snapshots, Ansichten oder materialisierten Ansichten aufrufen oder sie in einem neuen Tab öffnen. Das Steuerfeld enthält auch eine Liste der zuletzt verwendeten und markierten Ressourcen.

Notebook aus einer Tabelle erstellen

So erstellen Sie ein Notebook, das eine Standardabfrage für eine bestimmte Tabelle enthält:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Datasets und dann auf Ihr Dataset.

4. Klicken Sie auf Übersicht > Tabellen und suchen Sie die Tabelle, die Sie abfragen möchten.

5. Klicken Sie neben der Tabelle auf Aktionen und dann auf Öffnen in > Python-Notebook.

   Das neue Notebook wird geöffnet, das Zellen enthält, die Beispielabfragen für die ausgewählte Tabelle enthalten.

Ein Notebook erstellen, um die Ergebnismenge einer Abfrage zu untersuchen

So erstellen Sie ein Notebook, um die Ergebnismenge einer Abfrage zu untersuchen:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Führen Sie im Editorbereich eine Abfrage aus, die ein Abfrageergebnis generiert.

3. Klicken Sie im Bereich Abfrageergebnisse auf Öffnen in > Notebook.

   Das neue Notebook wird geöffnet. Es enthält Zellen mit Code, um das Abfrage-SQL und die Abfrageergebnisse zurückzugeben.

Notebook aus einem vorhandenen Notebook erstellen

So öffnen Sie eine beliebige Version eines vorhandenen Notebooks als neues Notebook:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Notebooks.

4. Wählen Sie ein Notebook aus.

5. Klicken Sie auf Versionsverlauf.

6. Klicken Sie neben einer Notebookversion auf Aktionen ansehen und dann auf Als neues Python-Notebook öffnen.

   Eine Kopie des Notebooks wird als neues Notebook geöffnet.

Notebooks hochladen

Sie können ein lokales Notebook hochladen, um es in BigQuery Studio zu verwenden. Das hochgeladene Notebook ist dann auch auf der BigQuery-Seite der Google Cloud Console sichtbar.

So aktualisieren Sie ein Notebook:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und führen Sie dann einen der folgenden Schritte aus:

   • Klicken Sie neben Notebooks auf Aktionen ansehen > Notebook hochladen.
   • Klicken Sie neben dem Projektnamen von Google Cloud auf Aktionen ansehen > In Projekt hochladen > Notebook.

4. Klicken Sie im Dialogfeld Notebook hochladen im Feld Notebook auf Durchsuchen und wählen Sie das Notebook aus, das Sie hochladen möchten.

5. Optional: Bearbeiten Sie im Feld Notebookname den Namen des Notebooks.

6. Wählen Sie im Feld Region die Region aus, in die Sie Ihr Notebook hochladen möchten.

7. Klicken Sie auf Hochladen.

Sie können über den Bereich Explorer auf Ihr Notebook zugreifen.

Mit einer Laufzeit verbinden

In den folgenden Abschnitten erfahren Sie, wie Sie ein Notebook mit einer Gemini Enterprise Agent Platform-Laufzeit verbinden. Eine Laufzeit ist eine Computing-Ressource, die den Code in Ihrem Notebook ausführt. Die Laufzeit muss sich in derselben Region wie Ihr Notebook befinden.

Weitere Informationen zu Laufzeiten finden Sie unter Laufzeiten und Laufzeitvorlagen.

Hinweis: Wenn Sie VPC Service Controls verwenden, müssen Sie den privaten Google-Zugriff mit VPC Service Controls konfigurieren, bevor Sie eine Verbindung zu einer Laufzeit herstellen. Andernfalls gibt der Dienst den Fehler Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found. zurück.

Verbindung zur Standardlaufzeit herstellen

Die Standardlaufzeit ist eine voreingestellte Laufzeit, die nur minimale Einrichtung erfordert.

So stellen Sie eine Verbindung zur Standardlaufzeit her:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Notebooks.

4. Klicken Sie auf den Namen eines Notebooks, um es zu öffnen.

5. Klicken Sie im Notebook auf Verbinden oder führen Sie eine beliebige Zelle im Notebook aus.

   Es kann einige Minuten dauern, bis eine Verbindung zur Standardlaufzeit hergestellt wird, wenn Sie noch keine aktive Laufzeit haben.

Verbindung zu einer nicht standardmäßigen Laufzeit herstellen

Wenn Sie eine andere Laufzeit als die Standardlaufzeit verwenden möchten, müssen Sie zuerst diese zusätzliche Laufzeit in der Agent Platform erstellen.

So stellen Sie eine Verbindung zur Nicht-Standardlaufzeit her:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Notebooks.

4. Klicken Sie auf den Namen eines Notebooks, um es zu öffnen.

5. Klicken Sie im Notebook auf das Drop-down-Menü neben Verbinden und dann auf Mit einer Laufzeit verbinden.

6. Klicken Sie auf Mit einer vorhandenen Laufzeit verbinden.

7. Wählen Sie unter Laufzeiten die zu verwendende Laufzeit aus. Die Laufzeit muss sich am selben Standort wie das Notebook befinden.

8. Klicken Sie auf Verbinden.

Mit neuer Laufzeit verbinden

So stellen Sie eine Verbindung zu einer neuen Laufzeit her:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Notebooks.

4. Klicken Sie auf den Namen eines Notebooks, um es zu öffnen.

5. Klicken Sie im Notebook auf das Drop-down-Menü neben Verbinden und dann auf Mit einer Laufzeit verbinden.

6. Klicken Sie auf Neue Laufzeit erstellen.

7. Wählen Sie unter Laufzeitvorlage die zu verwendende Agent Platform-Laufzeitvorlage aus.

8. Geben Sie unter Laufzeitname einen Namen für die Laufzeit ein.

9. Klicken Sie auf Verbinden.

Fehlerbehebung

Weitere Informationen finden Sie unter Fehlerbehebung bei Colab Enterprise.

Nächste Schritte

• Notebooks verwalten
• Notebooks planen
• Auf Notebook-Dateien in einem Git-Repository-Mount in BigQuery Studio zugreifen