Interaktive Sitzungen und Sitzungsvorlagen erstellen

Auf dieser Seite erfahren Sie, wie Sie interaktive Sitzungen und Sitzungsvorlagen für Managed Service for Apache Spark erstellen. Mit einer Sitzungsvorlage können Sie mehrere interaktive Sitzungen basierend auf der Konfiguration der Sitzungsvorlage erstellen.

Hinweis: Interaktive Sitzungen für Managed Service for Apache Spark sind mit interaktiven Notebooks verknüpft. Ein Beispiel für die Verwendung von Sitzungen mit Jupyter-Notebooks finden Sie unter JupyterLab-Plug-in für Managed Service for Apache Spark für serverlose Batch- und interaktive Notebook-Sitzungen verwenden. Beispiele für die Verwendung von Sitzungen in BigQuery Studio Notebooks finden Sie unter PySpark-Code in BigQuery Studio-Notebooks ausführen.

Interaktive Sitzung erstellen

Sie können die Google Cloud CLI oder die Managed Service for Apache Spark API verwenden, um eine interaktive Sitzung für Managed Service for Apache Spark zu erstellen.

gcloud

Mit dem gcloud beta dataproc sessions create command SESSION_NAME können Sie eine interaktive Sitzung für Managed Service for Apache Spark erstellen.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ersetzen oder fügen Sie Folgendes hinzu:

• SESSION_ID: Erforderlich. Eine ID für die Sitzung.

• REGION: Erforderlich. Eine verfügbare Region , in der sich die Sitzung befinden soll.

• --version: Optional. Eine unterstützte Spark-Laufzeitversion. Wenn Sie mit diesem Flag keine Version angeben, wird die aktuelle Standard-Spark-Laufzeitversion verwendet.

• --container-image: Optional. Ein benutzerdefiniertes Container-Image das für die Sitzung verwendet werden soll.

• --property: Optional. Eine oder mehrere Spark-Attribute, kommagetrennt für die Sitzung.

• --service-account: Optional. Das Dienstkonto , das für die Sitzung verwendet werden soll. Wenn keine Angabe erfolgt, wird das Compute Engine-Standarddienstkonto verwendet.

• --subnet: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn keine Angabe erfolgt, verwendet Managed Service for Apache Spark das default-Subnetz in der Sitzungsregion. Managed Service for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.

REST

Mit der Managed Service for Apache Spark sessions.create API können Sie eine interaktive Sitzung für Managed Service for Apache Spark erstellen.

Hinweise:

• name: Erforderlich. Sitzungsname.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für die Sitzung. Wenn Sie keine Version angeben, wird die aktuelle Standardversion verwendet.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image das für die Sitzung verwendet werden soll.

• properties: Optional. Eine Zuordnung von Namen von Sitzungseigenschaften zu Werten. Informationen dazu finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Das Dienstkonto , das zum Ausführen der Sitzung verwendet werden soll. Wenn keine Angabe erfolgt, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn keine Angabe erfolgt, verwendet Managed Service for Apache Spark das default-Subnetz in der Sitzungsregion. Managed Service for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.

Sitzungsvorlage erstellen

Eine Sitzungsvorlage für Managed Service for Apache Spark definiert die Konfigurationseinstellungen zum Erstellen einer oder mehrerer interaktiver Sitzungen für Managed Service for Apache Spark. Sie können die Google Cloud Konsole, die gcloud CLI oder die Managed Service for Apache Spark API verwenden, um eine Sitzungsvorlage für Managed Service for Apache Spark für eine Jupyter oder Spark Connect Sitzung zu erstellen.

Hinweis: Sie können in einem BigQuery Studio-Notebook eine Sitzung aus einer Sitzungsvorlage für Managed Service for Apache Spark erstellen. In diesem Abschnitt wird erläutert, wie Sie die Vorlage konfigurieren, um sie in einem BigQuery Studio-Notebook zu verwenden.

Console

So erstellen Sie mit der Google Cloud console eine Sitzungsvorlage für Managed Service for Apache Spark:

1. Rufen Sie in der Google Cloud console die Seite Sitzungsvorlagen auf.

   Sitzungsvorlagen aufrufen

   1. Klicken Sie auf Erstellen.

2. Geben Sie auf der Seite Sitzungsvorlage erstellen die Konfigurationseinstellungen für die Vorlage ein oder bestätigen Sie sie. Wichtige Hinweise:

   • Vorlagenlaufzeit-ID:Erforderlich. Übernehmen Sie die Standard-ID (Name) oder geben Sie einen Namen für die Vorlagenlaufzeit an.
   • Region: Erforderlich. Übernehmen Sie die Standardregion oder geben Sie eine verfügbare Region für Vorlagensitzungen an.
   • Laufzeitversion:Optional. Auswählbare Sitzungslaufzeiten entsprechen den Laufzeitversionen von Managed Service for Apache Spark.
     • Anforderung für BigQuery Studio-Notebook-Sitzungen:Wenn Sie eine Vorlage für Spark Connect-Sitzungen in BigQuery Studio-Notebooks erstellen, muss sie die Spark-Laufzeitversion 2.3 oder höher verwenden.
   • Volagenkonfigurationstyp:Erforderlich. Wählen Sie einen Typ aus. Wenn Sie Jupyter auswählen, geben Sie den Anzeigenamen an und wählen Sie den Jupyter-Kerneltyp aus. Weitere Informationen finden Sie unter Jupyter-Notebook in Managed Service for Apache Spark starten.
     • Anforderung für BigQuery Studio-Notebook-Sitzungen Für BigQuery Studio-Notebook-Sitzungen muss Spark Connect als Konfigurationstyp für die Vorlage angegeben werden.
   • Dienstkonto:Optional. Das Dienstkonto, das zum Ausführen von Vorlagensitzungen verwendet werden soll. Wenn keine Angabe erfolgt, wird das Compute Engine-Standarddienstkonto verwendet.
   • Benutzerdefiniertes Container-Image:Optional. Ein benutzerdefiniertes Container-Image das für die Vorlagensitzungen verwendet werden soll.
   • Attribute:Optional. Klicken Sie für jedes Attribut, das Sie für die Vorlagensitzungen festlegen möchten, auf Element hinzufügen. Weitere Informationen finden Sie unter Spark-Attribute.
   • Netzwerkkonfiguration : * Erforderlich. Wählen Sie ein Subnetz in der Sitzungsregion aus. Managed Service for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das angegebene Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.

3. Klicken Sie auf Senden , um die Sitzungsvorlage zu erstellen.

gcloud

Sie können mit der gcloud CLI keine Sitzungsvorlage für Managed Service for Apache Spark direkt erstellen. Sie können aber mit dem Befehl gcloud beta dataproc session-templates import eine vorhandene Sitzungsvorlage importieren. Sie können die importierte Vorlage bearbeiten und dann mit dem Befehl gcloud beta dataproc session-templates export exportieren.

REST

Mit der Managed Service for Apache Spark sessionTemplates.create API können Sie eine Sitzungsvorlage für Managed Service for Apache Spark erstellen.

Hinweise:

• name: Erforderlich. Name der Sitzungsvorlage.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für die Vorlagensitzungen. Wenn Sie keine Version angeben, wird die Standardversion verwendet.

  • Anforderung für BigQuery Studio-Notebook-Sitzungen:Wenn Sie eine Vorlage für Spark Connect-Sitzungen in BigQuery Studio-Notebooks erstellen, muss sie die Spark-Laufzeitversion 2.3 oder höher verwenden.

• sessionConfig: Geben Sie entweder jupyter_session oder spark_connect_session an. Wenn Sie jupyter_session angeben, geben Sie auch die JupyterConfig.display_name und JupyterConfig.kernel an. Weitere Informationen finden Sie unter Jupyter-Notebook in Managed Service for Apache Spark starten.

  • Anforderung für BigQuery Studio-Notebook-Sitzungen Für BigQuery Studio-Notebook-Sitzungen muss Spark Connect als Konfigurationstyp für die Vorlage angegeben werden.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image das für die Vorlagensitzungen verwendet werden soll.

• properties: Optional. Eine Zuordnung von Namen von Sitzungseigenschaften zu Werten. Informationen dazu finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Ein Dienstkonto , das zum Ausführen der Vorlagensitzungen verwendet werden soll. Wenn keine Angabe erfolgt, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn keine Angabe erfolgt, verwendet Managed Service for Apache Spark das default-Subnetz in der Sitzungsregion. Managed Service for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.