Interaktive Sitzungen und Sitzungsvorlagen erstellen

Auf dieser Seite erfahren Sie, wie Sie interaktive Sitzungen und Sitzungsvorlagen für Managed Service for Apache Spark erstellen. Mit einer Sitzungsvorlage können mehrere interaktive Sitzungen auf Grundlage der Konfiguration der Sitzungsvorlage erstellt werden.

Hinweis :Interaktive Sitzungen von Managed Service for Apache Spark sind mit interaktiven Notebooks verknüpft. Ein Beispiel für die Verwendung von Sitzungen mit Jupyter-Notebooks finden Sie unter Managed Service for Apache Spark JupyterLab-Plug-in für serverlose Batch- und interaktive Notebook-Sitzungen verwenden. Beispiele für die Verwendung von Sitzungen in BigQuery Studio-Notebooks finden Sie unter PySpark-Code in BigQuery Studio-Notebooks ausführen.

Interaktive Sitzung erstellen

Sie können die Google Cloud CLI oder die Managed Service for Apache Spark API verwenden, um eine interaktive Managed Service for Apache Spark-Sitzung zu erstellen.

gcloud

Sie können gcloud beta dataproc sessions create command SESSION_NAME verwenden, um eine interaktive Managed Service for Apache Spark-Sitzung zu erstellen.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ersetzen oder fügen Sie Folgendes hinzu:

• SESSION_ID: erforderlich. Eine ID für die Sitzung.

• REGION: erforderlich. Eine verfügbare Region, in der sich Ihre Sitzung befinden soll.

• --version: Optional. Eine unterstützte Spark-Laufzeitversion. Wenn Sie mit diesem Flag keine Version angeben, wird die aktuelle Standard-Spark-Laufzeitversion verwendet.

• --container-image: Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Sitzung verwendet werden soll.

• --property: Optional. Eine oder mehrere kommagetrennte Spark-Properties für Ihre Sitzung.

• --service-account: Optional. Das Dienstkonto, das für Ihre Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• --subnet: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Managed Service for Apache Spark das default-Subnetz in der Sitzungsregion. Managed Service for Apache Spark aktiviert privaten Google-Zugriff (PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.

REST

Sie können die Managed Service for Apache Spark-API sessions.create verwenden, um eine interaktive Managed Service for Apache Spark-Sitzung zu erstellen.

Hinweise:

• name: Erforderlich. Sitzungsname.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für Ihre Sitzung. Wenn Sie keine Version angeben, wird die aktuelle Standardversion verwendet.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Sitzung verwendet werden soll.

• properties: Optional. Eine Zuordnung von Namen von Sitzungseigenschaften zu Werten. Weitere Informationen finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Das Dienstkonto, das zum Ausführen der Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Managed Service for Apache Spark das default-Subnetz in der Sitzungsregion. Managed Service for Apache Spark aktiviert privaten Google-Zugriff (PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.

Sitzungsvorlage erstellen

In einer Sitzungsvorlage für Managed Service for Apache Spark werden die Konfigurationseinstellungen zum Erstellen einer oder mehrerer interaktiver Sitzungen für Managed Service for Apache Spark definiert. Sie können die Google Cloud -Konsole, die gcloud CLI oder die Managed Service for Apache Spark API verwenden, um eine Managed Service for Apache Spark-Sitzungsvorlage für eine Jupyter- oder Spark Connect-Sitzung zu erstellen.

Hinweis :Sie können eine Sitzung in einem BigQuery Studio-Notebook aus einer Vorlage für Managed Service for Apache Spark-Sitzungen erstellen. In diesem Abschnitt wird beschrieben, wie Sie die Vorlage für die Verwendung in einem BigQuery Studio-Notebook konfigurieren.

Console

So erstellen Sie eine Managed Service for Apache Spark-Sitzungsvorlage mit der Google Cloud Console:

1. Rufen Sie in der Google Cloud Console die Seite Sitzungsvorlagen auf.

   Sitzungsvorlagen aufrufen

   1. Klicken Sie auf Erstellen.

2. Geben Sie auf der Seite Sitzungsvorlage erstellen die Konfigurationseinstellungen für die Vorlage ein oder bestätigen Sie sie. Wichtige Hinweise:

   • Vorlagenlaufzeit-ID:Erforderlich. Übernehmen Sie die Standard-ID (Name) oder geben Sie einen Namen für die Vorlagenlaufzeit an.
   • Region: Erforderlich. Übernehmen Sie die Standardregion oder geben Sie eine verfügbare Region für Vorlagensitzungen an.
   • Laufzeitversion:Optional. Auswählbare Sitzungslaufzeiten entsprechen Laufzeitversionen von Managed Service for Apache Spark.
     • Anforderung für BigQuery Studio-Notebooksitzungen:Wenn Sie eine Vorlage für Spark Connect-Sitzungen für BigQuery Studio-Notebooks erstellen, muss sie Spark-Laufzeitversion 2.3 oder höher verwenden.
   • Vorlagenkonfigurationstyp:Erforderlich. Wählen Sie einen Typ aus. Wenn Sie Jupyter auswählen, geben Sie den Anzeigenamen an und wählen Sie den Jupyter-Kerneltyp aus. Weitere Informationen finden Sie unter Jupyter-Notebook in Managed Service for Apache Spark starten.
     • Anforderung für BigQuery Studio-Notebooksitzungen:In BigQuery Studio-Notebooksitzungen muss Spark Connect als Vorlagenkonfigurationstyp angegeben werden.
   • Dienstkonto:Optional. Das Dienstkonto, das zum Ausführen von Vorlagensitzungen verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
   • Benutzerdefiniertes Container-Image:Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Vorlagensitzungen verwendet werden soll.
   • Properties (optional): Klicken Sie für jede Property, die Sie für Ihre Vorlagensitzungen festlegen möchten, auf Objekt hinzufügen. Weitere Informationen finden Sie unter Spark-Properties.
   • Netzwerkkonfiguration: * Erforderlich. Wählen Sie ein Subnetzwerk in der Sitzungsregion aus. Managed Service for Apache Spark aktiviert den privaten Google-Zugriff im angegebenen Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.

3. Klicken Sie auf Senden, um die Sitzungsvorlage zu erstellen.

gcloud

Sie können keine Vorlage für eine Managed Service for Apache Spark-Sitzung direkt mit der gcloud CLI erstellen. Sie können jedoch mit dem Befehl gcloud beta dataproc session-templates import eine vorhandene Sitzungsvorlage importieren. Sie können die importierte Vorlage bearbeiten und dann mit dem Befehl gcloud beta dataproc session-templates export exportieren.

REST

Sie können die Managed Service for Apache Spark-API sessionTemplates.create verwenden, um eine Sitzungsvorlage für Managed Service for Apache Spark zu erstellen.

Hinweise:

• name: Erforderlich. Name der Sitzungsvorlage.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für Ihre Vorlagensitzungen. Wenn Sie keine Version angeben, wird die Standardversion verwendet.

  • Anforderung für BigQuery Studio-Notebooksitzungen:Wenn Sie eine Vorlage für Spark Connect-Sitzungen für BigQuery Studio-Notebooks erstellen, muss sie Spark-Laufzeitversion 2.3 oder höher verwenden.

• sessionConfig: Geben Sie entweder jupyter_session oder spark_connect_session an. Wenn Sie jupyter_session angeben, müssen Sie auch JupyterConfig.display_name und JupyterConfig.kernel angeben. Weitere Informationen finden Sie unter Jupyter-Notebook in Managed Service for Apache Spark starten.

  • Anforderung für BigQuery Studio-Notebooksitzungen:Für BigQuery Studio-Notebooksitzungen muss Spark Connect als Vorlagenkonfigurationstyp angegeben werden.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image, das für Ihre auf Vorlagen basierenden Sitzungen verwendet werden soll.

• properties: Optional. Eine Zuordnung von Namen von Sitzungseigenschaften zu Werten. Weitere Informationen finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Ein Dienstkonto, das zum Ausführen der auf Vorlagen basierenden Sitzungen verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Managed Service for Apache Spark das default-Subnetz in der Sitzungsregion. Managed Service for Apache Spark aktiviert privaten Google-Zugriff (PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Netzwerkkonfiguration für Managed Service for Apache Spark.