Interaktive Sitzungen und Sitzungsvorlagen erstellen

Auf dieser Seite erfahren Sie, wie Sie interaktive Sitzungen und Sitzungsvorlagen für Serverless for Apache Spark erstellen. Mit einer Sitzungsvorlage können Sie mehrere interaktive Sitzungen basierend auf der Konfiguration der Sitzungsvorlage erstellen.

Hinweis: Interaktive Sitzungen für Serverless for Apache Spark sind mit interaktiven Notebooks verknüpft. Ein Beispiel für die Verwendung von Sitzungen mit Jupyter-Notebooks finden Sie unter Dataproc JupyterLab-Plug-in für serverlose Batch- und interaktive Notebook-Sitzungen verwenden. Beispiele für die Verwendung von Sitzungen in BigQuery Studio Notebooks finden Sie unter PySpark-Code in BigQuery Studio-Notebooks ausführen.

Interaktive Sitzung erstellen

Sie können die Google Cloud CLI oder die Dataproc API verwenden, um eine interaktive Sitzung für Serverless for Apache Spark zu erstellen.

gcloud

Mit dem gcloud beta dataproc sessions create command SESSION_NAME können Sie eine interaktive Sitzung für Serverless for Apache Spark erstellen.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ersetzen oder fügen Sie Folgendes hinzu:

• SESSION_ID: Erforderlich. Eine ID für die Sitzung.

• REGION: Erforderlich. Eine verfügbare Region , in der sich die Sitzung befinden soll.

• --version: Optional. Eine unterstützte Spark-Laufzeitversion. Wenn Sie mit diesem Flag keine Version angeben, wird die aktuelle Standardversion der Spark-Laufzeit verwendet.

• --container-image: Optional. Ein benutzerdefiniertes Container-Image das für die Sitzung verwendet werden soll.

• --property: Optional. Eine oder mehrere durch Kommas getrennte Spark-Attribute für die Sitzung.

• --service-account: Optional. Das Dienstkonto , das für die Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• --subnet: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Serverless for Apache Spark das default Subnetz in der Sitzungs region. Serverless for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Netzwerkkonfiguration für Serverless for Apache Spark.

REST

Mit der Dataproc sessions.create API können Sie eine interaktive Sitzung für Serverless for Apache Spark erstellen.

Hinweise:

• name: Erforderlich. Sitzungsname.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für die Sitzung. Wenn Sie keine Version angeben, wird die aktuelle Standard version verwendet.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image das für die Sitzung verwendet werden soll.

• properties: Optional. Eine Zuordnung von Namen von Sitzungsattributen zu Werten. Informationen dazu finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Das Dienstkonto , das zum Ausführen der Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Serverless for Apache Spark das default Subnetz in der Sitzungs region. Serverless for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Netzwerkkonfiguration für Serverless for Apache Spark.

Sitzungsvorlage erstellen

Eine Sitzungsvorlage für Serverless for Apache Spark definiert die Konfigurationseinstellungen zum Erstellen einer oder mehrerer interaktiver Sitzungen für Serverless for Apache Spark. Sie können die console, die gcloud CLI oder die Dataproc API verwenden, um eine Sitzungsvorlage für Serverless for Apache Spark für eine Jupyter oder Spark Connect Sitzung zu erstellen. Google Cloud

Hinweis: Sie können in einem BigQuery Studio-Notebook eine Sitzung aus einer Sitzungsvorlage für Serverless for Apache Spark erstellen. In diesem Abschnitt wird erläutert wie Sie die Vorlage konfigurieren, um sie in einem BigQuery Studio-Notebook zu verwenden.

Console

So erstellen Sie eine Sitzungsvorlage für Serverless for Apache Spark mit der Google Cloud Konsole, führen Sie die folgenden Schritte aus:

1. Rufen Sie in der Google Cloud console die Seite Sitzungsvorlagen auf.

   Sitzungsvorlagen aufrufen

   1. Klicken Sie auf Erstellen.

2. Geben Sie auf der Seite Sitzungsvorlage erstellen die Konfigurationseinstellungen für die Vorlage ein oder bestätigen Sie sie. Wichtige Hinweise:

   • Vorlagenlaufzeit-ID: Erforderlich. Übernehmen Sie die Standard-ID (Name) oder geben Sie einen Namen für die Vorlagenlaufzeit an.
   • Region: Erforderlich. Übernehmen Sie die Standardregion oder geben Sie eine verfügbare Region für Vorlagensitzungen an.
   • Laufzeitversion: Optional. Auswählbare Sitzungslaufzeiten entsprechen den Laufzeitversionen von Serverless for Apache Spark.
     • Anforderung für BigQuery Studio-Notebooksitzungen: Wenn Sie eine Vorlage für Spark Connect-Sitzungen in BigQuery Studio-Notebooks erstellen, muss sie die Spark-Laufzeitversion 2.3 oder höher verwenden.
   • Volagenkonfigurationstyp:Erforderlich. Wählen Sie einen Typ aus. Wenn Sie Jupyter auswählen, geben Sie den Anzeigenamen an und wählen Sie den Jupyter-Kerneltyp aus. Weitere Informationen finden Sie unter Jupyter-Notebook in Serverless for Apache Spark starten.
     • Anforderung für BigQuery Studio-Notebooksitzungen Für BigQuery Studio-Notebooksitzungen muss Spark Connect als Vorlagenkonfigurationstyp angegeben werden.
   • Dienstkonto:Optional. Das Dienstkonto, das zum Ausführen von Vorlagensitzungen verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
   • Benutzerdefiniertes Container-Image: Optional. Ein benutzerdefiniertes Container-Image das für die Vorlagensitzungen verwendet werden soll.
   • Attribute:Optional. Klicken Sie für jedes Attribut, das für die Vorlagensitzungen festgelegt werden soll, auf Element hinzufügen. Weitere Informationen finden Sie unter Spark-Attribute.
   • Netzwerkkonfiguration: * Erforderlich. Wählen Sie ein Subnetz in der Sitzungsregion aus. Serverless for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das angegebene Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Netzwerkkonfiguration für Serverless for Apache Spark.

3. Klicken Sie auf Senden , um die Sitzungsvorlage zu erstellen.

gcloud

Sie können mit der gcloud CLI keine Sitzungsvorlage für Serverless for Apache Spark direkt erstellen. Sie können aber mit dem gcloud beta dataproc session-templates import Befehl eine vorhandene Sitzungsvorlage importieren. Sie können die importierte Vorlage bearbeiten, und dann mit dem gcloud beta dataproc session-templates export Befehl exportieren.

REST

Mit der Dataproc sessionTemplates.create API können Sie eine Sitzungsvorlage für Serverless for Apache Spark erstellen.

Hinweise:

• name: Erforderlich. Name der Sitzungsvorlage.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für die Vorlagensitzungen. Wenn Sie keine Version angeben, wird die Standard version verwendet.

  • Anforderung für BigQuery Studio-Notebooksitzungen: Wenn Sie eine Vorlage für Spark Connect-Sitzungen in BigQuery Studio-Notebooks erstellen, muss sie die Spark-Laufzeitversion 2.3 oder höher verwenden.

• sessionConfig: Geben Sie entweder jupyter_session oder spark_connect_session an. Wenn Sie jupyter_session angeben, geben Sie auch die JupyterConfig.display_name und JupyterConfig.kernel an. Weitere Informationen finden Sie unter Jupyter-Notebook in Serverless for Apache Spark starten.

  • Anforderung für BigQuery Studio-Notebooksitzungen Für BigQuery Studio-Notebooksitzungen muss Spark Connect als Vorlagenkonfigurationstyp angegeben werden.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image das für die Vorlagensitzungen verwendet werden soll.

• properties: Optional. Eine Zuordnung von Namen von Sitzungsattributen zu Werten. Informationen dazu finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Ein Dienstkonto , das zum Ausführen der Vorlagensitzungen verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Serverless for Apache Spark das default Subnetz in der Sitzungs region. Serverless for Apache Spark aktiviert den privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Netzwerkkonfiguration für Serverless for Apache Spark.