Mit Managed Service for Apache Spark Serverless können Sie Spark-Arbeitslasten ausführen, ohne dass Sie eigene Cluster bereitstellen und verwalten müssen. Es gibt zwei Möglichkeiten, Managed Service for Apache Spark-Arbeitslasten auszuführen: Batcharbeitslasten und interaktive Sitzungen.
Batcharbeitslasten
Sie können einen Batch-Arbeitslast über dieGoogle Cloud Console, die Google Cloud CLI oder die REST API einreichen. Managed Service for Apache Spark führt die Arbeitslast auf einer verwalteten Computing-Infrastruktur aus und skaliert die Ressourcen automatisch nach Bedarf. Gebühren fallen nur für den Zeitraum an, in dem die Arbeitslast ausgeführt wird.
Funktionen für Batcharbeitslasten
Sie können die folgenden Batch-Arbeitslasttypen ausführen:
- PySpark
- Spark SQL
- Spark R
- Spark (Java oder Scala)
Sie können Spark-Attribute angeben, wenn Sie einen Batch-Arbeitslast senden.
Batcharbeitslasten planen
Sie können eine Spark-Batcharbeitslast als Teil eines Airflow- oder Managed Service for Apache Airflow-Workflows mit einem Airflow-Batchoperator planen. Weitere Informationen finden Sie unter Serverlose Arbeitslasten für Managed Service for Apache Spark mit Managed Airflow ausführen.
Jetzt starten
Interaktive Sitzungen
Code in Jupyter-Notebooks während einer interaktiven Sitzung schreiben und ausführen Sie können eine Notebook-Sitzung auf folgende Weise erstellen:
PySpark-Code in BigQuery Studio-Notebooks ausführen Öffnen Sie ein BigQuery-Python-Notebook, um eine auf Spark Connect basierende interaktive Sitzung zu erstellen. Jedem BigQuery-Notebook kann nur eine aktive Sitzung zugeordnet sein.
JupyterLab-Plug-in verwenden: Mit diesem Plug-in können Sie mehrere Jupyter-Notebook-Sitzungen aus Vorlagen erstellen, die Sie selbst erstellen und verwalten. Wenn Sie das Plug-in auf einem lokalen Computer oder einer Compute Engine-VM installieren, werden auf der JupyterLab-Startseite verschiedene Karten angezeigt, die unterschiedlichen Spark-Kernelkonfigurationen entsprechen. Klicken Sie auf eine Karte, um eine Notebook-Sitzung für Managed Service for Apache Spark zu erstellen. Anschließend können Sie mit dem Schreiben und Testen Ihres Codes im Notebook beginnen.
Mit dem JupyterLab-Plug-in können Sie auch die JupyterLab-Launcher-Seite verwenden, um die folgenden Aktionen auszuführen:
- Managed Service for Apache Spark-Cluster erstellen
- Jobs an Cluster senden
- Google Cloud - und Spark-Logs ansehen
Google Cloud Data Agent Kit verwenden, um den gesamten Lebenszyklus Ihrer Daten-Workload in Ihrer IDE zu verwalten. Das Data Agent Kit bietet Unterstützung für Managed Service for Apache Spark. So können Sie Code entwickeln, interaktive Sitzungen erstellen und Pipelines erstellen – direkt in VS Code oder über eine unterstützte agentische CLI.
Sicherheitscompliance
Managed Service for Apache Spark entspricht allen Datenstandort-, CMEK-, VPC-SC- und anderen Sicherheitsanforderungen, die für Managed Service for Apache Spark gelten.