Mit Managed Service for Apache Spark serverless können Sie Spark-Arbeitslasten ausführen, ohne dass Sie eigene Cluster bereitstellen und verwalten müssen. Es gibt zwei Möglichkeiten, Managed Service for Apache Spark-Arbeitslasten auszuführen: Batcharbeitslasten und interaktive Sitzungen.
Batcharbeitslasten
Senden Sie eine Batcharbeitslast über die Google Cloud Console, die Google Cloud CLI oder die REST API. Managed Service for Apache Spark führt die Arbeitslast auf einer verwalteten Computing-Infrastruktur aus und skaliert die Ressourcen automatisch nach Bedarf. Gebühren fallen nur für die Zeit an, in der die Arbeitslast ausgeführt wird.
Funktionen für Batcharbeitslasten
Sie können die folgenden Arten von Batcharbeitslasten ausführen:
- PySpark
- Spark SQL
- Spark R
- Spark (Java oder Scala)
Sie können Spark-Eigenschaften angeben, wenn Sie eine Batcharbeitslast senden.
Batcharbeitslasten planen
Sie können eine Spark-Batcharbeitslast als Teil eines Airflow oder Managed Service for Apache Airflow -Workflows mit einem Airflow-Batchoperator planen. Weitere Informationen finden Sie unter Serverlose Managed Service for Apache Spark-Arbeitslasten mit Managed Airflow ausführen.
Jetzt starten
Informationen zu den ersten Schritten finden Sie unter Apache Spark-Batcharbeitslast ausführen.
Interaktive Sitzungen
Sie können während einer interaktiven Sitzung Code in Jupyter-Notebooks schreiben und ausführen. Sie können eine Notebooksitzung auf folgende Arten erstellen:
PySpark-Code in BigQuery Studio-Notebooks ausführen. Öffnen Sie ein BigQuery-Python-Notebook, um eine interaktive Sitzung auf Spark-Connect-Basis zu erstellen. Jedem BigQuery-Notebook kann nur eine aktive Sitzung zugeordnet sein.
Mit dem JupyterLab-Plug-in können Sie mehrere Jupyter-Notebooksitzungen aus Vorlagen erstellen, die Sie erstellen und verwalten. Wenn Sie das Plug-in auf einem lokalen Computer oder einer Compute Engine-VM installieren, werden auf der JupyterLab-Startseite verschiedene Karten angezeigt, die unterschiedlichen Spark-Kernelkonfigurationen entsprechen. Klicken Sie auf eine Karte, um eine Managed Service for Apache Spark-Notebooksitzung zu erstellen, und schreiben und testen Sie dann Ihren Code im Notebook.
Mit dem JupyterLab-Plug-in können Sie auch die JupyterLab-Startseite verwenden, um die folgenden Aktionen auszuführen:
- Managed Service for Apache Spark-Cluster erstellen
- Jobs an Cluster senden
- Spark-Logs ansehen Google Cloud
Mit dem Google Cloud Data Agent Kit für VS Code können Sie den gesamten Lebenszyklus Ihrer Datenarbeitslast in Ihrer IDE verwalten. Das Data Agent Kit bietet Data Cloud-Unterstützung für Managed Service for Apache Spark. So können Sie Code entwickeln, interaktive Sitzungen erstellen und Pipelines direkt in VS Code erstellen.
Sicherheitscompliance
Managed Service for Apache Spark erfüllt alle Anforderungen an den Datenstandort, CMEK, VPC-SC, und andere Sicherheitsanforderungen, die für Managed Service for Apache Spark gelten.