Managed Service for Apache Spark 無伺服器部署作業總覽

透過 Managed Service for Apache Spark 無伺服器部署作業,您可以執行 Spark 工作負載,不必佈建及管理自己的 Managed Service for Apache Spark 叢集。您可以透過兩種方式執行 Managed Service for Apache Spark 工作負載:批次工作負載和互動式工作階段。

批次工作負載

使用Google Cloud 控制台、Google Cloud CLI 或 REST API 提交批次工作負載。Managed Service for Apache Spark 會在代管運算基礎架構中執行工作負載,並視需要自動調度資源。費用只會計入工作負載的執行時間。

批次工作負載功能

您可以執行下列批次工作負載類型:

  • PySpark
  • Spark SQL
  • Spark R
  • Spark (Java 或 Scala)

提交批次工作負載時,您可以指定 Spark 屬性

排定批次工作負載

您可以使用 Airflow 批次運算子,將 Spark 批次工作負載排定為 AirflowManaged Service for Apache Airflow 工作流程的一部分。詳情請參閱「使用 Managed Airflow 執行 Managed Service for Apache Spark 工作負載」。

開始使用

如要開始使用,請參閱「執行 Apache Spark 批次工作負載」。

互動工作階段

在互動式工作階段中,於 Jupyter 筆記本中編寫及執行程式碼。你可以透過下列方式建立筆記本工作階段:

  • 在 BigQuery Studio 筆記本中執行 PySpark 程式碼。 開啟 BigQuery Python 筆記本,建立以 Spark-Connect 為基礎的 Managed Service for Apache Spark 互動式工作階段。每個 BigQuery 筆記本只能有一個與其相關聯的有效 Managed Service for Apache Spark 工作階段。

  • 使用 JupyterLab 外掛程式,從您建立及管理的範本建立多個 Jupyter 筆記本工作階段。在本機或 Compute Engine VM 上安裝外掛程式後,JupyterLab 啟動器頁面會顯示對應不同 Spark 核心設定的卡片。按一下資訊卡建立 Managed Service for Apache Spark 筆記本工作階段,然後在筆記本中編寫及測試程式碼。

    您也可以使用 JupyterLab 外掛程式,透過 JupyterLab 啟動器頁面執行下列操作:

    • 建立 Managed Service for Apache Spark 叢集。
    • 將工作提交至叢集。
    • 查看 Google Cloud 和 Spark 記錄檔。

安全性法規遵循

Managed Service for Apache Spark 遵守所有資料落地CMEKVPC-SC 和其他安全規定。