Managed Service for Apache Spark 無伺服器總覽

您可以使用 Managed Service for Apache Spark 無伺服器模式執行 Spark 工作負載,不必佈建及管理自己的叢集。您可以透過兩種方式執行 Managed Service for Apache Spark 工作負載:批次工作負載和互動式工作階段。

批次工作負載

使用Google Cloud 控制台、Google Cloud CLI 或 REST API 提交批次工作負載。Managed Service for Apache Spark 會在代管運算基礎架構中執行工作負載,並視需要自動調度資源。費用 只會在工作負載執行時產生。

批次工作負載功能

您可以執行下列批次工作負載類型:

  • PySpark
  • Spark SQL
  • Spark R
  • Spark (Java 或 Scala)

提交批次工作負載時,您可以指定 Spark 屬性

排定批次工作負載

您可以使用 Airflow 批次運算子,將 Spark 批次工作負載排定為 AirflowManaged Service for Apache Airflow 工作流程的一部分。詳情請參閱「使用 Managed Airflow 執行 Managed Service for Apache Spark 無伺服器工作負載」。

開始使用

如要開始使用,請參閱「執行 Apache Spark 批次工作負載」一文。

互動工作階段

在互動式工作階段中,於 Jupyter 筆記本撰寫及執行程式碼。你可以透過下列方式建立筆記本工作階段:

  • 在 BigQuery Studio 筆記本中執行 PySpark 程式碼。開啟 BigQuery Python 筆記本,即可建立以 Spark Connect 為基礎的互動式工作階段。每個 BigQuery 筆記本只能有一個相關聯的有效工作階段。

  • 使用 JupyterLab 外掛程式,從您建立及管理的範本建立多個 Jupyter 筆記本工作階段。在本機或 Compute Engine VM 上安裝外掛程式後,JupyterLab 啟動器頁面會顯示對應不同 Spark 核心設定的卡片。按一下資訊卡,建立 Managed Service for Apache Spark 筆記本工作階段,然後開始在筆記本中編寫及測試程式碼。

    您也可以使用 JupyterLab 外掛程式,透過 JupyterLab 啟動器頁面執行下列操作:

    • 建立 Managed Service for Apache Spark 叢集。
    • 將工作提交至叢集。
    • 查看 Google Cloud 和 Spark 記錄檔。

安全性法規遵循

Managed Service for Apache Spark 遵守所有資料落地CMEKVPC-SC 和其他安全規定。