Managed Service for Apache Spark 無伺服器總覽

您可以使用 Managed Service for Apache Spark 無伺服器模式執行 Spark 工作負載,不必佈建及管理自己的叢集。執行 Managed Service for Apache Spark 工作負載的方式有兩種:批次工作負載和互動式工作階段。

批次工作負載

使用Google Cloud 控制台、Google Cloud CLI 或 REST API 提交批次工作負載。Managed Service for Apache Spark 會在代管運算基礎架構中執行工作負載,並視需要自動調度資源。費用 只會在工作負載執行時產生。

批次工作負載功能

您可以執行下列批次工作負載類型:

  • PySpark
  • Spark SQL
  • Spark R
  • Spark (Java 或 Scala)

提交批次工作負載時,您可以指定 Spark 屬性。

排定批次工作負載

您可以透過 Airflow 批次運算子,將 Spark 批次工作負載排定為 Airflow 或 Managed Service for Apache Airflow 工作流程的一部分。詳情請參閱「使用 Managed Airflow 執行 Managed Service for Apache Spark 無伺服器工作負載」。

開始使用

如要開始使用,請參閱「執行 Apache Spark 批次工作負載」一文。

互動工作階段

在互動式工作階段中,於 Jupyter 筆記本編寫及執行程式碼。你可以透過下列方式建立筆記本工作階段:

  • 在 BigQuery Studio 筆記本中執行 PySpark 程式碼。 開啟 BigQuery Python 筆記本,建立以 Spark Connect 為基礎的互動式工作階段。每個 BigQuery 筆記本只能有一個相關聯的有效工作階段。

  • 使用 JupyterLab 外掛程式,從您建立及管理的範本建立多個 Jupyter 筆記本工作階段。在本機或 Compute Engine VM 上安裝外掛程式後,JupyterLab 啟動器頁面會顯示對應不同 Spark 核心設定的卡片。按一下資訊卡,建立 Managed Service for Apache Spark 筆記本工作階段,然後開始在筆記本中編寫及測試程式碼。

    您也可以使用 JupyterLab 外掛程式,透過 JupyterLab 啟動器頁面執行下列操作:

    • 建立 Managed Service for Apache Spark 叢集。
    • 將工作提交至叢集。
    • 查看 Google Cloud 和 Spark 記錄檔。
  • 使用 Google Cloud Data Agent Kit 在 IDE 中管理整個資料工作負載生命週期。Data Agent Kit 支援 Managed Service for Apache Spark,可讓您直接從 VS Code 或使用支援的代理式 CLI,開發程式碼、建立互動式工作階段,以及建構管道。

安全性法規遵循

Managed Service for Apache Spark 遵守所有資料落地、CMEK、VPC-SC 和其他安全規定。