在 Managed Service for Apache Spark 上搭配使用 Apache Spark 與 HBase

已淘汰： 從 Managed Service for Apache Spark 2.1 版開始，您將無法再使用選用的 HBase 元件。Managed Service for Apache Spark 1.5 版和 2.0 版提供 Beta 版 HBase，但不提供支援服務。不過，由於 Managed Service for Apache Spark 叢集具有暫時性，因此不建議使用 HBase。

目標

本教學課程將示範如何：

1. 建立 Managed Service for Apache Spark 叢集，並在叢集上安裝 Apache HBase 和 Apache ZooKeeper
2. 使用在 Managed Service for Apache Spark 叢集主要節點執行的 HBase Shell 建立 HBase 資料表
3. 使用 Cloud Shell 將 Java 或 PySpark Spark 工作提交至 Managed Service for Apache Spark 服務，由該服務將資料寫入 HBase 資料表，然後從該資料表讀取資料

費用

在本文件中，您會使用下列 Google Cloud的計費元件：

• Managed Service for Apache Spark
• Compute Engine

如要根據預測用量估算費用，請使用 Pricing Calculator。

初次使用 Google Cloud 的使用者可能符合免費試用期資格。

事前準備

如果您尚未建立 Google Cloud Platform 專案，請先建立專案。

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

建立 Managed Service for Apache Spark 叢集

1. 在 Cloud Shell 工作階段終端機中執行下列指令，以完成下列步驟：

   • 安裝 HBase 和 ZooKeeper 元件
   • 佈建三個 worker 節點 (建議使用三到五個 worker 執行本教學課程的程式碼)
   • 啟用元件閘道
   • 使用 2.0 版映像檔
   • 使用 --properties 旗標，將 HBase 設定和 HBase 程式庫新增至 Spark 驅動程式和執行器類別路徑。

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=HBASE,ZOOKEEPER \
    --num-workers=3 \
    --enable-component-gateway \
    --image-version=2.0 \
    --properties='spark:spark.driver.extraClassPath=/etc/hbase/conf:/usr/lib/hbase/*,spark:spark.executor.extraClassPath=/etc/hbase/conf:/usr/lib/hbase/*'

驗證連接器安裝作業

1. 從 Google Cloud 控制台或 Cloud Shell 工作階段終端機，透過 SSH 連線至 Managed Service for Apache Spark 叢集主要執行個體。

2. 驗證 Apache HBase Spark 連接器在主要節點的安裝作業：

   ls -l /usr/lib/spark/jars | grep hbase-spark
   

   輸出內容範例：

   -rw-r--r-- 1 root root size date time hbase-spark-connector.version.jar
   

3. 請將 SSH 工作階段終端機保持為開啟狀態，以便：

   1. 建立 HBase 資料表
   2. (Java 使用者)：在叢集的主要節點上執行指令，判斷叢集上安裝的元件版本
   3. 在執行程式碼之後掃描 Hbase 資料表

建立 HBase 資料表

在上一步開啟的主要節點 SSH 工作階段終端機中，執行本節列出的指令。

1. 開啟 HBase Shell：

   hbase shell
   

2. 建立名為「my-table」的 HBase 資料表，其中包含「cf」資料欄系列：

   create 'my_table','cf'
   

   1. 如要確認資料表建立作業，請在 Google Cloud 控制台按一下Google Cloud 控制台「Component Gateway」(元件閘道) 連結中的「HBase」，以開啟 Apache HBase 使用者介面。my-table 會列於「Home」(首頁) 頁面的「Tables」(資料表) 區段中。

      

查看 Spark 程式碼

Java

package hbase;

import org.apache.hadoop.hbase.spark.datasources.HBaseTableCatalog;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import java.io.Serializable;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;

public class SparkHBaseMain {
    public static class SampleData implements Serializable {
        private String key;
        private String name;


        public SampleData(String key, String name) {
            this.key = key;
            this.name = name;
        }

        public SampleData() {
        }

        public String getName() {
            return name;
        }

        public void setName(String name) {
            this.name = name;
        }

        public String getKey() {
            return key;
        }

        public void setKey(String key) {
            this.key = key;
        }
    }
    public static void main(String[] args) {
        // Init SparkSession
        SparkSession spark = SparkSession
                .builder()
                .master("yarn")
                .appName("spark-hbase-tutorial")
                .getOrCreate();

        // Data Schema
        String catalog = "{"+"\"table\":{\"namespace\":\"default\", \"name\":\"my_table\"}," +
                "\"rowkey\":\"key\"," +
                "\"columns\":{" +
                "\"key\":{\"cf\":\"rowkey\", \"col\":\"key\", \"type\":\"string\"}," +
                "\"name\":{\"cf\":\"cf\", \"col\":\"name\", \"type\":\"string\"}" +
                "}" +
                "}";

        Map<String, String> optionsMap = new HashMap<String, String>();
        optionsMap.put(HBaseTableCatalog.tableCatalog(), catalog);

        Dataset<Row> ds= spark.createDataFrame(Arrays.asList(
                new SampleData("key1", "foo"),
                new SampleData("key2", "bar")), SampleData.class);

        // Write to HBase
        ds.write()
                .format("org.apache.hadoop.hbase.spark")
                .options(optionsMap)
                .option("hbase.spark.use.hbasecontext", "false")
                .mode("overwrite")
                .save();

        // Read from HBase
        Dataset dataset = spark.read()
                .format("org.apache.hadoop.hbase.spark")
                .options(optionsMap)
                .option("hbase.spark.use.hbasecontext", "false")
                .load();
        dataset.show();
    }
}

Python

from pyspark.sql import SparkSession

# Initialize Spark Session
spark = SparkSession \
  .builder \
  .master('yarn') \
  .appName('spark-hbase-tutorial') \
  .getOrCreate()

data_source_format = ''

# Create some test data
df = spark.createDataFrame(
    [
        ("key1", "foo"),
        ("key2", "bar"),
    ],
    ["key", "name"]
)

# Define the schema for catalog
catalog = ''.join("""{
    "table":{"namespace":"default", "name":"my_table"},
    "rowkey":"key",
    "columns":{
        "key":{"cf":"rowkey", "col":"key", "type":"string"},
        "name":{"cf":"cf", "col":"name", "type":"string"}
    }
}""".split())

# Write to HBase
df.write.format('org.apache.hadoop.hbase.spark').options(catalog=catalog).option("hbase.spark.use.hbasecontext", "false").mode("overwrite").save()

# Read from HBase
result = spark.read.format('org.apache.hadoop.hbase.spark').options(catalog=catalog).option("hbase.spark.use.hbasecontext", "false").load()
result.show()

執行程式碼

1. 開啟 Cloud Shell 工作階段終端機。

   附註： 請在 Cloud Shell 工作階段終端機中執行本節列出的指令。Cloud Shell 已預先安裝本教學課程所需的工具，包括 gcloud CLI、git、Apache Maven、Java 和 Python 及其他工具。

2. 將 GitHub GoogleCloudDataproc/cloud-dataproc 存放區複製到 Cloud Shell 工作階段終端機：

   git clone https://github.com/GoogleCloudDataproc/cloud-dataproc.git
   

3. 切換至 cloud-dataproc/spark-hbase 目錄。

   cd cloud-dataproc/spark-hbase
   

   輸出內容範例：

   user-name@cloudshell:~/cloud-dataproc/spark-hbase (project-id)$
   

4. 提交 Managed Service for Apache Spark 工作。

Java

1. 在 pom.xml 檔案中設定元件版本。
   1. Managed Service for Apache Spark 2.0.x 發布版本頁面列出隨最新及最近四個 2.0 修正版本映像檔一併安裝的 Scala、Spark 和 HBase 元件版本。
      1. 如要查找 2.0 版映像檔叢集的修正版本，請在Google Cloud 控制台的「Clusters」(叢集) 頁面中，按一下叢集名稱開啟「Cluster details」(叢集詳細資料) 頁面，其中會列出叢集的「Image version」(映像檔版本)。

         

   2. 或者，也可以在叢集主要節點的 SSH 工作階段終端機中執行下列指令以判斷元件版本：
      1. 檢查 Scala 版本：

         scala -version
         

      2. 檢查 Spark 版本 (按 Ctrl+D 鍵即可退出)：

         spark-shell
         

      3. 檢查 HBase 版本：

         hbase version
         

      4. 在 Maven pom.xml 中找出 Spark、Scala 和 HBase 版本依附元件：

         <properties>
           <scala.version>scala full version (for example, 2.12.14)</scala.version>
           <scala.main.version>scala main version (for example, 2.12)</scala.main.version>
           <spark.version>spark version (for example, 3.1.2)</spark.version>
           <hbase.client.version>hbase version (for example, 2.2.7)</hbase.client.version>
           <hbase-spark.version>1.0.0(the current Apache HBase Spark Connector version)>
         </properties>
         

         注意：hbase-spark.version 是目前的 Spark HBase 連接器版本，請勿變更此版本號碼。
   3. 在 Cloud Shell 編輯器中編輯 pom.xml 檔案，插入正確的 Scala、Spark 和 HBase 版本號碼。編輯完成後，按一下「Open Terminal」(開啟終端機)，返回 Cloud Shell 終端機指令列。

      cloudshell edit .
      

   4. 在 Cloud Shell 中切換至 Java 8。建構程式碼時需使用此 JDK 版本 (可忽略任何外掛程式警告訊息)：

      sudo update-java-alternatives -s java-1.8.0-openjdk-amd64 && export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
      

   5. 驗證 Java 8 安裝狀態：

      java -version
      

      輸出內容範例：

      openjdk version "1.8..."
       

2. 建構 jar 檔案：

   mvn clean package
   

   .jar 檔案會放置於 /target 子目錄中 (例如 target/spark-hbase-1.0-SNAPSHOT.jar)。

3. 提交工作：

   gcloud dataproc jobs submit spark \
       --class=hbase.SparkHBaseMain  \
       --jars=target/filename.jar \
       --region=cluster-region \
       --cluster=cluster-name
   

   • --jars：在「target/」之後和「.jar」之前插入 .jar 檔案的名稱。
   • 如果在建立叢集時未設定 Spark 驅動程式和執行器 HBase 類別路徑，則每次提交工作時都必須加以設定，方法是在工作提交指令中加入下列 ‑‑properties 旗標：

     --properties='spark.driver.extraClassPath=/etc/hbase/conf:/usr/lib/hbase/*,spark.executor.extraClassPath=/etc/hbase/conf:/usr/lib/hbase/*'
            

4. 在 Cloud Shell 工作階段終端機輸出內容中查看 HBase 資料表輸出內容：

   Waiting for job output...
   ...
   +----+----+
   | key|name|
   +----+----+
   |key1| foo|
   |key2| bar|
   +----+----+
   

Python

1. 提交工作：

   gcloud dataproc jobs submit pyspark scripts/pyspark-hbase.py \
       --region=cluster-region \
       --cluster=cluster-name
   

   • 如果在建立叢集時未設定 Spark 驅動程式和執行器 HBase 類別路徑，則每次提交工作時都必須加以設定，方法是在工作提交指令中加入下列 ‑‑properties 旗標：

     --properties='spark.driver.extraClassPath=/etc/hbase/conf:/usr/lib/hbase/*,spark.executor.extraClassPath=/etc/hbase/conf:/usr/lib/hbase/*'
            

2. 在 Cloud Shell 工作階段終端機輸出內容中查看 HBase 資料表輸出內容：

   Waiting for job output...
   ...
   +----+----+
   | key|name|
   +----+----+
   |key1| foo|
   |key2| bar|
   +----+----+
   

掃描 HBase 資料表

您可以在「Verify connector installation」(驗證連接器安裝作業) 中開啟的主要節點 SSH 工作階段終端機，執行下列指令以掃描 HBase 資料表內容：

1. 開啟 HBase Shell：

   hbase shell
   

2. 掃描「my-table」：

   scan 'my_table'
   

   輸出內容範例：

   ROW               COLUMN+CELL
    key1             column=cf:name, timestamp=1647364013561, value=foo
    key2             column=cf:name, timestamp=1647364012817, value=bar
   2 row(s)
   Took 0.5009 seconds
   

清除所用資源

完成教學課程後，您可以清除所建立的資源，這樣資源就不會繼續使用配額，也不會產生費用。下列各節將說明如何刪除或關閉這些資源。

刪除專案

如要避免付費，最簡單的方法就是刪除您為了本教學課程所建立的專案。

刪除專案的方法如下：

注意：刪除專案會造成以下結果：

• 專案中的所有內容都會遭到刪除。如果使用現有專案來進行本文中的任務，刪除專案將一併移除當中已完成的其他任務'。
• 自訂專案 ID 會消失。當您之前建立這個專案時，可能建立了想要在日後使用的自訂專案 ID。如要保留使用該專案 ID 的網址 (例如 appspot.com 網址)，請刪除在該專案中選取的資源，而不是刪除整個專案。

如果打算探索多種架構、教學課程或快速入門導覽課程，重複使用專案可避免超出專案配額限制。

1. 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。

   前往「Manage resources」(管理資源)

2. 在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
3. 在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。

刪除叢集

• 刪除叢集的方法如下：

  gcloud dataproc clusters delete cluster-name \
      --region=${REGION}