您可以備份 Managed Service for Apache Spark with Ranger 叢集上的 Ranger 資料庫結構定義,保護存取控管政策,並為災難復原做好準備。還原結構定義後,即可復原安全性設定,或在叢集間遷移權限。
事前準備
視需要建立 bucket。您必須有權存取 Cloud Storage bucket,才能儲存及還原 Ranger 結構定義。
如要建立值區,請按照下列指示操作:
- 前往 Google Cloud 控制台的「Cloud Storage bucket」頁面。
- 點選 「Create」(建立)。
- 在「Create a bucket」(建立 bucket) 頁面中,輸入 bucket 資訊。如要前往下一個步驟,請按一下「Continue」(繼續)。
-
在「Get started」(開始使用) 部分,執行下列操作:
- 輸入符合 bucket 命名規定的全域不重複名稱。
- 如要新增值區標籤,請展開「Labels」(標籤) 專區 (),然後按一下「Add label」(新增標籤) add_box,並為標籤指定
key和value。
-
在「Choose where to store your data」(選擇資料的儲存位置) 專區中,執行下列操作:
- 選取「位置類型」。
- 從「Location type」(位置類型) 下拉式選單中,選擇永久儲存 bucket 資料的位置。
- 如果選取「雙區域」位置類型,也可以勾選相關核取方塊,啟用強化型複製功能。
- 如要設定跨 bucket 複製,請選取「新增透過 Storage 移轉服務執行的跨 bucket 複製作業」,然後按照下列步驟操作:
設定跨 bucket 複製作業
- 在「Bucket」選單中選取 bucket。
在「Replication settings」(複製設定) 專區中,按一下「Configure」(設定),即可調整複製工作的設定。
「Configure cross-bucket replication」(設定跨 bucket 複製作業) 窗格隨即顯示。
- 如要依物件名稱前置字串篩選要複製的物件,請輸入要納入或排除物件的前置字串,然後按一下「 新增前置字串」。
- 如要為複製的物件設定儲存空間級別,請從「Storage class」(儲存空間級別) 選單中選取儲存空間級別。如果略過這個步驟,複製的物件預設會使用目的地 bucket 的儲存空間級別。
- 按一下「完成」。
- 在「Choose how to store your data」(選擇資料儲存方式) 部分,執行下列操作:
- 在「Choose how to control access to objects」(選取如何控制物件的存取權) 區段中,選取 bucket 是否強制執行公開存取權防護,並為 bucket 的物件選取存取控管方法。
-
在「Choose how to protect object data」(選擇保護物件資料的方式) 部分,執行下列操作:
- 在「資料保護」下方,選取要為 bucket 設定的選項。
- 如要選擇物件資料的加密方式,請展開「Data encryption」(資料加密) 專區 (),然後選取「Data encryption」(資料加密) 方法。
-
在「Get started」(開始使用) 部分,執行下列操作:
- 點選「建立」。
備份 Ranger 結構定義
使用 SSH 連線至叢集的 Managed Service for Apache Spark 主要節點,並使用 Ranger 結構定義。請在主節點上執行的 SSH 終端機工作階段中,執行本節中的指令。
設定環境變數。
BUCKET_NAME=bucket name \ MYSQL_PASSWORD=MySQL password SCHEMA_FILE=schema filename
更改下列內容:
MySQL password:您可以在叢集主要節點上開啟
/etc/mysql/my.cnf,複製 MySQL 密碼。bucket name:用於儲存 Ranger 結構定義的 Cloud Storage bucket 名稱。
schema filename:指定檔案名稱,不含
.sql副檔名。Ranger 結構定義會儲存在主要節點的這個檔案中,然後儲存在 Cloud Storage 的 bucket name。
停止 Hive 服務。
sudo systemctl stop hive-metastore.service sudo systemctl stop hive-server2.service
禁止變更 Ranger 結構定義資料表。
mysql -u root -p${MYSQL_PASSWORD} REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost'; GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;將 Ranger 結構定義儲存至
.sql檔案。mysqldump -u root -p${MYSQL_PASSWORD} ranger > ${SCHEMA_FILE}.sql重設 Ranger 權限。
mysql -u root -p${MYSQL_PASSWORD} REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost'; GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;重新啟動 Hive 和 Ranger 服務。
sudo systemctl start hive-metastore.service sudo systemctl start hive-server2.service sudo systemctl restart ranger-admin.service sudo systemctl restart ranger-usersync.service
將 Ranger 結構定義複製到 Cloud Storage。
gcloud storage cp ${SCHEMA_FILE}.sql gs://${BUCKET_NAME}
還原 Ranger 結構定義
使用 SSH 連線至要還原叢集結構定義的叢集 Managed Service for Apache Spark 主要節點。請在主節點上執行的 SSH 終端機工作階段中,執行本節中的指令。
設定環境變數。
BUCKET_NAME=bucket name \ MYSQL_PASSWORD=MySQL password SCHEMA_FILE=schema filename
更改下列內容:
MySQL password:您可以在叢集主要節點上開啟
/etc/mysql/my.cnf,複製 MySQL 密碼。bucket name:包含已儲存 Ranger 結構定義的 Cloud Storage bucket 名稱。
schema filename:Ranger 結構定義檔案名稱,不含
.sql副檔名,儲存在 Cloud Storage 的 bucket name 中。
停止 Hive 服務。
sudo systemctl stop hive-metastore.service sudo systemctl stop hive-server2.service
禁止變更 Ranger 結構定義資料表。
mysql -u root -p${MYSQL_PASSWORD} REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost'; GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;將 Cloud Storage 中的 Ranger 結構定義
.sql檔案複製到叢集主要節點。gcloud storage cp ${BUCKET_NAME}/${SCHEMA_FILE}.sql .還原 Ranger 結構定義。這個步驟會覆寫現有 Ranger 結構定義的內容。
mysqldump -u root -p${MYSQL_PASSWORD} ranger < ${SCHEMA_FILE}.sql重設 Ranger 權限。
mysql -u root -p${MYSQL_PASSWORD} REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost'; GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;更新 Ranger 設定檔。在下列檔案中,將 Ranger DB 主機變更為新的資料庫主機名稱,並使用下列屬性:
檔案 屬性 ranger-hdfs-security.xmlranger.plugin.hdfs.policy.rest.urlranger-yarn-security.xmlranger.plugin.yarn.policy.rest.url重新啟動 Hive 和 Ranger 服務。
sudo systemctl start hive-metastore.service sudo systemctl start hive-server2.service sudo systemctl restart ranger-admin.service sudo systemctl restart ranger-usersync.service