備份及還原 Ranger 結構定義

您可以備份 Managed Service for Apache Spark with Ranger 叢集上的 Ranger 資料庫結構定義,保護存取控管政策,並為災難復原做好準備。還原結構定義後,即可復原安全性設定,或在叢集間遷移權限。

事前準備

  1. 視需要建立 bucket。您必須有權存取 Cloud Storage bucket,才能儲存及還原 Ranger 結構定義。

    如要建立值區,請按照下列指示操作:

    1. 前往 Google Cloud 控制台的「Cloud Storage bucket」頁面。

      前往「Buckets」(值區) 頁面

    2. 點選 「Create」(建立)。
    3. 在「Create a bucket」(建立 bucket) 頁面中,輸入 bucket 資訊。如要前往下一個步驟,請按一下「Continue」(繼續)。
      1. 在「Get started」(開始使用) 部分,執行下列操作:
        • 輸入符合 bucket 命名規定的全域不重複名稱。
        • 如要新增值區標籤,請展開「Labels」(標籤) 專區 (),然後按一下「Add label」(新增標籤) ,並為標籤指定key和value。
      2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中,執行下列操作:
        1. 選取「位置類型」。
        2. 從「Location type」(位置類型) 下拉式選單中,選擇永久儲存 bucket 資料的位置。
          • 如果選取「雙區域」位置類型,也可以勾選相關核取方塊,啟用強化型複製功能。
        3. 如要設定跨 bucket 複製,請選取「新增透過 Storage 移轉服務執行的跨 bucket 複製作業」,然後按照下列步驟操作:

          設定跨 bucket 複製作業

          1. 在「Bucket」選單中選取 bucket。
          2. 在「Replication settings」(複製設定) 專區中,按一下「Configure」(設定),即可調整複製工作的設定。

            「Configure cross-bucket replication」(設定跨 bucket 複製作業) 窗格隨即顯示。

            • 如要依物件名稱前置字串篩選要複製的物件,請輸入要納入或排除物件的前置字串,然後按一下「 新增前置字串」。
            • 如要為複製的物件設定儲存空間級別,請從「Storage class」(儲存空間級別) 選單中選取儲存空間級別。如果略過這個步驟,複製的物件預設會使用目的地 bucket 的儲存空間級別。
            • 按一下「完成」。
      3. 在「Choose how to store your data」(選擇資料儲存方式) 部分,執行下列操作:
        1. 選取 bucket 的預設儲存空間級別,或選取 Autoclass,讓系統自動管理 bucket 資料的儲存空間級別。
        2. 如要啟用階層命名空間,請在「Optimize storage for data-intensive workloads」(為資料密集型工作負載提供最理想的儲存空間) 專區,選取「Enable hierarchical namespace on this bucket」(為這個 bucket 啟用階層命名空間)。
      4. 在「Choose how to control access to objects」(選取如何控制物件的存取權) 區段中,選取 bucket 是否強制執行公開存取權防護,並為 bucket 的物件選取存取控管方法。
      5. 在「Choose how to protect object data」(選擇保護物件資料的方式) 部分,執行下列操作:
        • 在「資料保護」下方,選取要為 bucket 設定的選項。
          • 如要啟用虛刪除功能,請勾選「虛刪除政策 (用於資料復原)」核取方塊,並指定物件刪除後要保留的天數。
          • 如要設定物件版本管理,請勾選「Object versioning (For version control)」(物件版本管理 (用於版本管控)) 核取方塊,並指定每個物件的版本數量上限,以及非現行版本的有效天數。
          • 如要啟用物件和 bucket 的資料保留政策,請勾選「資料保留 (法規遵循)」核取方塊,然後執行下列操作:
            • 如要啟用物件保留鎖定功能,請勾選「Enable object retention」(啟用物件保留功能) 核取方塊。
            • 如要啟用值區鎖定功能,請勾選「Set bucket retention policy」(設定值區資料保留政策) 核取方塊,然後選擇保留期限的時間單位和長度。
        • 如要選擇物件資料的加密方式,請展開「Data encryption」(資料加密) 專區 (),然後選取「Data encryption」(資料加密) 方法。
    4. 點選「建立」。

備份 Ranger 結構定義

  1. 使用 SSH 連線至叢集的 Managed Service for Apache Spark 主要節點,並使用 Ranger 結構定義。請在主節點上執行的 SSH 終端機工作階段中,執行本節中的指令。

  2. 設定環境變數。

    BUCKET_NAME=bucket name \
      MYSQL_PASSWORD=MySQL password
      SCHEMA_FILE=schema filename
    

    更改下列內容:

    • MySQL password:您可以在叢集主要節點上開啟 /etc/mysql/my.cnf,複製 MySQL 密碼。

    • bucket name:用於儲存 Ranger 結構定義的 Cloud Storage bucket 名稱。

    • schema filename:指定檔案名稱,不含 .sql 副檔名。Ranger 結構定義會儲存在主要節點的這個檔案中,然後儲存在 Cloud Storage 的 bucket name。

  3. 停止 Hive 服務。

    sudo systemctl stop hive-metastore.service
    sudo systemctl stop hive-server2.service
    

  4. 禁止變更 Ranger 結構定義資料表。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
    GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  5. 將 Ranger 結構定義儲存至 .sql 檔案。

    mysqldump -u root -p${MYSQL_PASSWORD} ranger > ${SCHEMA_FILE}.sql
    
  6. 重設 Ranger 權限。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
    GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  7. 重新啟動 Hive 和 Ranger 服務。

    sudo systemctl start hive-metastore.service
      sudo systemctl start hive-server2.service
      sudo systemctl restart ranger-admin.service
      sudo systemctl restart ranger-usersync.service
    
  8. 將 Ranger 結構定義複製到 Cloud Storage。

    gcloud storage cp ${SCHEMA_FILE}.sql gs://${BUCKET_NAME}
    

還原 Ranger 結構定義

  1. 使用 SSH 連線至要還原叢集結構定義的叢集 Managed Service for Apache Spark 主要節點。請在主節點上執行的 SSH 終端機工作階段中,執行本節中的指令。

  2. 設定環境變數。

    BUCKET_NAME=bucket name \
      MYSQL_PASSWORD=MySQL password
      SCHEMA_FILE=schema filename
    

    更改下列內容:

    • MySQL password:您可以在叢集主要節點上開啟 /etc/mysql/my.cnf,複製 MySQL 密碼。

    • bucket name:包含已儲存 Ranger 結構定義的 Cloud Storage bucket 名稱。

    • schema filename:Ranger 結構定義檔案名稱,不含 .sql 副檔名,儲存在 Cloud Storage 的 bucket name 中。

  3. 停止 Hive 服務。

    sudo systemctl stop hive-metastore.service
    sudo systemctl stop hive-server2.service
    

  4. 禁止變更 Ranger 結構定義資料表。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
    GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  5. 將 Cloud Storage 中的 Ranger 結構定義 .sql 檔案複製到叢集主要節點。

    gcloud storage cp ${BUCKET_NAME}/${SCHEMA_FILE}.sql .
    
  6. 還原 Ranger 結構定義。這個步驟會覆寫現有 Ranger 結構定義的內容。

    mysqldump -u root -p${MYSQL_PASSWORD} ranger < ${SCHEMA_FILE}.sql
    
  7. 重設 Ranger 權限。

    mysql -u root -p${MYSQL_PASSWORD}
    REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
    GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
    FLUSH PRIVILEGES;
    SHOW GRANTS FOR 'rangeradmin'@'localhost';
    exit;
    
  8. 更新 Ranger 設定檔。在下列檔案中,將 Ranger DB 主機變更為新的資料庫主機名稱,並使用下列屬性:

    檔案 屬性
    ranger-hdfs-security.xml ranger.plugin.hdfs.policy.rest.url
    ranger-yarn-security.xml ranger.plugin.yarn.policy.rest.url
  9. 重新啟動 Hive 和 Ranger 服務。

    sudo systemctl start hive-metastore.service
      sudo systemctl start hive-server2.service
      sudo systemctl restart ranger-admin.service
      sudo systemctl restart ranger-usersync.service