建立遷移工作,將資料遷移至新的目的地叢集

使用資料庫遷移服務建立 AlloyDB for PostgreSQL 目的地叢集時,系統會佈建該叢集,並將其設為具有主要執行個體的 AlloyDB for PostgreSQL 叢集。在遷移過程中執行特定作業,可能會導致遷移錯誤。遷移至新的目的地叢集時,請留意下列操作注意事項:

  • 避免對遷移資料執行寫入作業:請勿在目的地叢集,對遷移作業涵蓋的資料表或資料庫執行寫入作業 (例如 INSERT、UPDATE、DELETE 或 DDL 結構定義變更)。這類作業可能會導致與來源資料發生複製衝突。
  • 管理資料庫使用者:您隨時可以使用標準 psql 指令,或透過 Google Cloud 控制台中的 AlloyDB for PostgreSQL,建立及管理資料庫使用者。詳情請參閱 AlloyDB for PostgreSQL 說明文件中的「管理資料庫使用者」。

詳情請參閱「已知限制」。

建立遷移工作的步驟包括:

  1. 定義遷移工作的設定。
  2. 指定您為來源資料庫建立的連線設定檔 (來源連線設定檔) 相關資訊。
  3. 定義目的地 AlloyDB for PostgreSQL 叢集的設定,並建立叢集。
  4. 設定來源和目的地資料庫環境之間的連線。
  5. 測試遷移工作,確保您為工作提供的連線資訊有效。

如要建立遷移工作,將資料遷移至新的目的地叢集,請按照下列步驟操作:

控制台

定義遷移工作設定

  1. 前往 Google Cloud 控制台的「Migration jobs」(遷移工作) 頁面。

    前往「Migration jobs」(遷移工作) 頁面

  2. 按一下「建立遷移工作」。

    遷移工作設定精靈頁面隨即開啟。 這個精靈包含多個面板,可引導您完成每個設定步驟。

    您隨時可以點選「儲存並結束」,暫停建立遷移工作。您輸入的所有資料都會儲存為草稿遷移工作。您可以稍後再完成遷移工作草稿。

  3. 在「開始使用」頁面中輸入下列資訊:
    1. 遷移工作名稱

      這是遷移工作的人類可讀名稱。這個值會顯示在 Google Cloud 控制台中。

    2. 遷移工作 ID

      這是遷移工作的機器可讀 ID。 您可以使用這個值,透過資料庫遷移服務 Google Cloud CLI 指令或 API 執行遷移工作。

    3. 從「Source database engine」(來源資料庫引擎) 清單中選取「PostgreSQL」。
    4. 從「Destination database engine」(目的地資料庫引擎) 清單中,選取「AlloyDB for PostgreSQL」。
    5. 選取您儲存遷移工作的區域。

      資料庫遷移服務是完全區域性的產品,也就是說,與遷移作業相關的所有實體 (來源和目的地連線設定檔、遷移工作、目的地資料庫) 都必須儲存在單一區域。請根據需要資料的服務 (例如 Compute Engine 執行個體或 App Engine 應用程式) 和其他服務的位置,選取區域。選定目的地區域後,即無法變更。

    6. 指定遷移工作類型:「連續」(快照 + 持續變更)。AlloyDB for PostgreSQL 同質遷移僅支援連續遷移。
    7. 查看系統為環境產生的必要條件。請確認來源資料庫設定正確無誤。詳情請參閱「設定來源資料庫」。
  4. 按一下 [儲存並繼續]。

指定來源連線設定檔的相關資訊

在「Define a source」(定義來源) 頁面中,執行下列步驟:

  1. 在「來源連線設定檔」下拉式選單中,選取來源資料庫的連線設定檔 (或點選「建立連線設定檔」,請參閱「建立來源連線設定檔」)。
  2. 在「Customize parallelism configurations」(自訂平行處理設定) 區段中,按一下「Show parallelism configurations」(顯示平行處理設定)。

    在初始完整傾印期間,pglogical 擴充功能會在資料表層級複製資料,不會將個別非分區資料表、葉分區或沒有主鍵的資料表分割至多個訂閱項目。也就是說,強化資料傾印平行處理功能無法提高單一大型非分區資料表的初始傾印速度,因為該資料表是在一個訂閱項目內複製。詳情請參閱「資料轉儲平行處理注意事項」。

    資料轉儲平行處理的速度,與來源資料庫的負載量有關:

    • 最佳 (建議):平衡效能,並在來源資料庫上達到最佳負載。資料庫遷移服務最多會為每個資料庫建立 2 項訂閱項目 (所有資料庫最多 2 項,每個遷移的資料庫至少 1 項)。
    • 最大:提供最快的傾印速度,但可能會增加來源資料庫的負載。資料庫遷移服務最多會為每個資料庫建立 4 個訂閱項目 (所有資料庫最多 4 個,每個遷移的資料庫至少 1 個)。
    • 最低:使用來源資料庫上最低量的運算資源,但傾印處理量可能較低。資料庫遷移服務會為每個資料庫建立 1 項訂閱。

    如果選擇調整後的資料轉儲平行處理設定,請務必提高來源資料庫的 max_replication_slots、max_wal_senders 和 max_worker_processes 參數。

  3. 按一下 [儲存並繼續]。

設定並建立目的地 AlloyDB for PostgreSQL 叢集

現在,請為遷移工作建立新的 AlloyDB for PostgreSQL 目的地叢集。叢集是 AlloyDB for PostgreSQL 的頂層資源。其中包含單一主要執行個體,可讓您在遷移過程中讀取及寫入建立的資料庫。

  1. 在「Define a destination」(定義目的地) 頁面中,從「Type of destination instance」(目的地執行個體類型) 下拉式選單中選取「New cluster」(新叢集)。
  2. 選擇叢集類型。資料庫遷移服務支援高可用性 AlloyDB for PostgreSQL 叢集,可提供區域內多個可用區的資料,初始佈建期間不含讀取集區。
  3. 按一下「繼續」。
  4. 設定叢集:
    1. 在「Cluster ID」(叢集 ID) 欄位中,輸入 AlloyDB for PostgreSQL 叢集的 ID,或使用自動生成的 ID。

      請勿在 ID 中加入敏感或個人識別資訊。叢集名稱不必包含專案 ID。系統會在適當情況下自動執行這項操作。

    2. 在「Password」(密碼) 欄位中,提供目的地 AlloyDB for PostgreSQL 叢集的英數字元密碼。這是叢集中 postgres 管理員帳戶的密碼。

      您可以手動輸入密碼,也可以按一下「Generate」(產生),讓資料庫遷移服務自動建立密碼。

    3. 從「Database version」(資料庫版本) 下拉式選單中,選擇目的地叢集的資料庫版本。

      進一步瞭解跨版本遷移支援。

    4. 在「Network」(網路) 欄位中:
      1. 選取網路路徑,定義設定遷移連線時可用的資源。叢集已設定私人 IP 網路路徑。如要透過虛擬私有雲對等互連連線至來源資料庫,請選取來源資料庫所在的虛擬私有雲。
      2. 如果網路未設定私人服務存取權,請按一下「設定連線」,然後按照連線設定精靈的指示操作。
      3. 如果所選虛擬私有雲從未設定代管服務網路,您可以選擇 IP 範圍並點選「連線」,或使用系統自動選取的 IP 範圍並點選「分配並連線」。
    5. (選用) 設定目的地叢集的資料加密選項。

      展開這個部分即可查看選用步驟。

      按一下「顯示進階選項」,指定是否要管理從來源遷移至目的地的資料加密。根據預設,您的資料會以 Google Cloud代管的金鑰加密。

      如要自行管理加密作業,您可以使用客戶自行管理的加密金鑰 (CMEK)。 金鑰必須與 AlloyDB for PostgreSQL 叢集位於相同位置。舉例來說,位於 us-west1 的叢集只能使用 us-west1 中的金鑰。

      1. 選取「使用客戶自行管理的加密金鑰 (CMEK)」圓形按鈕。
      2. 從「Select a customer-managed key」(選取客戶自行管理的金鑰) 選單中,選取 CMEK。

      如果找不到金鑰,請按一下「Enter key resource name」(輸入金鑰資源名稱),提供要使用的金鑰資源名稱。舉例來說,在「Key resource name」欄位中輸入 projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key,然後按一下「Save」。

    6. 按一下「繼續」。
  5. 設定主要執行個體。主要執行個體會決定叢集的運算能力,並支援讀取和寫入作業:
    1. 在「Instance ID」(執行個體 ID) 欄位中,輸入主要執行個體的 ID。
    2. 選取主要執行個體的機型。
    3. 如果您打算使用「IP 許可清單」連線方式,請勾選「啟用傳出公開 IP」核取方塊。
    4. (選用) 設定主要執行個體的資料庫旗標。

      展開這個部分即可查看選用步驟。

      按一下「顯示進階選項」,設定主要執行個體的資料庫旗標。如要瞭解支援的旗標,請參閱 AlloyDB for PostgreSQL 說明文件中的「設定資料庫旗標」。針對每個標記:

      1. 按一下「新增旗標」。
      2. 從「New database flag」(新增資料庫旗標) 清單中選取旗標。
      3. 提供旗標值。
      4. 按一下「完成」。
  6. 按一下「儲存並繼續」,然後點選「建立目的地並繼續」確認選擇。 資料庫遷移服務會建立 AlloyDB for PostgreSQL 目的地叢集和主要執行個體。這項程序應該會在幾分鐘內完成。

設定來源資料庫執行個體與目的地叢集之間的連線

從「Connectivity method」(連線方式) 下拉式選單中,選取網路連線方式。這個方法定義了目的地 AlloyDB for PostgreSQL 叢集如何連線至來源資料庫。目前遷移至新叢集的網路連線方法包括 IP 許可清單、虛擬私有雲對接、反向 SSH 通道,以及透過託管於雲端的 VM 使用 TCP Proxy。

如要使用...具體做法
IP 許可清單網路連線方式 複製目的地叢集主要執行個體的兩個傳出公開 IP 位址,並據以設定來源資料庫伺服器的網路防火牆和 pg_hba.conf 檔案。
反向 SSH 通道網路連線方式 選取要託管通道的 Compute Engine VM 執行個體。

指定執行個體後,Google 會提供指令碼,執行在來源和目的地資料庫之間設定通道的步驟。從可連線至來源資料庫和 Google Cloud的機器,在 Google Cloud CLI 中執行指令碼。

虛擬私有雲對接網路連線方式 選取來源資料庫所在的虛擬私有雲網路。目的地叢集會使用私人服務存取權連線至這個網路。
透過雲端託管 VM 的 TCP Proxy 連線方法 輸入新 Compute Engine VM 執行個體的必要詳細資料,這個執行個體將託管 TCP Proxy。

指定詳細資料後, Google Cloud 控制台會提供指令碼,在來源和目的地資料庫之間設定 Proxy。在已安裝最新版 Google Cloud CLI 的機器上執行指令碼。

執行指令碼後,請輸入新建立 VM 的私人 IP 位址,然後按一下「設定並繼續」。

選取並設定網路連線後,按一下「Configure and continue」(設定並繼續)。

設定遷移資料庫

您可以從來源執行個體遷移所有資料庫,或只選擇特定資料庫。

  1. 在「Databases to migrate」(要遷移的資料庫) 清單中,選取下列其中一個選項:
    • 所有資料庫:選取來源中的所有資料庫。
    • 「Specific databases」(特定資料庫):可讓您從來源的所有資料庫中選取特定資料庫。
  2. 如要遷移特定資料庫,請篩選顯示的清單,並選取要透過資料庫遷移服務遷移至目的地的資料庫。

    如果清單未顯示,且出現資料庫探索錯誤,請按一下「重新載入」。如果資料庫探索失敗,工作會遷移所有資料庫。您可以繼續建立遷移工作,稍後再修正連線錯誤。

  3. 按一下 [儲存並繼續]。

測試、建立及執行遷移工作

在最後一個步驟中,請查看遷移工作設定、來源、目的地和連線方式的摘要,然後測試遷移工作設定是否有效。如果遇到任何問題,可以修改遷移工作設定。

  1. 在「測試及建立遷移工作」頁面,點選「測試工作」。

    如果測試失敗,請在流程的適當部分解決問題,然後返回重新測試。如要瞭解如何排解遷移工作測試失敗的問題,請參閱「診斷 AlloyDB for PostgreSQL 的問題」。

  2. 遷移工作測試完成後,按一下「Create and start job」(建立並啟動工作),即可建立遷移工作並立即啟動;或者,您也可以按一下「Create job」(建立工作),建立遷移工作但不立即啟動。

    如果工作在建立時未啟動,可以前往「Migration jobs」(遷移工作) 頁面,然後按一下「Start」(啟動) 啟動工作。無論遷移工作何時開始,貴組織都必須支付目的地叢集的費用。

    啟動遷移工作後,資料庫遷移服務會開始執行初始完整轉儲和連續複製作業。詳情請參閱「已知限制」。

  3. 請繼續查看遷移工作。

Google Cloud CLI

  1. 建立目的地連線設定檔。
    使用 Google Cloud CLI 遷移至新的目的地叢集時,您會透過單一動作建立目的地叢集和連線設定檔。
    執行下列指令 (點選連結即可展開):

    gcloud database-migration connection-profiles create alloydb

    這個範例使用選用的 --no-async 旗標,因此所有作業都會同步執行。這表示某些指令可能需要一段時間才能完成。您可以略過 --no-async 旗標,以非同步方式執行指令。如果這麼做,您必須使用 gcloud database-migration operations describe 指令,確認作業是否成功。

    使用下列任何指令資料前,請先替換以下項目:

    • 將 DEST_CONN_ID 替換為目的地連線設定檔 ID。
    • 將 REGION 替換為要儲存連線設定檔及建立目的地叢集的區域。
    • DEST_PASSWORD:目的地 AlloyDB for PostgreSQL 叢集上 postgres 使用者的初始密碼。
    • PRIMARY_ID:目的地 AlloyDB for PostgreSQL 叢集的主要執行個體 ID。
    • CPU_COUNT:主要執行個體的 vCPU 數量,例如 2、4、8。
    • VPC_NETWORK:虛擬私有雲網路的名稱或完整資源 URI,該網路已設定私人服務連線。
    • 選用:如要為新的目的地 AlloyDB for PostgreSQL 叢集和主要執行個體進行其他設定,可以傳遞下列旗標:
      • --enable-outbound-public-ip:在主要執行個體上啟用傳出公開 IP (如果使用 IP 許可清單連線,則必須啟用)。
      • --kms-key、--kms-keyring 和 --kms-project:使用客戶自行管理的加密金鑰 (CMEK) 加密目的地叢集。
      • --database-version:指定目的地叢集的 PostgreSQL 主要版本 (例如 POSTGRES_15)。
      • --database-flags:指定目的地主要執行個體的資料庫旗標 (KEY=VALUE) 清單,並以半形逗號分隔。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration connection-profiles create alloydb DEST_CONN_ID \
      --region=REGION \
      --password=DEST_PASSWORD \
      --primary-id=PRIMARY_ID \
      --cpu-count=CPU_COUNT \
      --network=VPC_NETWORK \
      --no-async

    Windows (PowerShell)

    gcloud database-migration connection-profiles create alloydb DEST_CONN_ID `
      --region=REGION `
      --password=DEST_PASSWORD `
      --primary-id=PRIMARY_ID `
      --cpu-count=CPU_COUNT `
      --network=VPC_NETWORK `
      --no-async

    Windows (cmd.exe)

    gcloud database-migration connection-profiles create alloydb DEST_CONN_ID ^
      --region=REGION ^
      --password=DEST_PASSWORD ^
      --primary-id=PRIMARY_ID ^
      --cpu-count=CPU_COUNT ^
      --network=VPC_NETWORK ^
      --no-async

    您應該會收到類似以下的回應:

    Waiting for connection profile [DEST_CONN_ID]
    to be created with [OPERATION_ID]
    
    Waiting for operation [OPERATION_ID] to complete...done.
    
    Created connection profile DEST_CONN_ID [OPERATION_ID]
    
  2. 建立遷移工作。
    如果您使用 IP 許可清單、虛擬私有雲對等互連或反向 SSH 通道連線能力,請務必新增必要旗標,例如 --static-ip、--peer-vpc 或 --vm、--vm-ip、--vm-port 和 --vpc。詳情請參閱「設定連線」和「Google Cloud CLI 範例」。
    執行下列指令 (點選連結即可展開):

    gcloud database-migration migration-jobs create

    這個範例使用選用的 --no-async 旗標,因此所有作業都會同步執行。這表示某些指令可能需要一段時間才能完成。您可以略過 --no-async 旗標,以非同步方式執行指令。如果這麼做,您必須使用 gcloud database-migration operations describe 指令,確認作業是否成功。

    使用下列任何指令資料前,請先替換以下項目:

    • MIGRATION_JOB_ID:遷移工作的機器可讀 ID。您可以使用這個值,透過資料庫遷移服務 Google Cloud CLI 指令或 API 執行遷移工作。
    • REGION:要儲存遷移工作的區域 ID。
    • MIGRATION_JOB_NAME:遷移工作的人類可讀名稱。這個值會顯示在 Google Cloud 控制台的資料庫遷移服務中。
    • SOURCE_CONNECTION_PROFILE_ID:來源連線設定檔的機器可讀 ID。詳情請參閱「建立來源連線設定檔」。
    • DESTINATION_CONNECTION_PROFILE_ID 替換為目的地連線設定檔的機器可讀 ID。
    • 選用:資料庫遷移服務預設會遷移來源中的所有資料庫。如要只遷移特定資料庫,請使用 --databases-filter 旗標,並以半形逗號分隔的清單指定 ID。

      例如:--databases-filter=my-business-database,my-other-database

      您之後可以使用 gcloud database-migration migration-jobs update 指令,編輯使用 --databases-filter 旗標建立的遷移工作。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration migration-jobs \
    create MIGRATION_JOB_ID \
      --no-async \
      --region=REGION \
      --display-name=MIGRATION_JOB_NAME \
      --source=SOURCE_CONNECTION_PROFILE_ID \
      --destination=DESTINATION_CONNECTION_PROFILE_ID \
      --type=CONTINUOUS

    Windows (PowerShell)

    gcloud database-migration migration-jobs `
    create MIGRATION_JOB_ID `
      --no-async `
      --region=REGION `
      --display-name=MIGRATION_JOB_NAME `
      --source=SOURCE_CONNECTION_PROFILE_ID `
      --destination=DESTINATION_CONNECTION_PROFILE_ID `
      --type=CONTINUOUS

    Windows (cmd.exe)

    gcloud database-migration migration-jobs ^
    create MIGRATION_JOB_ID ^
      --no-async ^
      --region=REGION ^
      --display-name=MIGRATION_JOB_NAME ^
      --source=SOURCE_CONNECTION_PROFILE_ID ^
      --destination=DESTINATION_CONNECTION_PROFILE_ID ^
      --type=CONTINUOUS

    您應該會收到類似以下的回應:

    Waiting for migration job [MIGRATION_JOB_ID]
    to be created with [OPERATION_ID]
    
    Waiting for operation [OPERATION_ID] to complete...done.
    
    Created migration job MIGRATION_JOB_ID [OPERATION_ID]