建立遷移工作,將資料遷移至現有的目的地叢集

遷移至現有的 AlloyDB for PostgreSQL 目的地叢集時,資料庫遷移服務會將目的地叢集降級,設為外部副本。降級叢集不會將 AlloyDB for PostgreSQL 設為唯讀模式,但在遷移過程中執行特定作業,可能會導致遷移錯誤。遷移至現有的目的地叢集時,請注意下列操作事項:
  • 叢集降級:資料庫遷移服務會降級目的地叢集,將其設為來源資料庫的副本。
  • 避免對遷移資料執行寫入作業:請勿在目的地叢集,對遷移作業涵蓋的資料表或資料庫執行寫入作業 (例如 INSERT、UPDATE、DELETE 或 DDL 結構定義變更)。這類作業可能會導致與來源資料發生複製衝突。
  • 管理資料庫使用者:您隨時可以使用標準 psql 指令,或透過 Google Cloud 控制台中的 AlloyDB for PostgreSQL,建立及管理資料庫使用者。詳情請參閱 AlloyDB for PostgreSQL 說明文件中的「管理資料庫使用者」。

詳情請參閱「現有目的地叢集的已知限制」。

資料庫遷移服務會執行遷移工作,將資料從來源資料庫遷移到 AlloyDB for PostgreSQL 目的地叢集。為現有目的地叢集建立遷移工作,包括:

  • 定義遷移工作的設定
  • 定義來源設定並選取要遷移的資料庫
  • 選取現有的 AlloyDB for PostgreSQL 目的地叢集
  • 正在降級現有叢集,將其設為來源資料庫的副本
  • 設定來源和目的地資料庫之間的連線
  • 測試遷移工作,確保您提供的連線資訊有效

事前準備

建立遷移工作,將資料遷移至現有的 AlloyDB for PostgreSQL 目的地叢集前,請務必完成下列事項:

  1. 確認這項遷移類型支援您的情境。 舉例來說,如要遷移至在資料庫遷移服務以外建立的叢集,AlloyDB for PostgreSQL 目的地叢集必須空白,或僅包含系統設定資料。 詳情請參閱「已知限制」。
  2. 建立目的地 AlloyDB for PostgreSQL 叢集及其主要執行個體。請參閱 AlloyDB for PostgreSQL 說明文件中的「建立叢集及其主要執行個體」。

  3. 準備來源資料庫執行個體。請參閱下列頁面:
    1. 設定來源資料庫
    2. 建立來源連線設定檔
    3. 設定連線能力

如要建立遷移工作,將資料遷移至現有的目的地叢集,請按照下列步驟操作:

控制台

定義遷移工作設定

  1. 前往 Google Cloud 控制台的「Migration jobs」(遷移工作) 頁面。

    前往「Migration jobs」(遷移工作) 頁面

  2. 按一下「建立遷移工作」。

    遷移工作設定精靈頁面隨即開啟。 這個精靈包含多個面板,可引導您完成每個設定步驟。

    您隨時可以點選「儲存並結束」,暫停建立遷移工作。您輸入的所有資料都會儲存為草稿遷移工作。您可以稍後再完成遷移工作草稿。

  3. 在「開始使用」頁面中輸入下列資訊:
    1. 遷移工作名稱

      這是遷移工作的人類可讀名稱。這個值會顯示在 Google Cloud 控制台中。

    2. 遷移工作 ID

      這是遷移工作的機器可讀 ID。 您可以使用這個值,透過資料庫遷移服務 Google Cloud CLI 指令或 API 執行遷移工作。

    3. 從「來源資料庫引擎」清單中,選取「PostgreSQL」。
    4. 從「Destination database engine」(目的地資料庫引擎) 清單中,選取「AlloyDB for PostgreSQL」。
    5. 選取儲存遷移工作的區域。

      資料庫遷移服務是完全區域性的產品,也就是說,與遷移作業相關的所有實體 (來源和目的地連線設定檔、遷移工作、目的地叢集) 都必須儲存在單一區域。選取現有目的地叢集所在的區域。 選定目的地區域後,即無法變更。

    6. 選擇「連續」 (快照 + 持續變更) 做為遷移工作類型。 同質遷移至 AlloyDB for PostgreSQL 僅支援連續遷移。
  4. 按一下 [儲存並繼續]。

指定來源連線設定檔的相關資訊

在「Define a source」(定義來源) 頁面中,執行下列步驟:

  1. 在「來源連線設定檔」下拉式選單中,選取來源資料庫的連線設定檔。
  2. 在「Customize parallelism configurations」(自訂平行處理設定) 區段中,按一下「Show parallelism configurations」(顯示平行處理設定)。

    在初始完整傾印期間,pglogical 擴充功能會在資料表層級複製資料,不會將個別非分區資料表、葉分區或沒有主鍵的資料表分割至多個訂閱項目。也就是說,強化資料傾印平行處理功能無法提高單一大型非分區資料表的初始傾印速度,因為該資料表是在一個訂閱項目內複製。詳情請參閱「資料轉儲平行處理注意事項」。

    資料轉儲平行處理的速度,與來源資料庫的負載量有關:

    • 最佳 (建議):平衡效能,並在來源資料庫上達到最佳負載。資料庫遷移服務最多會為每個資料庫建立 2 項訂閱項目 (所有資料庫最多 2 項,每個遷移的資料庫至少 1 項)。
    • 最大:提供最快的傾印速度,但可能會增加來源資料庫的負載。資料庫遷移服務最多會為每個資料庫建立 4 個訂閱項目 (所有資料庫最多 4 個,每個遷移的資料庫至少 1 個)。
    • 最低:使用來源資料庫上最低量的運算資源,但傾印處理量可能較低。資料庫遷移服務會為每個資料庫建立 1 項訂閱。

    如果選擇調整後的資料轉儲平行處理設定,請務必提高來源資料庫的 max_replication_slots、max_wal_senders 和 max_worker_processes 參數。

  3. 按一下 [儲存並繼續]。

選取目的地 AlloyDB for PostgreSQL 叢集

  1. 在「Type of destination instance」(目的地執行個體類型) 選單中,選取「Existing cluster」(現有叢集)。
  2. 在「Select destination cluster」(選取目的地叢集) 部分,選取目的地 AlloyDB for PostgreSQL 叢集。
  3. 查看「叢集詳細資料」部分中的資訊,然後按一下「選取並繼續」。

    如要遷移至現有的目的地資料庫,資料庫遷移服務會將目標叢集降級,並設為副本。在確認視窗中輸入目的地叢集 ID,表示可以安全執行降級作業。

  4. 按一下「確認並繼續」。

設定來源資料庫執行個體與目的地叢集之間的連線

從「Connectivity method」(連線方式) 下拉式選單中,選取網路連線方式。這個方法定義了 AlloyDB for PostgreSQL 目的地叢集連至來源資料庫的方式。目前的網路連線方法包括 IP 許可清單、反向 SSH 通道、Private Service Connect 介面、虛擬私有雲對接,以及透過雲端託管 VM 的 TCP Proxy。

如要使用...具體做法
IP 許可清單網路連線方式 複製目的地叢集主要執行個體的兩個傳出公開 IP 位址,並據以設定來源資料庫伺服器的網路防火牆和 pg_hba.conf 檔案。
反向 SSH 通道網路連線方式 選取要託管通道的 Compute Engine VM 執行個體。

指定執行個體後,Google 會提供指令碼,執行在來源和目的地資料庫之間設定通道的步驟。從可連線至來源資料庫和 Google Cloud的機器,在 Google Cloud CLI 中執行指令碼。

Private Service Connect 介面連線方式 資料庫遷移服務會自動建立必要的連線。 只有在目的地叢集已啟用 Private Service Connect,且具備網路連結時,才能使用這個連線方式。如要進一步瞭解 Private Service Connect,請參閱 AlloyDB for PostgreSQL 說明文件中的「設定 Private Service Connect」。
虛擬私有雲對接網路連線方式 選取來源資料庫所在的虛擬私有雲網路。AlloyDB for PostgreSQL 叢集會使用私人服務連線,連至這個網路。
透過雲端託管 VM 的 TCP Proxy 連線方法 輸入新 Compute Engine VM 執行個體的必要詳細資料,這個執行個體將託管 TCP Proxy。

指定詳細資料後, Google Cloud 控制台會提供指令碼,在來源和目的地資料庫之間設定 Proxy。在已安裝最新版 Google Cloud CLI 的機器上執行指令碼。

執行指令碼後,請輸入新建立 VM 的私人 IP 位址,然後按一下「設定並繼續」。

選取並設定網路連線後,按一下「設定並繼續」。

設定遷移資料庫

您可以從來源執行個體遷移所有資料庫,或只選擇特定資料庫。

  1. 在「Databases to migrate」(要遷移的資料庫) 清單中,選取下列其中一個選項:
    • 所有資料庫:選取來源中的所有資料庫。
    • 「Specific databases」(特定資料庫):可讓您從來源的所有資料庫中選取特定資料庫。
  2. 如要遷移特定資料庫,請篩選顯示的清單,並選取要透過資料庫遷移服務遷移至目的地的資料庫。

    如果清單未顯示,且出現資料庫探索錯誤,請按一下「重新載入」。如果資料庫探索失敗,工作會遷移所有資料庫。您可以繼續建立遷移工作,稍後再修正連線錯誤。

  3. 按一下 [儲存並繼續]。

測試、建立及執行遷移工作

在最後一個步驟中,請查看遷移工作設定、來源、目的地和連線方式的摘要,然後測試遷移工作設定是否有效。如果發生任何問題,您可以修改遷移工作的設定。部分設定無法編輯。

  1. 在「測試及建立遷移工作」頁面,點選「測試工作」。

    如果測試失敗,請在流程的適當部分解決問題,然後返回重新測試。如要瞭解如何排解遷移工作測試失敗的問題,請參閱「診斷 AlloyDB for PostgreSQL 的問題」。

  2. 遷移工作測試完成後,按一下「Create and start job」(建立並啟動工作),即可建立遷移工作並立即啟動;或者,您也可以按一下「Create job」(建立工作),建立遷移工作但不立即啟動。

    如果工作在建立時未啟動,可以前往「Migration jobs」(遷移工作) 頁面,然後按一下「Start」(啟動) 啟動工作。無論遷移工作何時開始,貴組織都必須支付目的地叢集的費用。

    遷移作業正在進行中。啟動遷移工作後,資料庫遷移服務會開始執行初始完整轉儲和連續複製作業。詳情請參閱「已知限制」。

  3. 請繼續查看遷移工作。

Google Cloud CLI

使用 Google Cloud CLI 遷移至現有叢集時,必須手動建立目的地叢集的連線設定檔。使用 Google Cloud 控制台時,您不需要執行這項操作,因為資料庫遷移服務會為您建立及移除目的地連線設定檔。

  1. 建立目的地連線設定檔。
    執行 gcloud database-migration connection-profiles create 指令,為現有目的地叢集建立目的地連線設定檔 (點選連結即可展開):

    gcloud database-migration connection-profiles create postgresql

    這個範例使用選用的 --no-async 旗標,因此所有作業都會同步執行。這表示某些指令可能需要一段時間才能完成。您可以略過 --no-async 旗標,以非同步方式執行指令。如果這麼做,您必須使用 gcloud database-migration operations describe 指令,確認作業是否成功。

    使用下列任何指令資料前,請先替換以下項目:

    • 將 DEST_CONN_ID 替換為目的地連線設定檔 ID。
    • 將 REGION 替換為要儲存連線設定檔的區域。這個區域應與目的地叢集區域相同。
    • DEST_CLUSTER:預先建立的目的地 AlloyDB for PostgreSQL 叢集 ID。
    • DEST_USER:目的地資料庫的遷移使用者名稱。
    • DEST_PASSWORD:目的地資料庫中遷移使用者的密碼。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration connection-profiles create postgresql DEST_CONN_ID \
      --region=REGION \
      --alloydb-cluster=DEST_CLUSTER \
      --username=DEST_USER \
      --password=DEST_PASSWORD \
      --role=DESTINATION \
      --no-async

    Windows (PowerShell)

    gcloud database-migration connection-profiles create postgresql DEST_CONN_ID `
      --region=REGION `
      --alloydb-cluster=DEST_CLUSTER `
      --username=DEST_USER `
      --password=DEST_PASSWORD `
      --role=DESTINATION `
      --no-async

    Windows (cmd.exe)

    gcloud database-migration connection-profiles create postgresql DEST_CONN_ID ^
      --region=REGION ^
      --alloydb-cluster=DEST_CLUSTER ^
      --username=DEST_USER ^
      --password=DEST_PASSWORD ^
      --role=DESTINATION ^
      --no-async

    您應該會收到類似以下的回應:

    Waiting for connection profile [DEST_CONN_ID]
    to be created with [OPERATION_ID]
    
    Waiting for operation [OPERATION_ID] to complete...done.
    
    Created connection profile DEST_CONN_ID [OPERATION_ID]
    
  2. 建立遷移工作。
    以下範例代表遷移情境,其中您在來源和目的地資料庫之間使用私人 IP 連線。如果使用其他連線類型 (例如 IP 許可清單、虛擬私有雲對接或反向 SSH 通道),請務必新增必要旗標,例如 --static-ip、--peer-vpc 或 --vm、--vm-ip、--vm-port 和 --vpc。詳情請參閱「設定連線」和「Google Cloud CLI 範例」。
    執行下列指令 (點選連結即可展開):

    gcloud database-migration migration-jobs create

    這個範例使用選用的 --no-async 旗標,因此所有作業都會同步執行。這表示某些指令可能需要一段時間才能完成。您可以略過 --no-async 旗標,以非同步方式執行指令。如果這麼做,您必須使用 gcloud database-migration operations describe 指令,確認作業是否成功。

    使用下列任何指令資料前,請先替換以下項目:

    • MIGRATION_JOB_ID:遷移工作的機器可讀 ID。您可以使用這個值,透過資料庫遷移服務 Google Cloud CLI 指令或 API 執行遷移工作。
    • REGION:要儲存遷移工作的區域 ID。
    • MIGRATION_JOB_NAME:遷移工作的人類可讀名稱。這個值會顯示在 Google Cloud 控制台的資料庫遷移服務中。
    • SOURCE_CONNECTION_PROFILE_ID:來源連線設定檔的機器可讀 ID。詳情請參閱「建立來源連線設定檔」。
    • DESTINATION_CONNECTION_PROFILE_ID 替換為目的地連線設定檔的機器可讀 ID。
    • 選用:資料庫遷移服務預設會遷移來源中的所有資料庫。如要只遷移特定資料庫,請使用 --databases-filter 旗標,並以半形逗號分隔的清單指定 ID。

      例如:--databases-filter=my-business-database,my-other-database

      您之後可以使用 gcloud database-migration migration-jobs update 指令,編輯使用 --databases-filter 旗標建立的遷移工作。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration migration-jobs \
    create MIGRATION_JOB_ID \
      --no-async \
      --region=REGION \
      --display-name=MIGRATION_JOB_NAME \
      --source=SOURCE_CONNECTION_PROFILE_ID \
      --destination=DESTINATION_CONNECTION_PROFILE_ID \
      --type=CONTINUOUS

    Windows (PowerShell)

    gcloud database-migration migration-jobs `
    create MIGRATION_JOB_ID `
      --no-async `
      --region=REGION `
      --display-name=MIGRATION_JOB_NAME `
      --source=SOURCE_CONNECTION_PROFILE_ID `
      --destination=DESTINATION_CONNECTION_PROFILE_ID `
      --type=CONTINUOUS

    Windows (cmd.exe)

    gcloud database-migration migration-jobs ^
    create MIGRATION_JOB_ID ^
      --no-async ^
      --region=REGION ^
      --display-name=MIGRATION_JOB_NAME ^
      --source=SOURCE_CONNECTION_PROFILE_ID ^
      --destination=DESTINATION_CONNECTION_PROFILE_ID ^
      --type=CONTINUOUS

    您應該會收到類似以下的回應:

    Waiting for migration job [MIGRATION_JOB_ID]
    to be created with [OPERATION_ID]
    
    Waiting for operation [OPERATION_ID] to complete...done.
    
    Created migration job MIGRATION_JOB_ID [OPERATION_ID]
    
  3. 降級目的地資料庫。
    資料庫遷移服務會要求您先降級現有的目的地叢集,將其設為外部副本,再開始遷移工作。執行 gcloud database-migration migration-jobs demote-destination 指令 (點選連結展開):

    gcloud database-migration migration-jobs demote-destination

    使用下列任何指令資料前,請先替換以下項目:

    • 將 MIGRATION_JOB_ID 替換為遷移工作 ID。

      如果不知道 ID,可以使用 gcloud database-migration migration-jobs list 指令列出特定區域中的所有遷移工作,並查看其 ID。

    • REGION:遷移工作的儲存區域 ID。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration migration-jobs \
    demote-destination MIGRATION_JOB_ID \
      --region=REGION

    Windows (PowerShell)

    gcloud database-migration migration-jobs `
    demote-destination MIGRATION_JOB_ID `
      --region=REGION

    Windows (cmd.exe)

    gcloud database-migration migration-jobs ^
    demote-destination MIGRATION_JOB_ID ^
      --region=REGION

    結果

    這項動作會以非同步方式執行。 因此,這個指令會傳回代表長時間執行的作業的作業實體:

    done: false
    metadata:
      '@type': type.googleapis.com/google.cloud.clouddms.v1.OperationMetadata
      apiVersion: v1
      createTime: '2024-02-20T12:20:24.493106418Z'
      requestedCancellation: false
      target: MIGRATION_JOB_ID
      verb: demote-destination
    name: OPERATION_ID
    

    如要確認作業是否成功,您可以查詢傳回的作業物件,或檢查遷移工作的狀態:

  4. 選用:驗證遷移工作。
    此時,遷移工作已設定完畢,並連線至目的地叢集。您可以使用 verify、start、stop、restart 和 resume 作業管理。建議您先執行 gcloud database-migration migration-jobs verify 指令,驗證遷移工作 (點選連結即可展開):

    gcloud database-migration migration-jobs verify

    使用下列任何指令資料前,請先替換以下項目:

    • 將 MIGRATION_JOB_ID 替換為遷移工作 ID。

      如果不知道 ID,可以使用 gcloud database-migration migration-jobs list 指令列出特定區域中的所有遷移工作,並查看其 ID。

    • REGION:遷移工作的儲存區域 ID。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration migration-jobs \
    verify MIGRATION_JOB_ID \
      --region=REGION

    Windows (PowerShell)

    gcloud database-migration migration-jobs `
    verify MIGRATION_JOB_ID `
      --region=REGION

    Windows (cmd.exe)

    gcloud database-migration migration-jobs ^
    verify MIGRATION_JOB_ID ^
      --region=REGION

    結果

    這項動作會以非同步方式執行。 因此,這個指令會傳回代表長時間執行的作業的作業實體:

    done: false
    metadata:
      '@type': type.googleapis.com/google.cloud.clouddms.v1.OperationMetadata
      apiVersion: v1
      createTime: '2024-02-20T12:20:24.493106418Z'
      requestedCancellation: false
      target: MIGRATION_JOB_ID
      verb: verify
    name: OPERATION_ID
    

    如要確認作業是否成功,您可以查詢傳回的作業物件,或檢查遷移工作的狀態:

  5. 啟動遷移工作。
    執行 gcloud database-migration migration-jobs start 指令,啟動遷移工作 (點選連結即可展開):

    gcloud database-migration migration-jobs start

    使用下列任何指令資料前,請先替換以下項目:

    • 將 MIGRATION_JOB_ID 替換為遷移工作 ID。

      如果不知道 ID,可以使用 gcloud database-migration migration-jobs list 指令列出特定區域中的所有遷移工作,並查看其 ID。

    • REGION:遷移工作的儲存區域 ID。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration migration-jobs \
    start MIGRATION_JOB_ID \
      --region=REGION

    Windows (PowerShell)

    gcloud database-migration migration-jobs `
    start MIGRATION_JOB_ID `
      --region=REGION

    Windows (cmd.exe)

    gcloud database-migration migration-jobs ^
    start MIGRATION_JOB_ID ^
      --region=REGION

    結果

    這項動作會以非同步方式執行。 因此,這個指令會傳回代表長時間執行的作業的作業實體:

    done: false
    metadata:
      '@type': type.googleapis.com/google.cloud.clouddms.v1.OperationMetadata
      apiVersion: v1
      createTime: '2024-02-20T12:20:24.493106418Z'
      requestedCancellation: false
      target: MIGRATION_JOB_ID
      verb: start
    name: OPERATION_ID
    

    如要確認作業是否成功,您可以查詢傳回的作業物件,或檢查遷移工作的狀態:

  6. 升級遷移工作。
    遷移作業進入變更資料擷取 (CDC) 階段後,您就能將目的地叢集從副本升級為獨立的主要叢集。 執行 gcloud database-migration migration-jobs promote 指令 (點選連結展開):

    gcloud database-migration migration-jobs promote

    使用下列任何指令資料前,請先替換以下項目:

    • 將 MIGRATION_JOB_ID 替換為遷移工作 ID。

      如果不知道 ID,可以使用 gcloud database-migration migration-jobs list 指令列出特定區域中的所有遷移工作,並查看其 ID。

    • REGION:遷移工作的儲存區域 ID。

    執行下列指令:

    Linux、macOS 或 Cloud Shell

    gcloud database-migration migration-jobs \
    promote MIGRATION_JOB_ID \
      --region=REGION

    Windows (PowerShell)

    gcloud database-migration migration-jobs `
    promote MIGRATION_JOB_ID `
      --region=REGION

    Windows (cmd.exe)

    gcloud database-migration migration-jobs ^
    promote MIGRATION_JOB_ID ^
      --region=REGION

    結果

    這項動作會以非同步方式執行。 因此,這個指令會傳回代表長時間執行的作業的作業實體:

    done: false
    metadata:
      '@type': type.googleapis.com/google.cloud.clouddms.v1.OperationMetadata
      apiVersion: v1
      createTime: '2024-02-20T12:20:24.493106418Z'
      requestedCancellation: false
      target: MIGRATION_JOB_ID
      verb: promote
    name: OPERATION_ID
    

    如要確認作業是否成功,您可以查詢傳回的作業物件,或檢查遷移工作的狀態: