將 Oracle 資料庫中的資料複製到 BigQuery

本教學課程說明如何使用 Cloud Data Fusion Replication 部署工作，持續將 Oracle 資料庫中的變更資料複製到 BigQuery 資料集。這項功能採用 Datastream 技術。

選用：在 Compute Engine 中安裝 Oracle

本節說明如何設定範例資料庫。如果您已安裝 Oracle 資料庫，可以略過這個部分。

  1. 下載 Oracle Server Docker 映像檔。

    如要瞭解這個 Oracle Express Edition 11g 映像檔的限制，請參閱「Oracle Database Editions」(Oracle 資料庫版本)。

  2. 部署新的 VM 執行個體上的 Docker 映像檔。

  3. 在 Compute Engine 的「Disks」(磁碟) 頁面中，將磁碟大小變更為 500 GB，然後重新啟動 VM。

    前往「Disks」(磁碟) 頁面

  4. 安裝人力資源範例結構定義。

為 Oracle 伺服器建立虛擬私有雲網路對等互連或防火牆規則

如果 Oracle 資料庫不允許公開 IP 位址傳入流量，請在 Datastream 虛擬私有雲和可存取 Oracle 資料庫的虛擬私有雲之間，設定虛擬私有雲網路對等互連。詳情請參閱「建立私人連線設定」。

如果 Oracle 資料庫允許來自公開 IP 位址的連入流量，請為 VM 執行個體建立防火牆規則，允許來自 Datastream 公開 IP 的連入流量。

設定 Oracle 伺服器以啟用增補記錄

按照步驟設定 Oracle 來源資料庫。

建立及執行 Cloud Data Fusion 複寫工作

建立工作

  1. 在 Cloud Data Fusion 網頁介面中，按一下「Replication」(複寫)。

  2. 按一下 「建立複寫工作」。

  3. 在「Create new replication job」(建立新的複寫工作) 頁面中，指定複寫工作名稱，然後按一下「Next」(下一步)。

  4. 設定來源：

    1. 選取「Oracle (透過 Datastream)」做為來源。

    2. 在「連線方式」部分，如果 Oracle 伺服器允許來自 Datastream 公開 IP 的連入流量，請選擇「IP 許可清單」。 否則，請為「私人連線名稱」選擇「私人連線 (虛擬私有雲對等互連)」，然後輸入您在「為 Oracle 伺服器建立虛擬私有雲網路對等互連或防火牆規則」一節中建立的虛擬私有雲對等互連名稱。

    3. 在「Host」(主機) 部分，輸入要讀取的 Oracle 伺服器主機名稱。

    4. 在「Port」(通訊埠) 部分，輸入用來連線至 Oracle 伺服器的通訊埠：1521。

    5. 在「系統 ID」部分，輸入 xe (Oracle 伺服器的範例資料庫名稱)。

    6. 在憑證部分，輸入存取 Oracle 伺服器的使用者名稱和密碼。

    7. 其餘屬性則保留原樣。

  5. 點選「下一步」。

  6. 設定目標：

    1. 選取 BigQuery 目標。

    2. 系統會自動偵測「專案 ID」和「服務帳戶金鑰」。保留預設值。

    3. 選用步驟：在「進階」部分，您可以設定下列項目：

      • 暫存值區的名稱和位置
      • 載入間隔
      • 暫存資料表前置字串
      • 捨棄資料表或資料庫時的行為

  7. 點選「下一步」。

  8. 如果連線成功，系統會顯示表格清單。在本教學課程中，請選取幾個資料表。

  9. 點選「下一步」。

  10. 在「Review assessment」頁面中，按一下任一表格旁的「View mappings」，即可查看複製作業期間可能發生的結構定義問題、缺少的功能或連線問題。

    如有任何問題，請務必先解決再繼續。 在本教學課程中，如果任何表格發生問題，請按照下列步驟操作：

    1. 返回選取資料表的步驟。
    2. 選取沒有問題的資料表或事件 (插入、更新或刪除)。

    如要進一步瞭解如何將來源資料庫的資料類型轉換為 BigQuery 目的地資料類型，請參閱「複寫資料類型」。

  11. 點選 [Back] (上一步)。

  12. 點選「下一步」。

  13. 查看摘要複製工作詳細資料，然後按一下「Deploy replication job」(部署複製工作)。

啟動工作

  1. 在 Cloud Data Fusion 網頁介面中，前往複寫工作詳細資料頁面。

  2. 按一下「啟動」。

複製作業會從「佈建中」轉移至「啟動中」，然後進入「執行中」狀態。在執行狀態下，複寫工作會將您選取的資料表資料初始快照載入 BigQuery。在此狀態下，表格的狀態會列為「Snapshotting」(建立快照)。初始快照載入 BigQuery 後，對資料表所做的任何變更都會複製到 BigQuery，且資料表的狀態會列為「正在複製」。

監控工作

您可以啟動及停止複製作業、查看設定和記錄，以及監控複製作業。

您可以在複製工作詳細資料頁面監控複製工作活動。

  1. 在「Replication」(複寫) 頁面中，按一下所選複寫工作的「Name」(名稱)。

  2. 按一下「監控」。

在 BigQuery 中查看結果

複製作業會在 BigQuery 中建立複製的資料集和資料表，並沿用對應的 Oracle 資料庫和資料表名稱。

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

  2. 在左側面板中，按一下專案名稱，展開資料集清單。

  3. 選取 xe 資料集，然後選取要查看的資料表。

詳情請參閱 BigQuery 說明文件。