使用 Datastream 近乎即時地串流資料變更

使用 Datastream 近乎即時地串流資料變更

瞭解如何使用 Datastream，將 Oracle 來源資料庫中的資料複製到 Cloud Storage 值區。

事前準備

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Datastream API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. 請確認您的使用者帳戶已獲派 Datastream 管理員角色。

   前往「IAM」頁面

如要為標準或共用 VPC 網路建立私人連線設定，請完成其他必要條件。詳情請參閱「建立私人連線設定」。

需求條件

Datastream 提供多種來源選項、目的地選項和網路連線方法。

在本快速入門導覽課程中，我們假設您使用獨立的 Oracle 資料庫和目的地 Cloud Storage 服務。對於來源資料庫，您應該可以設定網路來新增輸入防火牆規則。來源資料庫可位於地端部署系統中，或其他雲端服務供應商的系統中。由於目的地是 Cloud Storage，因此應位於 Google 的雲端供應商。

由於我們無法瞭解您的環境詳情，因此無法提供網路設定的詳細步驟。

在本快速入門導覽課程中，您將選取「IP 許可清單」做為連線方式。IP 位址許可清單是一項安全功能，通常用於限制和控管可存取來源資料庫中資料的信任使用者。您可以使用 IP 允許清單建立信任的 IP 位址或 IP 範圍清單，讓使用者和其他 Cloud 服務 (例如 Datastream) 存取這些資料。如要使用 IP 許可清單，您必須開放來源資料庫或防火牆，允許來自 Datastream 的連入連線。

建立連線設定檔

為來源資料庫和目的地建立連線設定檔時，您會建立含有來源和目的地相關資訊的記錄。

在本快速入門導覽中，您將選取「Oracle」做為來源連線設定檔的設定檔類型，並選取「Cloud Storage」做為目的地連線設定檔的設定檔類型。Datastream 會使用連線設定檔中的資訊，將資料從來源 Oracle 資料庫遷移至 Cloud Storage 中的目的地 bucket。

為 Oracle 資料庫建立來源連線設定檔

1. 前往Google Cloud 控制台的 Datastream「連線設定檔」頁面。

   前往「連線設定檔」頁面

2. 按一下「建立設定檔」。

3. 在「建立連線設定檔」頁面中，按一下「Oracle」設定檔類型 (因為您要為 Oracle 資料庫建立來源連線設定檔)。

4. 在「Create Oracle profile」(建立 Oracle 設定檔) 頁面的「Define connection settings」(定義連線設定) 區段中，提供下列資訊：

   • 輸入 My Source Connection Profile 做為來源資料庫的連線設定檔名稱。
   • 保留系統自動產生的「連線設定檔 ID」。
   • 選取要儲存連線設定檔的區域。
   連線設定檔與所有資源一樣，會儲存在區域中，且串流只能使用與串流儲存在相同區域的連線設定檔。區域選擇不會影響 Datastream 是否能連線至來源或目的地，但如果該區域發生停機，可能會影響可用性。
   • 輸入連線詳細資料：
   • 在「Hostname or IP」(主機名稱或 IP) 欄位中，輸入 Datastream 可用來連線至來源 Oracle 資料庫的主機名稱或公開 IP 位址。您提供的是公開 IP 位址，因為本快速入門導覽課程會使用 IP 許可清單做為網路連線方式。
   • 在「通訊埠」欄位中，輸入為來源資料庫保留的通訊埠編號。如果是 Oracle 資料庫，預設通訊埠通常為 1521。
   • 輸入「使用者名稱」和「密碼」，向來源資料庫驗證身分。
   • 在「系統 ID (SID)」欄位中，輸入可識別資料庫執行個體的 SID 或服務名稱。如果是 Oracle 資料庫，通常是 ORCL。

5. 在「定義連線設定」部分，按一下「繼續」。「Create Oracle profile」(建立 Oracle 設定檔) 頁面的「Define connectivity method」(定義連線方式) 區段處於啟用狀態。

6. 選擇要用來建立 Datastream 與來源資料庫之間連線的網路方法。在本快速入門導覽中，請使用「連線方式」下拉式選單，選取「IP 許可清單」做為網路連線方式。

7. 設定來源資料庫，允許來自顯示的 Datastream 公開 IP 位址的連入連線。

8. 在「定義連線方式」部分中，按一下「繼續」。「Create Oracle profile」(建立 Oracle 設定檔) 頁面的「Test connection profile」(測試連線設定檔) 區段會處於啟用狀態。

Datastream 隨附精靈，可協助您建立串流。這個精靈包含六個面板：「開始使用」、「定義並測試來源」、「設定來源」、「定義目的地」、「設定目的地」和「檢查並建立」。如要瞭解如何填寫各個面板，請參閱本頁面的各個部分。

定義串流的設定

1. 前往 Google Cloud控制台的 Datastream「串流」頁面。

   前往「串流」頁面

2. 按一下「建立串流」。

3. 在「建立串流」頁面的「定義串流詳細資料」面板中，提供下列資訊：

   • 輸入 My Stream 做為串流名稱。
   • 保留系統自動產生的「串流 ID」。
   • 在「Region」(區域) 選單中，選取您建立來源連線設定檔的區域。
   • 在「Source type」(來源類型) 選單中，選取「Oracle」設定檔類型。
   • 在「目的地類型」選單中，選取「Cloud Storage」設定檔類型。

4. 查看自動生成的需求條件，瞭解如何準備串流環境。這些必要條件可能包括如何設定來源資料庫，以及如何將 Datastream 連線至 Cloud Storage 中的目的地 bucket。

   如要進一步瞭解這些必要條件，請參閱「設定 Oracle 來源資料庫」。

5. 按一下「繼續」。「建立串流」頁面會顯示「定義 Oracle 連線設定檔」面板。

指定來源連線設定檔的相關資訊

1. 在「Source connection profile」(來源連線設定檔) 選單中，選取 Oracle 資料庫的來源連線設定檔。

2. 點選「執行測試」，確認來源資料庫和 Datastream 可以相互通訊。

   如果測試失敗，系統會顯示與連線設定檔相關的問題。如需疑難排解步驟，請參閱「診斷問題」頁面。進行必要變更來修正問題，然後重新測試。

3. 按一下「繼續」。「建立串流」頁面會顯示「設定串流來源」面板。

設定串流的來源資料庫相關資訊

1. 使用「Objects to include」(要包含的物件) 選單，指定 Datastream 可轉移至 Cloud Storage 目的地 bucket 中資料夾的來源資料庫資料表和結構定義。如果資料庫最多有 5,000 個物件，系統才會載入選單。

   在本快速入門導覽課程中，您希望 Datastream 轉移所有資料表和結構定義。因此，請從選單中選取「採用任何結構定義的所有資料表」。

   在本快速入門導覽課程中，請確認「選取要排除的物件」面板已設為「無」。您不希望限制 Datastream 將來源資料庫中的任何資料表和結構定義移轉至 Cloud Storage。

   此外，請確認「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 面板已設為「Automatic」(自動)。除了資料變動外，Datastream 也會將來源的所有現有資料串流至目的地。

2. 指定 CDC 方法。在本教學課程中，請選取「Logminer」。

3. 按一下「繼續」。「Create stream」(建立串流) 頁面會顯示「Define Cloud Storage connection profile」(定義 Cloud Storage 連線設定檔) 面板。

選取目的地連線設定檔

1. 從目的地連線設定檔選單中，選取 Cloud Storage 的目的地連線設定檔。

2. 按一下「繼續」。「建立串流」頁面會顯示「設定串流目的地」面板。

設定串流目的地的相關資訊

1. 在「Stream path prefix」(串流路徑前置字元) 欄位中，輸入目的地 bucket 的資料夾，Datastream 會將來源 Oracle 資料庫的結構定義、資料表和資料移轉至該資料夾。

   在本快速入門導覽中，您希望 Datastream 將來源資料庫中的資料移轉至 Cloud Storage 目的地 bucket 的 /root/tutorial 資料夾。因此，請在「串流路徑前置字元」欄位中輸入 /root/tutorial。

2. 在「輸出格式」欄位中，選取寫入 Cloud Storage 的檔案格式。在本快速入門導覽課程中，檔案格式為 Avro。

3. 按一下「繼續」。「建立串流」頁面的「查看串流詳細資料並建立」面板隨即顯示。

建立串流

1. 確認串流的詳細資料，以及串流將用來從來源 Oracle 資料庫移轉資料至 Cloud Storage 目的地 bucket 的來源和目的地連線設定檔。

2. 點選「執行驗證」，驗證串流。驗證串流時，Datastream 會檢查來源設定是否正確、驗證串流是否能連線至來源和目的地，並驗證串流的端對端設定。

   如果驗證檢查通過，驗證檢查左側會顯示勾號圖示。

   如果驗證檢查未通過，檢查左側會顯示驚嘆號圖示，檢查下方則會顯示「查看錯誤詳細資料」按鈕。按一下按鈕後，系統會顯示訊息，說明檢查未通過的原因，以及如何修正問題。完成修正後，請按一下「重新驗證」。

   如要進一步瞭解如何排解驗證檢查未通過的問題，請參閱「診斷問題」。

3. 通過所有驗證檢查後，按一下「建立」。

4. 在「建立串流？」對話方塊中，按一下「建立」。

建立串流後，即可啟動串流。

開始串流

在快速入門導覽課程的上一節中，您建立了串流，但並未啟動。你現在可以執行這項操作。

在本快速入門導覽中，您會分別建立及啟動串流，以免串流建立程序對來源資料庫造成負擔。如要延後載入，請先建立串流但不啟動，等到可以產生負擔時再啟動串流。

啟動串流後，Datastream 就能將來源資料庫中的資料、結構定義和表格轉移至目的地。

1. 前往 Google Cloud控制台的 Datastream「串流」頁面。

   前往「串流」頁面

2. 在要啟動的串流左側，選取核取方塊。在本快速入門導覽課程中，這個串流稱為「My Stream」。

3. 按一下 [START] (開始)。

4. 在對話方塊中，按一下「開始」。串流的狀態會從「Not started」變更為「Starting」，再變更為「Running」。

   串流大約需要 30 秒才能開始執行。背景資源必須啟動，串流才能開始。

啟動串流後，您可以確認 Datastream 是否已將資料從來源資料庫轉移至目的地。

驗證串流

在本節中，您會確認 Datastream 將來源 Oracle 資料庫的所有資料表，轉移至 Cloud Storage 目的地 bucket 的 /root/tutorial 資料夾。

1. 前往 Google Cloud控制台的 Datastream「串流」頁面。

   前往「串流」頁面

2. 按一下你建立的串流。在本快速入門導覽課程中，這是指「我的串流」。

3. 在「串流詳細資料」頁面中，按一下「目的地寫入路徑」欄位下方顯示的連結。Cloud Storage 的「bucket 詳細資料」頁面會在另一個分頁中開啟。

   注意： 您點選的連結包含值區名稱，以及 Datastream 從來源 Oracle 資料庫轉移結構定義、資料表和資料後，所儲存的值區資料夾。您在為串流設定目的地連線設定檔資訊時，指定了這個資料夾為 /root/tutorial。因此，連結應顯示為「/root/tutorial**」。
   BUCKET-NAME

4. 確認您看見代表來源 Oracle 資料庫資料表的資料夾。

5. 按一下其中一個資料表資料夾，然後逐一瀏覽，直到看到與資料表相關聯的資料為止。

   第一個資料夾是 [schema]_[table]，後面接著的資料夾則代表 Datastream 將資料從來源 Oracle 資料庫移轉至 Cloud Storage 目的地 bucket 的年、月、日、時和分。

   每分鐘都會建立一個資料夾 (如有新資料要寫入)。

   檔案大小達到 250 MB 時，或每當結構定義變更時，系統就會建立新檔案。如果資料表已分區，系統會為每個分區建立檔案。

清除所用資源

如要避免系統向您的 Google Cloud 帳戶收取本頁面所用資源的費用，請按照下列步驟操作。

1. 使用 Google Cloud 控制台刪除專案、Datastream 資料流和連線設定檔，以及 Cloud Storage 目的地 bucket。

清除在 Datastream 中建立的資源，這樣資源就不會占用配額，您日後也無須為其付費。下列各節將說明如何刪除或關閉這些資源。

刪除專案

如要避免付費，最簡單的方法就是刪除您為本快速入門導覽課程建立的專案。

刪除專案會出現以下結果：

• 專案中所有內容遭到刪除。如果您使用現有專案進行本快速入門導覽課程，刪除專案時也會一併刪除您在該專案中執行的其他任何工作。
• 自訂專案 ID 不復存在。您建立這個專案時，可能已建立日後使用的自訂專案 ID。如要保留使用該專案 ID 的網址 (例如 appspot.com)，請刪除在該專案中選取的資源，而不是刪除整個專案。

如果打算進行多個教學課程及快速入門導覽課程，重複使用專案有助於避免超出專案配額限制。

1. 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。

   前往「管理資源」頁面

2. 在專案清單中選取要刪除的專案，然後按一下「Delete」(刪除)。

3. 在對話方塊中輸入專案 ID，然後按一下「Shut down」(關閉) 來刪除專案。

刪除串流

1. 前往 Google Cloud控制台的 Datastream「串流」頁面。

   前往「串流」頁面

2. 按一下要刪除的串流。在本快速入門導覽課程中，這是指「我的串流」。

3. 按一下「暫停」。

4. 在對話方塊中，按一下「暫停」。

5. 在「串流詳細資料」頁面的「串流狀態」窗格中，確認串流的狀態為 Paused。

   注意： 請先暫停串流，再刪除串流，確保所有「傳輸中」資料都從來源資料庫順利轉移至目的地。

6. 點選「刪除」。

7. 在對話方塊的文字欄位中輸入 Delete，然後按一下「DELETE」(刪除)。

刪除連線設定檔

1. 前往Google Cloud 控制台的 Datastream「連線設定檔」頁面。

   前往「連線設定檔」頁面

2. 找出要刪除的每個連線設定檔，然後勾選旁邊的核取方塊。在本快速入門導覽中，請選取「My Source Connection Profile」(我的來源連線設定檔) 和「My Destination Connection Profile」(我的目的地連線設定檔) 的核取方塊。

3. 點選「刪除」。

4. 在對話方塊中，按一下「刪除」。

刪除 Cloud Storage 目標值區

1. 前往 Google Cloud控制台的 Cloud Storage「Browser」(瀏覽器) 頁面。

   前往「Browser」(瀏覽器) 頁面

2. 勾選值區左側的核取方塊，然後按一下「DELETE」(刪除)。

3. 在對話方塊的文字欄位中輸入 DELETE，然後按一下「DELETE」(刪除)。

後續步驟

• 進一步瞭解 Datastream。
• 歡迎自行試用其他 Google Cloud 功能，請參考我們的快速入門導覽課程。