Datastream を使用してデータの変更をほぼリアルタイムでストリーミングする

Datastream を使用してデータの変更をほぼリアルタイムでストリーミングする

Datastream を使用して、Oracle ソース データベースから Cloud Storage バケットにデータを複製する方法を学習します。

始める前に

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Datastream API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. ユーザー アカウントに Datastream 管理者のロールが割り当てられていることを確認します。

   IAM ページに移動

標準または共有 VPC ネットワークのプライベート接続構成を作成する場合は、追加の前提条件を満たす必要があります。詳細については、プライベート接続構成を作成するをご覧ください。

要件

Datastream には、さまざまな移行元オプション、移行先オプション、ネットワーク接続方法が用意されています。

このクイックスタートは、スタンドアロンの Oracle データベースと移行先の Cloud Storage サービスを使用していることを前提としています。移行元データベースでは、受信ファイアウォール ルールを追加できるようにネットワークを構成する必要があります。移行元データベースは、オンプレミスまたはクラウド プロバイダにできます。移行先が Cloud Storage であるため、Google のクラウド プロバイダ内にある必要があります。

ユーザーの具体的な環境を把握できないため、ネットワーキング構成に関する詳細なステップは提供できません。

このクイックスタートでは、接続方法として [IP 許可リスト] を選択します。IP 許可リストは、移行元データベースのデータへのアクセスを信頼できるユーザーのみに制限、制御するためにしばしば使用されるセキュリティ機能です。IP 許可リストを使用すると、ユーザーや Datastream などの他の Cloud サービスがこのデータにアクセスできる信頼できる IP アドレスまたは IP 範囲のリストを作成できます。IP 許可リストを使用するには、Datastream からの受信接続に対してソース データベースまたはファイアウォールを開く必要があります。

接続プロファイルの作成

ソースのデータベースと宛先の接続プロファイルを作成することで、ソースと宛先に関する情報を含むレコードを作成します。

このクイックスタートでは、移行元の接続プロファイルのプロファイル タイプとして Oracle を選択し、移行先接続プロファイルのプロファイル タイプとして Cloud Storage を選択します。Datastream は、接続プロファイルの情報を使用して、移行元 Oracle データベースから Cloud Storage の移行先バケットにデータを移行します。

Oracle データベース用のソース接続プロファイルの作成

1. Google Cloud コンソールで、Datastream の [接続プロファイル] ページに移動します。

   [接続プロファイル] ページに移動

2. [プロファイルを作成] をクリックします。

3. [接続プロファイルの作成] ページで、[Oracle] プロファイル タイプをクリックします（Oracle データベースのソース接続プロファイルを作成するため）。

4. [Oracle プロファイルの作成] ページの [接続設定の定義] セクションに、次の情報を入力します。

   • 移行元データベースの [接続プロファイル名] として、My Source Connection Profile と入力します。
   • 自動生成された接続プロファイル ID を保持します。
   • 接続プロファイルを保存する [リージョン] を選択します。
   接続プロファイルは他のすべてのリソースと同様にリージョンに保存され、ストリームはストリームと同じリージョンに保存されている接続プロファイルのみを使用できます。リージョンの選択は、Datastream がソースまたは宛先に接続できるかどうかには影響しませんが、リージョンでダウンタイムが発生した場合の可用性に影響する可能性があります。
   • 接続の詳細を入力します。
   • [ホスト名または IP] フィールドに、Datastream がソース Oracle データベースへの接続に使用できるホスト名またはパブリック IP アドレスを入力します。このクイックスタートでは、IP 許可リストをネットワーク接続に使用するため、パブリック IP アドレスを指定します。
   • [ポート] フィールドに、ソース データベース用に予約されているポート番号を入力します。Oracle データベースの場合、デフォルトのポートは通常 1521 です。
   • 移行元データベースへの認証用に、ユーザー名とパスワードを入力します。
   • [システム ID（SID）] フィールドに、データベース インスタンスを識別する SID またはサービス名を入力します。Oracle データベースの場合、通常は ORCL です。

5. [接続設定の定義] セクションで、[続行] をクリックします。[Oracle プロファイルの作成] ページの [接続方法の定義] セクションはアクティブです。

6. Datastream とソース データベースの間の接続を確立するために使用するネットワーク方式を選択します。このクイックスタートでは、[接続方法] プルダウン メニューを使用して、ネットワーク方式として [IP 許可リスト] を選択します。

7. 表示される Datastream パブリック IP アドレスからの受信接続を許可するように移行元データベースを構成します。

8. [接続方法の定義] セクションで [続行] をクリックします。[Oracle プロファイルの作成] ページの [テスト接続プロファイル] セクションはアクティブです。

Datastream には、ストリームの作成に役立つウィザードが付属しています。このウィザードは、6 つのパネル、スタートガイド、移行元の定義とテスト、移行元の構成、移行先の定義、移行先の構成、確認と作成で構成されます。各パネルへの入力方法については、このページのさまざまなセクションをご覧ください。

ストリームの設定の定義

1. Google Cloudコンソールで Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. [ストリームの作成] をクリックします。

3. [ストリームの作成] ページの [ストリームの詳細の定義] パネルで、次の情報を指定します。

   • [ストリーム名] として「My Stream」と入力します。
   • 自動生成されたストリーム ID を保持します。
   • [リージョン] メニューから、移行元の接続プロファイルを作成したリージョンを選択します。
   • [移行元の種類] メニューから [Oracle] プロファイル タイプを選択します。
   • [宛先の種類] メニューから、[Cloud Storage] プロファイル タイプを選択します。

4. ストリームに環境を準備する方法が反映されるように、自動的に生成される必須の前提条件を確認します。これらの前提条件には、移行元データベースの構成方法や Cloud Storage の移行先バケットに Datastream を接続する方法が含まれます。

   これらの前提条件の詳細については、移行元 Oracle データベースの構成をご覧ください。

5. [続行] をクリックします[ストリームの作成] ページの [Define Oracle connection profile] パネルが表示されます。

ソース接続プロファイルに関する情報の指定

1. [ソース接続プロファイル] メニューから、Oracle データベースのソース接続プロファイルを選択します。

2. [テストを実行] をクリックして、移行元データベースと Datastream が相互に通信できることを確認します。

   テストに失敗した場合、接続プロファイルに関連する問題が表示されます。トラブルシューティングの手順については、問題を診断するページを参照してください。必要な変更を行って問題を修正し、再度テストを行います。

3. [続行] をクリックします[ストリームの作成] ページの [ストリームのソースの構成] パネルが表示されます。

ストリームのソース データベースに関する情報の構成

1. [含めるオブジェクト] メニューを使用して、Datastream が Cloud Storage の宛先バケットのフォルダに転送できるソース データベース内のテーブルとスキーマを指定します。メニューは、データベースに 5,000 個までのオブジェクトがある場合にのみ読み込まれます。

   このクイックスタートでは、Datastream ですべてのテーブルとスキーマを転送します。そのため、メニューから [すべてのテーブル] を選択します。

   このクイックスタートでは、[除外するオブジェクトを選択] パネルが [なし] に設定されていることを確認してください。Datastream による移行元データベースのテーブルやスキーマの Cloud Storage への転送は制限しません。

   また、[履歴データのバックフィル モードを選択 ] パネルが [自動] に設定されていることを確認してください。Datastream は、データへの変更に加えて、既存のデータをすべて移行先にストリーミングします。

2. CDC メソッドを指定します。このチュートリアルでは、[Logminer] を選択します。

3. [続行] をクリックします[ストリームの作成] ページの [Cloud Storage 接続プロファイルを定義する] パネルが表示されます。

宛先接続プロファイルの選択

1. [移行先接続プロファイル] メニューから、Cloud Storage の移行先接続プロファイルを選択します。

2. [続行] をクリックします[ストリームの作成] ページの [ストリームの移行先の構成] パネルが表示されます。

ストリームの転送先に関する情報の構成

1. [ストリームのパス接頭辞] フィールドに、Datastream が移行元 Oracle データベースからスキーマ、テーブル、データを転送する移行先バケットのフォルダを入力します。

   このクイックスタートでは、Datastream で移行元データベースから Cloud Storage の移行先バケットの /root/tutorial フォルダにデータを転送することを確認します。したがって、[ストリームのパス接頭辞] フィールドに「/root/tutorial」と入力します。

2. [出力形式] フィールドで、Cloud Storage に書き込まれるファイルの形式を選択します。このクイックスタートでは、Avro はファイル形式です。

3. [続行] をクリックします[ストリームの作成] ページの [ストリームの詳細の確認と作成] パネルが表示されます。

ストリームの作成

1. ストリームの詳細と、ストリームが移行元 Oracle データベースから Cloud Storage 内の移行先バケットに転送されるために使用する移行元と移行先の接続プロファイルを確認します。

2. [検証を実行] をクリックしてストリームを検証します。ストリームを検証すると、Datastream は移行元が適切に構成されていることを確認し、ストリームが移行元と移行先の両方に接続できること、ストリームのエンドツーエンド構成を検証します。

   検証チェックに合格すると、検証チェックの左側にチェックマーク アイコンが表示されます。

   検証に合格しない場合、チェックの左側に感嘆符アイコンが表示され、チェックの下に [エラーの詳細を表示] ボタンが表示されます。ボタンをクリックすると、チェックに合格しなかった理由と、問題を解決する方法に関する情報が示されたメッセージが表示されます。適切な修正を行ったら、[再検証] をクリックします。

   検証が不合格だった場合のトラブルシューティングについては、問題の診断をご覧ください。

3. すべての検証チェックに合格したら、[作成] をクリックします。

4. [ストリームを作成しますか？] ダイアログで、[作成] をクリックします。

ストリームを作成したら、開始できます。

ストリームの開始

クイックスタートの前のセクションでストリームを作成しましたが、まだ開始していません。これから開始していきましょう。

このクイックスタートでは、移行元データベースの負荷が増大した場合にストリームを個別に作成して開始します。負荷を軽減するには、ストリームを開始せずに作成し、負荷が発生したときにストリームを開始します。

ストリームを開始すると、Datastream は移行元データベースから移行先にデータ、スキーマ、テーブルを転送できます。

1. Google Cloudコンソールで Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. 開始するストリームの左側にあるチェックボックスをオンにします。 このクイックスタートでは、My Stream を使用します。

3. [START] ボタンをクリックします。

4. ダイアログで [開始] をクリックします。ストリームのステータスが Not started から Starting、そして Running に変わります。

   ストリームの実行には約 30 秒かかります。ストリームを開始できるようにバックグラウンド リソースを開始する必要があります。

ストリームを開始すると、Datastream がソース データベースから宛先にデータを転送することを確認できます。

ストリームの検証

このセクションでは、Datastream が移行元 Oracle データベースのすべてのテーブルから Cloud Storage の移行先バケットの /root/tutorial フォルダにデータを転送することを確認します。

1. Google Cloudコンソールで Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. 作成したストリームをクリックします。このクイックスタートでは、My Stream を使用します。

3. [ストリームの詳細] ページで、[書き込み先パス] フィールドの下にあるリンクをクリックします。Cloud Storage の [バケットの詳細] ページが別のタブで開きます。

   注: クリックするリンクは、バケットの名前と、Datastream が移行元 Oracle データベースからスキーマ、テーブル、データを転送したバケットのフォルダで構成されます。このフォルダは、ストリームの宛先接続プロファイルに関する情報を構成したときに /root/tutorial に指定しました。そのため、リンクは BUCKET-NAME/root/tutorial** として表示されます。

4. 移行元 Oracle データベースのテーブルを表すフォルダが表示されていることを確認します。

5. いずれかのテーブル フォルダをクリックして、テーブルに関連付けられているデータを表示します。

   最初のフォルダは [schema]_[table] で、その後に Datastream が移行元 Oracle データベースから Cloud Storage の移行先バケットにデータを転送した年、月、日、時、分を表すフォルダが続きます。

   フォルダは 1 分ごとに作成されます（書き込む新しいデータがある場合）。

   ファイルサイズが 250 MB に達した場合、またはスキーマが変更されるたびに新しいファイルが作成されます。テーブルが分割されている場合、ファイルはパーティションごとに作成されます。

クリーンアップ

このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、次の手順を実施します。

1. Google Cloud コンソールを使用して、プロジェクト、Datastream ストリームと接続プロファイル、Cloud Storage 移行先バケットを削除します。

Datastream で作成したリソースをクリーンアップすることで、割り当てを使い果たしたり、今後料金が発生しないようにします。以下のセクションでは、このようなリソースを削除または無効にする方法を説明します。

プロジェクトの削除

課金をなくす最も簡単な方法は、このクイックスタート用に作成したプロジェクトを削除することです。

プロジェクトを削除すると、次のような影響があります。

• プロジェクト内のすべてのものが削除されます。このクイックスタートで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。 このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のチュートリアルとクイックスタートを検討する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

1. Google Cloud コンソールで [リソースの管理] ページに移動します。

   [リソースの管理] ページに移動

2. プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。

3. ダイアログにプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

ストリームの削除

1. Google Cloudコンソールで Datastream の [ストリーム] ページに移動します。

   [ストリーム] ページに移動

2. 変更するストリームをクリックします。このクイックスタートでは、My Stream を使用します。

3. [一時停止] をクリックします。

4. ダイアログで [一時停止] をクリックします。

5. [ストリームの詳細] ページの [ストリームのステータス] ペインで、ストリームのステータスが Paused であることを確認します。

   注: すべての「処理中」のデータが移行元データベースから移行先に正常に転送されるように、削除する前にストリームを一時停止します。

6. [削除] をクリックします。

7. ダイアログで、テキスト フィールドに Delete と入力して [削除] をクリックします。

接続プロファイルの削除

1. Google Cloud コンソールで、Datastream の [接続プロファイル] ページに移動します。

   [接続プロファイル] ページに移動

2. 削除する各接続プロファイルのチェックボックスをオンにします。このクイックスタートでは、[My Source Connection Profile] と [My Destination Connection Profile] のチェックボックスをオンにします。

3. [削除] をクリックします。

4. ダイアログで [削除] をクリックします。

Cloud Storage 宛先バケットの削除

1. Google Cloudコンソールで Cloud Storage の [ブラウザ] ページに移動します。

   ブラウザ ページに移動

2. バケットの左側にあるチェックボックスをオンにして、[削除] をクリックします。

3. ダイアログで、テキスト フィールドに DELETE と入力して [削除] をクリックします。

次のステップ

• Datastream の詳細を確認する。
• その他の Google Cloud 機能を試す。クイックスタートをご覧ください。