自動化されたフローを使用して Spanner ストリームを作成する

このページでは、自動設定フローを使用して Spanner ストリームを作成する方法について説明します。

自動ストリーム設定により、実行する必要がある手順の数を減らすことで、Spanner データベースから BigQuery などの宛先にデータを移動するプロセスが簡素化されます。このフローを使用すると、Spanner インスタンスまたはデータベースの概要ページから直接ストリームを作成できます。Datastream は、ストリームとソースデータベース間の接続の保護、データベース構成とストリーム接続リソースの作成を自動化します。

無料枠

Datastream を使用すると、無料枠を使用して Spanner から BigQuery にストリーミングできます。これにより、毎月最大 100 GiB の変更データ キャプチャ データを無料で利用できます。詳細については、Datastream の料金をご覧ください。

始める前に

Spanner 用の Datastream ストリームを構成する前に、環境が次の前提条件を満たしていることを確認してください。

  1. プロジェクトで必要な API を有効にします。 Google Cloud プロジェクト:
    • Datastream API（datastream.googleapis.com）
    • Cloud Spanner API（spanner.googleapis.com）
    • BigQuery API（bigquery.googleapis.com）。
  2. Datastream リソースを作成して管理するために必要な Identity and Access Management（IAM）権限があることを確認します。詳細については、 必要な権限をご覧ください。

  3. Spanner ソースの制限事項を確認します。

    • PROTO データ型と ENUM データ型の列はサポートされていません。
    • DATE データ型または TIMESTAMP データ型の配列はサポートされていません。
    • 変更ストリームの保持期間が正しく構成されていることを確認します。Datastream が保持期間を超えると、データが失われ、ストリームが失敗する可能性があります。

必要な権限

自動ストリーム作成フローを使用するには、ストリームを構成するユーザーまたはサービス アカウントに次の IAM ロールまたは権限があることを確認します。

  • ストリームと接続プロファイルを作成して管理するためのDatastream 管理者 （roles/datastream.admin）またはDatastream 編集者 （roles/datastream.editor）。
  • データにアクセスして変更を追跡するための、ソースデータベースに対するSpanner データベース読み取り （roles/spanner.databaseReader）またはSpanner 管理者 （roles/spanner.admin）。
  • 宛先データセットに対する BigQuery データ編集者 。

ストリームを作成して開始する

自動フローを使用してストリームを作成して開始する手順は次のとおりです。

コンソール

  1. コンソールで、[Spanner インスタンス] ページに移動します。 Google Cloud

[Spanner インスタンス] に移動

  1. データをストリーミングする Spanner インスタンスとデータベースを選択します。

  2. 次のいずれかの方法で、ストリームを自動的に作成して開始します。

    • インスタンスの概要ページで、[BigQuery へのデータ レプリケーション] の [ストリームを開始] をクリックします。
    • データベースの概要ページの [統合] タブで、[BigQuery にデータを複製] の [ストリームを作成] をクリックします。

  3. [データを複製するストリームを開始] ペインが開きます。

  4. [**ストリームの設定**] で、 作成するストリームのデフォルト設定を確認します。

  5. インスタンスの概要ページからストリームを作成する場合は、対応するプルダウンを開いて別の値を選択することで、ソースデータベースを変更できます。

  6. ストリームを変更するには、[変更ストリーム] プルダウンを開いて別の値を選択します。

  7. ストリームを作成して開始する準備ができたら、[ストリームを開始] をクリックします。

ストリームをモニタリングする

コンソールのソース Spanner データベースの概要ページから基本的なストリームの詳細をモニタリングするには、[変更ストリーム]タブをクリックし、 表示するストリームをクリックします。 Google Cloud

ストリームの削除

自動フローを使用して作成したストリームを削除すると、Datastream はストリーム オブジェクトと、ストリーム用に作成された関連する接続プロファイルを削除します。

ただし、個別に作成された Spanner 変更ストリームまたは宛先リソースが不要になった場合は、手動で削除する必要があります。

次のステップ