Spanner データベースを Datastream のソースとして使用すると、過去のデータと変更ストリーム イベントを宛先に複製して、リアルタイム分析を行うことができます。
Datastream で Spanner ソースを準備するには、レプリケーションの動作、サポートされているエディション、既知の制限事項を確認してください。
動作
Spanner は、フルマネージドでスケーラブルな高可用性データベース サービスです。Datastream のソースとして使用できます。Datastream は、Spanner 変更ストリームを使用して、Spanner データベースに加えられた変更を追跡します。変更ストリームに含まれる変更は、宛先に複製され、ソースイベントが再現されます。
Datastream は変更ストリームを作成または変更しないため、指定された Spanner 変更ストリームで追跡されないデータベース オブジェクトは Datastream ストリームに含めることができません。
Spanner の詳細については、Spanner のドキュメントをご覧ください。
バージョン
Datastream は、利用可能なすべての Spanner エディションをサポートしています。
- Standard エディション
- Enterprise エディション
- Enterprise Plus エディション
各バージョンの概要については、Spanner エディションの概要をご覧ください。
無料枠
Datastream では、無料枠を使用して Spanner から BigQuery にストリーミングできます。毎月最大 100 GiB の変更データ キャプチャ データを無料で利用できます。詳細については、Datastream の料金をご覧ください。
既知の制限事項
Spanner データベースを移行元として使用する場合の既知の制限事項は次のとおりです。
NEW_ROWまたはNEW_ROW_AND_OLD_VALUESの値キャプチャ タイプを使用する変更ストリームのみがサポートされています。- Datastream は、
PROTOまたはENUMデータ型の列をサポートしていません。 - Datastream は、
DATEまたはTIMESTAMPデータ型の配列をサポートしていません。 - サイズが 3 テビバイト（TiB）を超えるデータベースのバックフィルは、完了までに 24 時間以上かかることがあります。
- バックフィルでは、スナップショット エポックが作成されます。これは、特定のタイムスタンプ用に作成されたバックアップの一種で、そのタイムスタンプのデータ バージョンを保持します。スナップショット エポックは、バックフィルが完了するまでメジャー コンパクションを遅らせます。コンパクションの詳細については、Spanner カラム型エンジンの概要をご覧ください。
- Datastream で、10,000 を超えるパーティションを持つ Spanner 変更ストリームに追いつけない問題が発生することがあります。つまり、変更イベントの到着が遅れるか、最終的にストリームが失敗する可能性があります。
- Datastream で、1 秒あたり 60,000 件を超える更新がある Spanner 変更ストリームに追いつけない問題が発生することがあります。つまり、変更イベントが遅れて到着したり、ストリームが最終的に失敗したりする可能性があります。
- Datastream で、1 秒あたり 60 メビバイト（MiB）を超えるスループットの Spanner 変更ストリームに追いつけない問題が発生することがあります。つまり、変更イベントの到着が遅れたり、ストリームが最終的に失敗したりする可能性があります。
- Spanner 変更ストリームはパーティション分割データをサポートしていないため、地域別パーティショニング データのレプリケーションはサポートされていません。
次のステップ
- Datastream で使用する Spanner ソースの構成方法を学習する。