このアーキテクチャは、BigQuery バックアップ戦略の開発に役立つフレームワークとリファレンス デプロイを提供します。この推奨フレームワークとその自動化により、組織は次のことを実現できます。
- 組織の障害復旧目標を遵守する。
- 人為的ミスにより失われたデータを復元する。
- 規制を遵守する。
- 運用効率を向上させる。
BigQuery データのスコープには、フォルダ、プロジェクト、データセット、テーブルを含める(または除外する)ことができます。この推奨アーキテクチャでは、定期的なバックアップ オペレーションを大規模に自動化する方法について説明します。各テーブルには、BigQuery スナップショットと Cloud Storage への BigQuery Exportの 2 つのバックアップ方法を使用できます。
このドキュメントは、組織でデータポリシーを定義して自動化するクラウド アーキテクト、エンジニア、データ ガバナンス担当者を対象としています。
アーキテクチャ
次の図は、自動バックアップのアーキテクチャを示しています。
上の図に示すワークフローには、次のフェーズが含まれています。
- Cloud Scheduler は、Pub/Sub メッセージを介してディスパッチャ サービスへの実行をトリガーします。このメッセージには、含まれる BigQuery データと除外される BigQuery データのスコープが含まれています。実行は cron 式を使用してスケジュールされます。
- Cloud Run 上に構築されたディスパッチャー サービスは、BigQuery API を使用して、BigQuery スコープ内のテーブルを一覧表示します。
- ディスパッチャー サービスは、Pub/Sub メッセージを介して、テーブルごとに 1 つのリクエストを構成サービスに送信します。
Cloud Run 構成サービスは、次の定義済みオプションのいずれかからテーブルのバックアップ ポリシーを計算します。
- テーブルレベルのポリシー。データオーナーによって定義されます。
- データ ガバナンス担当者が定義した、ポリシーが定義されていないテーブルのフォールバック ポリシー。
バックアップ ポリシーの詳細については、バックアップ ポリシーをご覧ください。
構成サービスは、計算されたバックアップ ポリシーに基づいて、テーブルごとに 1 つのリクエストを次のサービスに送信します。
バックアップ方法に応じて、次のいずれかのカスタム Cloud Run サービスが BigQuery API にリクエストを送信し、バックアップ プロセスを実行します。
- BigQuery スナップショットのサービスは、テーブルをスナップショットとしてバックアップします。
- データ エクスポート サービスは、テーブルを Cloud Storage へのデータ エクスポートとしてバックアップします。
バックアップ方法がテーブルデータのエクスポートの場合、Cloud Logging のログシンクは、エクスポート ジョブの完了イベントをリッスンして、次のステップの非同期実行を有効にします。
バックアップ サービスがオペレーションを完了すると、Pub/Sub がタグ付けサービスをトリガーします。
各テーブルについて、Tagger サービスはバックアップ サービスの結果をサービスログに記録し、Cloud Storage メタデータ レイヤのバックアップ状態を更新します。
使用するプロダクト
このリファレンス アーキテクチャでは、次の Google Cloud プロダクトを使用します。
- BigQuery: ML、地理空間分析、ビジネス インテリジェンスなどの組み込み機能を使用してデータの管理と分析を支援する、Google Cloud のフルマネージド エンタープライズ データ ウェアハウス。
- Cloud Logging: ストレージ、検索、分析、アラート機能を備えたリアルタイムのログ管理システム。
- Pub/Sub: メッセージを処理するサービスとメッセージを生成するサービスを切り離す、非同期でスケーラブルなメッセージング サービス。
- Cloud Run: Google のスケーラブルなインフラストラクチャ上でコンテナを直接実行できるサーバーレス コンピューティング プラットフォーム。
- Cloud Storage: 低コストで無制限のオブジェクト ストア。さまざまなデータ型に対応しています。データには Google Cloudの内部および外部からアクセスでき、冗長性を確保するために複数のロケーションに複製されます。
- Cloud Scheduler: エンタープライズ グレードのフルマネージド cron ジョブ スケジューラ。定義した回数または一定の間隔で実行されるように、スケジュール設定された作業単位を設定できます。
- Datastore: ウェブアプリとモバイルアプリのためのスケーラビリティが高い NoSQL データベース。
ユースケース
このセクションでは、このアーキテクチャを使用できるユースケースの例を示します。
バックアップの自動化
たとえば、規制対象の業界で事業を展開している企業が、メインのデータ ウェアハウスとして BigQuery を使用しているとします。ソフトウェア開発、コードレビュー、リリース エンジニアリングのベスト プラクティスに沿っていても、人的ミスによるデータの損失や破損のリスクは依然として存在します。規制対象の業界では、このリスクを可能な限り最小限に抑える必要があります。
このような人的ミスの例を次に示します。
- テーブルの誤削除。
- 誤ったデータ パイプライン ロジックによるデータ破損。
このような人為的エラーは、通常、タイムトラベル機能で解決できます。この機能を使用すると、最大 7 日前のデータを復元できます。また、BigQuery にはフェイルセーフ期間もあります。この期間中、削除されたデータはタイムトラベル期間の後、さらに 7 日間フェイルセーフ ストレージに保持されます。このデータは、Cloud カスタマーケアを通じて緊急復元に使用できます。ただし、この期間内にこのようなエラーを検出して修正しないと、削除されたデータは最後の安定した状態から復元できなくなります。
これを軽減するには、ソースデータから再構築できない BigQuery テーブル(履歴レコードや、ビジネス ロジックの進化に伴う KPI など)の定期的なバックアップを実行することをおすすめします。
会社で基本的なスクリプトを使用して、数十のテーブルをバックアップできます。ただし、組織全体で数百または数千のテーブルを定期的にバックアップする必要がある場合は、次の処理を実行できるスケーラブルな自動化ソリューションが必要です。
- さまざまな Google Cloud API の上限を処理する。
- バックアップ ポリシーを定義するための標準化されたフレームワークを提供する。
- バックアップ オペレーションの透明性とモニタリング機能を提供する。
バックアップ ポリシー
また、次のグループのユーザーがバックアップ ポリシーを定義する必要がある場合もあります。
- データオーナー。テーブルに最も詳しく、適切なテーブルレベルのバックアップ ポリシーを設定できます。
- データ ガバナンス チーム。テーブルレベルのポリシーがないテーブルをカバーするフォールバック ポリシーが適用されていることを確認します。フォールバック ポリシーにより、特定のデータセット、プロジェクト、フォルダがバックアップされ、会社のデータ保持規制に準拠します。
このリファレンス アーキテクチャのデプロイでは、テーブルのバックアップ ポリシーを定義する方法が 2 つあり、これらを組み合わせて使用できます。
データオーナーの構成(分散型): テーブルレベルのバックアップ ポリシー。テーブルに手動でアタッチされます。
- データオーナーは、共通バケットに保存されるテーブルレベルの JSON ファイルを定義します。
- ソリューションがテーブルのバックアップ ポリシーを決定するときに、手動ポリシーはフォールバック ポリシーよりも優先されます。
- デプロイの詳細については、テーブルレベルのバックアップ ポリシーを設定するをご覧ください。
組織のデフォルト構成(一元化): 手動で適用されたポリシーがないテーブルにのみ適用されるフォールバック ポリシー。
- データ ガバナンス チームは、ソリューションの一部として、Terraform で中央 JSON ファイルを定義します。
- フォールバック ポリシーは、フォルダ、プロジェクト、データセット、テーブルの各レベルでデフォルトのバックアップ戦略を提供します。
- デプロイの詳細については、フォールバック バックアップ ポリシーを定義するをご覧ください。
バックアップとレプリケーション
バックアップ プロセスでは、特定の時点のテーブルデータのコピーを作成します。これにより、データが失われたり破損したりした場合に復元できます。バックアップは、1 回限りまたは繰り返し(スケジュールされたクエリまたはワークフローを介して)実行できます。BigQuery では、スナップショットを使用してポイントインタイム バックアップを実現できます。スナップショットを使用すると、ソースデータと同じストレージ ロケーションに、7 日間のタイムトラベル期間を超えてデータのコピーを保持できます。BigQuery スナップショットは、リージョン障害からの復旧ではなく、データの損失や破損につながる人的ミスが発生した後のデータ復元に特に役立ちます。BigQuery は、エディションに応じて 99.9% ~ 99.99% のサービスレベル目標(SLO)を提供します。
一方、レプリケーションは、データベースの変更を別のロケーションにあるセカンダリ(またはレプリカ)データベースにコピーする継続的なプロセスです。BigQuery では、クロスリージョン レプリケーションにより、ソースデータ リージョンとは異なるセカンダリ Google Cloud リージョンにデータの読み取り専用コピーを作成することで、地理冗長性を実現できます。ただし、BigQuery のクロスリージョン レプリケーションは、リージョン全体の停止シナリオの災害復旧計画として使用するものではありません。リージョン障害に対するレジリエンスを確保するには、BigQuery マネージド障害復旧の使用を検討してください。
BigQuery のクロスリージョン レプリケーションでは、データ コンシューマに近いリージョンに、データの同期された読み取り専用コピーが提供されます。これらのデータコピーにより、コロケーション結合が可能になり、リージョン間のトラフィックと費用を回避できます。ただし、人的エラーによるデータ破損の場合、破損したデータが自動的にレプリカにコピーされるため、レプリケーションだけでは復元できません。このような場合は、ポイントインタイム バックアップ(スナップショット)の方が適しています。
次の表に、バックアップ方法とレプリケーションの比較をまとめます。
| メソッド | 頻度 | ストレージのロケーション | ユースケース | 費用 |
|---|---|---|---|---|
| バックアップ (スナップショットまたは Cloud Storage へのエクスポート) |
1 回限りまたは定期的 | ソーステーブルのデータと同じ | タイムトラベル期間を超えて元のデータを復元する | スナップショットでは、スナップショット内のデータ変更に対してのみストレージ料金が発生します。 エクスポートでは、標準のストレージ料金が発生する場合があります。 費用の最適化をご覧ください。 |
| クロスリージョン レプリケーション | ずっと | リモート | 別のリージョンにレプリカを作成する リージョン間での 1 回限りの移行 |
レプリカにデータを保存するための料金が発生します。 データ レプリケーションの費用が発生します。 |
設計上の考慮事項
このセクションでは、このリファレンス アーキテクチャを使用して、セキュリティ、信頼性、費用の最適化、運用効率、パフォーマンスに関する特定の要件を満たすトポロジを開発する際に考慮すべきガイダンスについて説明します。
セキュリティ、プライバシー、コンプライアンス
このデプロイでは、設計と実装に次のセキュリティ対策が組み込まれています。
- Cloud Run のネットワーク上り(内向き)設定では、インターネットからのアクセスを制限するために、内部トラフィックのみを受け入れます。また、認証されたユーザーとサービス アカウントのみがサービスを呼び出すことができます。
- 各 Cloud Run サービスと Pub/Sub サブスクリプションは、必要な権限のみが割り当てられた個別のサービス アカウントを使用します。これにより、システムに 1 つのサービス アカウントを使用することに関連するリスクが軽減され、最小権限の原則に従うことができます。
プライバシーを考慮して、このソリューションは個人を特定できる情報(PII)を収集または処理しません。ただし、ソーステーブルに PII が公開されている場合、それらのテーブルのバックアップにもこの公開データが含まれます。ソースデータの所有者は、ソーステーブル内の PII を保護する責任があります(たとえば、列レベルのセキュリティ、データ マスキング、秘匿化を適用するなど)。バックアップは、ソースデータが保護されている場合にのみ保護されます。別のアプローチとして、PII が公開されているバックアップ データを保持するプロジェクト、データセット、バケットに、承認されたユーザーのみにアクセスを制限する必要な Identity and Access Management(IAM)ポリシーが設定されていることを確認します。
汎用ソリューションとして、リファレンス デプロイは特定の業界の特定の要件に必ずしも準拠しているわけではありません。
信頼性
このセクションでは、信頼性に関する機能と設計上の考慮事項について説明します。
粒度を使用した障害の軽減
数千のテーブルのバックアップを作成する場合、基盤となる Google Cloud プロダクトの API の上限(プロジェクトごとのスナップショット オペレーションとエクスポート オペレーションの上限など)に達する可能性があります。ただし、構成ミスやその他の一時的な問題により 1 つのテーブルのバックアップが失敗しても、全体的な実行や他のテーブルのバックアップ機能に影響することはありません。
潜在的な障害を軽減するため、リファレンス デプロイでは、きめ細かい Cloud Run サービスを使用して処理ステップを分離し、Pub/Sub を介して接続します。テーブル バックアップ リクエストが最後のタガー サービス ステップで失敗した場合、Pub/Sub はこのステップのみを再試行し、プロセス全体を再試行しません。
1 つの Cloud Run サービスでホストされる複数のエンドポイントではなく、複数の Cloud Run サービスにフローを分割すると、各サービス構成をきめ細かく制御できます。構成のレベルは、サービスの機能と、サービスが通信する API によって異なります。たとえば、ディスパッチャー サービスは実行ごとに 1 回実行されますが、BigQuery バックアップ スコープ内のすべてのテーブルを一覧表示するには、かなりの時間がかかります。したがって、ディスパッチャ サービスには、より高いタイムアウトとメモリの設定が必要です。ただし、BigQuery スナップショットの Cloud Run サービスは、1 回の実行でテーブルごとに 1 回実行され、ディスパッチャ サービスよりも短い時間で完了します。そのため、Cloud Run サービスには、サービスレベルで異なる構成セットが必要です。
データの整合性
テーブルとビュー間のデータ整合性は、信頼性の高いバックアップ戦略を維持するために重要です。データは継続的に更新および変更されるため、異なるタイミングで取得されたバックアップでは、データセットの状態が異なる可能性があります。これらのバックアップの状態が異なると、データを復元するときに不整合が発生する可能性があります。特に、同じ機能データセットに属するテーブルでは、不整合が発生する可能性があります。たとえば、販売テーブルを対応する在庫テーブルとは異なる時点に復元すると、利用可能な在庫に不一致が生じる可能性があります。同様に、複数のテーブルのデータを集計するデータベース ビューは、不整合の影響を特に受けやすくなります。基になるテーブルが一貫した状態であることを確認せずにこれらのビューを復元すると、不正確な結果や誤解を招く結果が生じる可能性があります。したがって、BigQuery のバックアップ ポリシーと頻度を設計する際は、この整合性を考慮し、復元されたデータが特定の時点におけるデータセットの実際の状態を正確に反映するようにする必要があります。
たとえば、このリファレンス アーキテクチャのデプロイでは、バックアップ ポリシーの次の 2 つの構成によってデータ整合性が制御されます。これらの構成では、タイムトラベルによって正確なテーブル スナップショット時間が計算されます。すべてのテーブルを同時にバックアップする必要はありません。
backup_cron: テーブルのバックアップ頻度を制御します。実行の開始タイムスタンプは、この実行でバックアップされるすべてのテーブルのタイムトラベル計算の基準点として使用されます。backup_time_travel_offset_days: テーブルの正確なタイムトラベル バージョンを計算するために、基準時点(実行開始時間)から差し引く過去の日数を制御します。
自動バックアップの復元
このリファレンス アーキテクチャでは、大規模なバックアップの自動化に焦点を当てていますが、これらのバックアップを自動的に復元することも検討できます。この追加の自動化により、バックアップの自動化と同様のメリット(復旧の効率と速度の向上、ダウンタイムの短縮など)が得られます。このソリューションでは、タガー サービスを介してすべてのバックアップ パラメータと結果が追跡されるため、同様のアーキテクチャを開発して、復元オペレーションを大規模に適用できます。
たとえば、オンデマンド トリガーに基づいて、BigQuery データのスコープをディスパッチャ サービスに送信するソリューションを作成できます。このサービスは、テーブルごとに 1 つのリクエストをコンフィグレータ サービスにディスパッチします。構成サービスは、特定のテーブルに必要なバックアップ履歴を取得できます。その後、コンフィグレータ サービスは、BigQuery スナップショット復元サービスまたは Cloud Storage 復元サービスに渡して、復元オペレーションを適用できます。最後に、タグ付けサービスは、これらのオペレーションの結果を状態ストアに保存できます。これにより、自動復元フレームワークは、このドキュメントで詳しく説明されているバックアップ フレームワークと同じ設計目標のメリットを享受できます。
費用の最適化
このアーキテクチャのフレームワークには、全体的な費用を最適化するために次のパラメータを設定するバックアップ ポリシーが用意されています。
- バックアップ方法: フレームワークには、次の 2 つのバックアップ方法が用意されています。
- BigQuery スナップショット。ベーステーブルと比較して更新および削除されたデータに基づいてストレージ費用が発生します。したがって、スナップショットは、追加のみのテーブルや更新が制限されているテーブルに対してより費用対効果が高くなります。
- BigQuery Export を Cloud Storage にエクスポートすると、Standard Storage の料金が発生します。ただし、切り捨てと読み込みのアプローチに従う大規模なテーブルの場合は、より安価なストレージ クラスにエクスポートとしてバックアップする方が費用対効果が高くなります。
- スナップショットの有効期限: 単一のテーブル スナップショットに有効期間(TTL)が設定され、スナップショットのストレージ費用が永続的に発生することを回避します。テーブルに有効期限がない場合、ストレージ費用は時間の経過とともに増加する可能性があります。
運用効率
このセクションでは、運用効率の機能と考慮事項について説明します。
きめ細かいスケーラブルなバックアップ ポリシー
このフレームワークの目標の一つは、ビジネス インプットを比較的低く抑え、管理しやすくしながら、ビジネス アウトプットをスケールアップすることで、運用効率を向上させることです。たとえば、出力は定期的にバックアップされる多数のテーブルですが、入力は少数のバックアップ ポリシーと構成です。
このフレームワークでは、テーブルレベルのバックアップ ポリシーに加えて、データセット、プロジェクト、フォルダ、グローバル レベルのポリシーも使用できます。つまり、上位レベル(フォルダレベルやプロジェクト レベルなど)でいくつかの構成を行うだけで、数百または数千のテーブルを定期的に大規模にバックアップできます。
オブザーバビリティ
自動化フレームワークでは、プロセスのステータスを把握することが重要です。たとえば、次の一般的なクエリに関する情報を見つけることができます。
- 各テーブルにシステムで使用されるバックアップ ポリシー。
- 各テーブルのバックアップ履歴とバックアップの場所。
- 1 回の実行の全体的なステータス(処理されたテーブルと失敗したテーブルの数)。
- 1 回の実行で発生した致命的なエラーと、それらが発生したプロセスのコンポーネントまたはステップ。
この情報を提供するため、デプロイは Cloud Run サービスを使用する各実行ステップで構造化ログを Cloud Logging に書き込みます。ログには、入力、出力、エラー、その他の進行状況チェックポイントが含まれます。ログシンクは、これらのログを BigQuery テーブルに転送します。一般的なオブザーバビリティのユースケースでは、複数のクエリを実行して実行をモニタリングし、レポートを取得できます。BigQuery のログとクエリの詳細については、BigQuery に転送されたログを表示するをご覧ください。
パフォーマンスの最適化
実行ごとに数千のテーブルを処理するため、ソリューションはバックアップ リクエストを並列で処理します。ディスパッチャー サービスは、BigQuery バックアップ スコープに含まれるすべてのテーブルを一覧表示し、実行ごとにテーブルごとに 1 つのバックアップ リクエストを生成します。これにより、アプリケーションは数千のリクエストとテーブルを順次ではなく並列で処理できます。
これらのリクエストの一部は、基盤となる Google Cloud API の上限に達した、ネットワークの問題が発生したなどの一時的な理由で、最初は失敗することがあります。リクエストが完了するまで、Pub/Sub は指数バックオフ再試行ポリシーを使用してリクエストを自動的に再試行します。無効なバックアップ先や権限の欠落などの致命的なエラーがある場合、エラーがログに記録され、その特定のテーブル リクエストの実行は終了しますが、実行全体には影響しません。
上限
このアーキテクチャには、次の割り当てと上限が適用されます。
テーブル スナップショットの場合、指定するバックアップ オペレーション プロジェクトごとに次のことが適用されます。
- 1 つのプロジェクトで、最大 100 個のテーブル スナップショット ジョブを同時に実行できます。
- 1 つのプロジェクトで、1 日に最大 50,000 個のテーブル スナップショット ジョブを実行できます。
- 1 つのプロジェクトで、テーブルごとに 1 日あたり最大 50 件のテーブル スナップショット ジョブを実行できます。
詳細については、テーブルのスナップショットをご覧ください。
エクスポート ジョブ(Cloud Storage へのエクスポート)には、次のものが適用されます。
- 共有スロットプールを使用すると、プロジェクトから 1 日あたり最大 50 TiB のデータを無料でエクスポートできます。
- 1 つのプロジェクトで 1 日あたり最大 100,000 件のエクスポートを実行できます。この上限を拡張するには、スロット予約を作成します。
これらの上限の引き上げについては、エクスポート ジョブをご覧ください。
同時実行数の上限に関しては、このアーキテクチャでは Pub/Sub を使用して、これらの上限が原因で失敗したリクエストを、API によって処理されるまで自動的に再試行します。ただし、プロジェクトあたりの 1 日あたりのオペレーション数に関するその他の上限については、割り当て増加リクエストを行うか、バックアップ オペレーション(スナップショットまたはエクスポート)を複数のプロジェクトに分散することで、上限を緩和できます。プロジェクト間でオペレーションを分散するには、次のデプロイ セクションの説明に沿ってバックアップ ポリシーを構成します。
デプロイ
このアーキテクチャをデプロイするには、スケーラブルな BigQuery バックアップ自動化をデプロイするをご覧ください。
次のステップ
- BigQuery の詳細を確認する。
- Cloud アーキテクチャ センターで、リファレンス アーキテクチャ、図、ベスト プラクティスを確認する。
寄稿者
著者: Karim Wadie | 戦略的クラウド エンジニア
その他の寄稿者:
- Chris DeForeest | サイト信頼性エンジニア
- Eyal Ben Ivri | クラウド ソリューション アーキテクト
- Jason Davenport | デベロッパー アドボケイト
- Jaliya Ekanayake | エンジニアリング マネージャー
- Muhammad Zain | 戦略的クラウド エンジニア