Compute Engine のファイル ストレージ

ファイル ストレージはネットワーク接続ストレージ（NAS）とも呼ばれ、アプリケーションにファイルレベルのアクセスを提供し、複数のマシン間で共有できる情報の読み取りや更新を可能にします。オンプレミス ファイル ストレージ ソリューションの中にはスケールアップ アーキテクチャを持つものがあり、これは一定量のコンピューティング リソースにストレージを追加するだけです。ファイル ストレージ ソリューションの中にはスケールアウト アーキテクチャを持つものもあり、これは既存のファイル システムに対して、必要に応じて段階的に容量とコンピューティング（パフォーマンス）を追加できます。どちらのストレージ アーキテクチャの場合でも、1 つまたは複数の仮想マシン（VM）によりストレージにアクセスできます。

ファイル システムの中にはネイティブ POSIX クライアントを使用するものもありますが、多くのストレージ システムでは、クライアント マシンがファイル システムをマウントして、あたかもローカルでホストされているかのようにファイルにアクセスすることを可能にするプロトコルが使用されています。ファイル共有をエクスポートするための最も一般的なプロトコルは、Linux （と一部のケースで Windows）ではネットワーク ファイル システム（NFS）、Windows ではサーバー メッセージ ブロック（SMB）です。

このドキュメントでは、ファイル共有の次のオプションについて説明します。

すべての Google Cloud サービスのパフォーマンスと予測可能性の基盤となる要素はネットワーク スタックです。Google は長年にわたってこれを進化させてきました。Google は Jupiter ファブリックを使用して、お客様のワークロードに影響を与えることなく進化し続ける堅牢かつスケーラブルで安定したネットワーキング スタックを構築しました。社内のネットワーク能力の向上と強化にも努めており、パフォーマンスを向上させることにより、お客様のファイル共有ソリューションにメリットをもたらします。

投資対効果を最大限に高める Google Cloud の特長の 一つとして、カスタム VM タイプを指定できることがあげられます。ファイラーのサイズを選択する際にメモリと CPU の適切な組み合わせを選択すれば、オーバーサブスクライブされることなくファイラーを最適なパフォーマンスで動作させることができます。

Cloud Storage は、ペタバイトまたはエクサバイト規模のデータを高レベルの冗長性と低コストで保管するのに適しています。ただし、Cloud Storage のパフォーマンス プロファイルと API は、ここで説明するファイル サーバーのものとは異なります。

ファイルサーバー ソリューションの概要

次の表は、ファイル サーバーのソリューションと機能をまとめたものです。

解決策 最適なデータセット スループット マネージド サポート プロトコルのエクスポート
Filestore Basic 1 TiB～64 TiB 最大 1.2 GiB/秒 Google のフルマネージド サービス NFSv3
Filestore Zonal 1 TiB～100 TiB 最大 26 GiB/秒 Google のフルマネージド サービス NFSv3, NFSv4.1
Filestore Regional 1 TiB～100 TiB 最大 26 GiB/秒 Google のフルマネージド サービス NFSv3, NFSv4.1
Managed Lustre 18 TiB ～ 8 PiB 最大 1 TB/秒 Google のフルマネージド サービス POSIX
NetApp Volumes 1 GiB～1 PiB 1 MB/秒～ 30 GiB/秒 Google のフルマネージド サービス NFSv3、NFSv4.1、SMB3
読み取り専用 Persistent Disk 64 TB 未満 240～1,200 Mbps × 直接接続

耐久性の高いディスクとローカル SSD

所有するデータが単一の VM からのアクセスで十分な規模の場合、または時間が経過してもデータが変化しない場合は、Compute Engine が提供する耐久性の高いディスク（Hyperdisk または Persistent Disk）を使用して、ファイル サーバーを一切使用しないという選択肢もあります。Hyperdisk と Persistent Disk のショート ボリュームは Ext4 や XFS といったファイル システムでフォーマットが可能で、読み取り / 書き込みモードまたは読み取り専用モードで VM にアタッチできます。つまり、ボリュームをインスタンスにアタッチして必要なデータを読み込んだ後に、そのボリュームを読み取り専用ディスクとして数百の VM に同時に接続できます。読み取り専用ディスクの使用はすべてのユースケースで適切とは限りませんが、ファイル サーバーを使用する場合に比べて複雑さが大きく軽減される可能性があります。

耐久性のあるディスクのパフォーマンスは一貫しています。インスタンスにアタッチした同じサイズのすべての Persistent Disk ボリューム（SSD 永続ディスクの場合は同じ数の vCPU）は、同じパフォーマンス特性を持ちます。本番環境で使用する前にディスクをプリウォームまたはテストする必要はありません。

ボリュームのプロビジョニング後に考慮すべき I/O コストが存在しないため、永続ディスクのコストを見積もるのは簡単です。永続ディスクは、必要に応じてサイズ変更することもできます。これにより、低コストで低容量のボリュームから始めることができます。容量をスケーリングするために追加のインスタンスやディスクを作成する必要はありません。

ストレージの合計容量が主な要件となる場合は、低コストの標準永続ディスクを使用できます。耐久性を維持しながら優れたパフォーマンスを実現したい場合は、SSD 永続ディスクを使用できます。

また、ファイル サーバーのストレージ デバイスに必要なストレージ帯域幅、IOPS、ネットワーク帯域幅が確実に提供されるように、適切な Compute Engine 永続ディスクの容量と vCPU 数を選択することが重要です。VM のネットワーク帯域幅は、選択したマシンタイプによって異なります。たとえば、A4 VM の最大ネットワーク帯域幅は 3,600 Gbps です。詳細については、マシン ファミリーのリソースと比較ガイドをご覧ください。Persistent Disk のチューニングについては、Persistent Disk のパフォーマンスについてをご覧ください。

データが一時的で、1 ミリ秒未満のレイテンシと高い IOPS（1 秒あたりの入出力オペレーション数）が要求される場合は、最大 9 TB のローカル SSD を利用して優れたパフォーマンスを実現できます。ローカル SSD では、インスタンスの割り当て済みネットワーク帯域幅を使い切ることなく、GB/秒の帯域幅と数百万の IOPS が提供されます。ただし、ローカル SSD を使用すると、可用性、耐久性、柔軟性に関してある程度のトレードオフが生じます。

Compute Engine のストレージ オプションの詳細については、クラウド ワークロードに最適なストレージ戦略を設計するをご覧ください。

ファイル ストレージ ソリューションを選択する際の考慮事項

ファイル ストレージ ソリューションの選択では、管理機能、費用、パフォーマンス、スケーラビリティに関するトレードオフを見極める必要があります。明確に定義されたワークロードがあれば判断は簡単ですが、そのようなケースはまれです。ワークロードが時間とともに増加する場合や激しく変動する場合は、コストの節約より柔軟性と弾力性を優先して、拡張可能なソリューションを採用するほうが賢明です。一方、ワークロードが一時的で明確に定義できる場合は、解体と再構築が可能な専用のファイル ストレージ アーキテクチャを作成して、必要なストレージに即座に対応することが可能です。

最初に決定すべき事項の 1 つは、マネージド ストレージ サービス、プロダクト サポートが含まれるソリューション、サポートのないソリューションのうちどれに投資するかです。

  • マネージド ファイル ストレージ サービスは、Google またはパートナーがすべての運用を行うため、運用が最も簡単です。他の大半の Google Cloud サービスと同様、これらのサービスでも可用性に関するサービスレベル契約（SLA）が提供されることがあります。
  • マネージド サービスではなくてもサポートの対象となるソリューションでは、柔軟性が高くなります。問題が発生したときはパートナーに解決を依頼できますが、ストレージ ソリューションの日常的な運用はユーザーの責任になります。
  • サポートされていないソリューションでは、すべての問題の解決がユーザーに任されるため、デプロイと保守に多大な労力がかかります。これらのソリューションについては、このドキュメントでは説明しません。

次に、ソリューションの耐久性と可用性の要件を決定します。ほとんどのファイル ソリューションはゾーン ソリューションであり、ゾーンに障害が発生した場合にデフォルトでは保護されません。そのため、ゾーン障害に対する障害復旧（DR）ソリューションが必要かどうかを検討することが重要です。アプリケーションの耐久性と可用性に関する要件を理解することも重要です。たとえば、デプロイに際してのローカル SSD または永続ディスクの選択は、ファイル ソリューション ソフトウェアの構成と同様に、これらの要件に大きく影響します。高い耐久性と可用性を達成し、ゾーンまたはリージョンの障害に対する保護も行うには、どのソリューションでも慎重な計画が必要になります。

最後に、データにアクセスする必要がある場所（ゾーン、リージョン、オンプレミス データセンター）について検討します。オンプレミスからのアクセスとクラウド内からのアクセスを混在させることのできるソリューションは限られているため、データにアクセスするコンピューティング ファームの場所によってファイラー ソリューションの選択も影響を受けます。

マネージド ファイル ストレージ ソリューション

このセクションでは、Google が管理するファイル ストレージ ソリューションについて説明します。

Filestore Basic

Filestore Basic インスタンスは、ファイル共有、ソフトウェア開発、GKE ワークロードに適しています。データの保存には HDD または SSD を選択できます。SSD の方がパフォーマンスに優れています。どちらのオプションでも容量が段階的にスケールアップされ、バックアップを使用してデータを保護できます。

Filestore Zonal

Filestore Zonal は、 Google Cloud 上やハイブリッド クラウド全体でエンタープライズ ストレージとデータ マネジメントを簡素化します。Filestore Zonal では、グローバル データに対し、費用対効果に優れた高パフォーマンスの並列アクセスが可能です。それとともに、動的にスケーリング可能な分散ファイル システムにより厳格な整合性が確保されます。Filestore Zonal を使用すると、リファクタリングを行わずに既存の NFS アプリケーションと NAS ワークフローをクラウドで実行できます。さらに、エンタープライズ データサービス（スナップショットやバックアップなど）の利点も活用できます。Filestore の CSI ドライバにより、コンテナ化されたワークロードでシームレスなデータの永続性、ポータビリティ、共有が可能になります。

Filestore Zonal インスタンスはオンデマンドでスケーリングできます。これにより、必要に応じてファイル システムのインフラストラクチャを作成および拡張でき、ストレージのパフォーマンスと容量が動的ワークフローの要件に常に沿うようにできます。Filestore Zonal クラスタが拡張されると、それに比例してメタデータと I/O パフォーマンスの両方が直線的にスケーリングされます。こうしてスケーリングされることで、ハイ パフォーマンス コンピューティング、分析、クロスサイトのデータ集約、DevOps など、幅広い種類のデータ集約型ワークフローの強化と迅速化が可能になります。そのため、Filestore Zonal は、ライフ サイエンス（ゲノム配列決定など）、金融サービス、メディア、エンターテイメントといったデータ中心型の業界で使用するのに最適です。

また、重要なデータをさらに保護するため、Filestore Zonal はスナップショットを定期的に作成して保持し、バックアップを作成して別のリージョンに複製できます。Filestore を使用すると、事前に作成されたリカバリ ポイントから、個々のファイルまたはファイル システム全体を 10 分以内で復元できます。

Filestore Regional

Filestore Regional は、重要なファイルベースのアプリケーションを Google Cloudにデプロイできるフルマネージドかつクラウドネイティブな NFS ソリューションで、SLA によって 99.99% のリージョン可用性を保証します。99.99% のリージョン可用性 SLA を提供する Filestore Regional は、高い可用性が要求されるアプリケーション向けに設計されています。簡単な操作（またはいくつかの gcloud コマンドや API 呼び出しを実行する）だけで、リージョン内の 3 つのゾーンに同期的に複製される NFS 共有をプロビジョニングできます。リージョン内のいずれかのゾーンが利用できなくなった場合も Filestore Regional はアプリケーションにデータを透過的に提供し続けるため、操作は必要ありません。

また、重要なデータをさらに保護するため、Filestore Regional では、定期的なスナップショットの作成と保持、バックアップの作成、別のリージョンへの複製も可能です。Filestore を使用すると、事前に作成されたリカバリ ポイントから、個々のファイルまたはファイル システム全体を 10 分以内で復元できます。

また、重要なデータの保護を強化するため、Filestore ではファイル システムのスナップショットを定期的に作成して保持できます。Filestore を使用すると、事前に作成されたリカバリ ポイントから、個々のファイルまたはファイル システム全体を 10 分以内で復元できます。

SAP などの重要なアプリケーションでは、データベース階層とアプリケーション階層の両方で高い可用性が要求されます。この要件を満たすために、お客様は組み込みデータベースの高可用性を利用して、SAP データベース階層を複数のゾーンの Google Cloud Hyperdisk Extreme にデプロイできます。同様に、多数の VM 間での実行可能ファイルの共有が必要となる NetWeaver アプリケーション階層を Filestore Regional にデプロイできます。この場合、NetWeaver データがリージョン内の複数のゾーンにレプリケートされます。この結果、高可用性を備えた 3 層構造のミッション クリティカルなアプリケーション アーキテクチャが完成します。

IT 組織が Google Kubernetes Engine（GKE）のコンテナにステートフル アプリケーションをデプロイする事例も増加しています。そのため、多くの場合、これらのアプリケーションをサポートするために使用するインフラストラクチャを再検討する必要が生じます。ブロック ストレージ（Hyperdisk または Persistent Disk）、ファイル ストレージ（Filestore Basic、Zonal、Regional）、オブジェクト ストレージ（Cloud Storage）を使用できます。GKE 用 Filestore Basic HDD と GKE 用 Filestore マルチシェアを Filestore CSI ドライバと組み合わせると、複数の GKE Pod を必要とする組織は共有ファイル アクセスを使用して、ミッション クリティカルなワークロードの可用性を向上させることができます。

Managed Lustre

Managed Lustre は、密結合の HPC ワークロードに高スループットで低レイテンシのストレージを提供する、Google マネージド サービスです。大規模なデータセットへの高スループットで低レイテンシのアクセスを提供することで、HPC ワークロードと AI のトレーニングと推論を大幅に高速化します。AI / ML ワークロードに Managed Lustre を使用する方法については、 Google Cloudで AI / ML ワークロードのストレージを設計するをご覧ください。マネージド Lustre は、複数のストレージ ノードにデータを分散するため、多くの VM による同時アクセスが可能になります。この並列アクセスにより、従来のファイル システムで発生するボトルネックが解消され、ワークロードで必要な大量のデータを迅速に取り込んで処理できます。

NetApp Volumes

NetApp Volumes は、共有ファイル ストレージを Google Cloud コンピューティング インスタンスに迅速にマウントできるフルマネージド Google サービスです。NetApp Volumes は、SMB、NFS、マルチプロトコル アクセスをサポートしています。NetApp Volumes は、アプリケーションに低いレイテンシで高いパフォーマンスを提供するだけでなく、堅牢なデータ保護機能（スナップショット、コピー、クロスリージョン レプリケーション、バックアップ）も備えています。このサービスは、シーケンシャルなワークロードとランダムなワークロードの両方を必要とするアプリケーションに適していて、数百または数千の Compute Engine インスタンスにスケーリングできます。GiB から PiB の範囲のボリュームを数秒でプロビジョニングし、堅牢なデータ保護機能で保護できます。NetApp Volumes には複数のサービスレベル（Flex、Standard、Premium、Extreme）があるため、可用性に影響を及ぼすことなく、ワークロードに適したパフォーマンスを実現できます。

Cloud Marketplace のパートナー ソリューション

Cloud Marketplace では、次のパートナーが提供するソリューションを利用できます。

NetApp Cloud Volumes ONTAP

NetApp Cloud Volumes ONTAP（NetApp CVO）は、お客様が管理するクラウドベースのソリューションで、NetApp の主要なデータ マネジメント オペレーティング システムである ONTAP の全機能セットを Google Cloudで利用できます。NetApp CVO は VPC 内にデプロイされ、課金やサポートは Google 側で管理されます。ONTAP ソフトウェアは、Compute Engine VM 上で実行され、永続ディスクと Cloud Storage バケットを組み合わせて（階層化が有効になっている場合）NAS データを保存します。組み込みファイラーはシン プロビジョニングを利用して NAS ボリュームに対応するので、お客様は使用した分のストレージに対してのみ請求されます。データが増えると、集約容量プールに永続ディスクが追加されます。

NetApp CVO では、基盤となるインフラストラクチャは抽象化され、クラウド環境またはオンプレミス環境の他のすべての ONTAP ボリュームとの共通の集約プールから切り分けるように、仮想データ ボリュームを作成できます。作成されたデータ ボリュームは、すべてのバージョンの NFS、SMB、マルチプロトコル NFS/SMB、iSCSI をサポートします。電子設計自動化（EDA）、メディア、エンターテイメントなど多くの業界で使用される、ウェブ コンテンツとリッチメディア コンテンツを含む幅広いファイルベースのワークロードをサポートします。

NetApp CVO は、スペース節約的な特定の時点のスナップショットを瞬時に作成し、Cloud Storage へのブロックレベルの永久増分バックアップを組み込み、クロスリージョンの非同期レプリケーションにより障害復旧に備えています。Compute Engine インスタンスと永続ディスクのタイプを選択できるので、ワークロードに必要なパフォーマンスを実現できます。NetApp CVO は、高パフォーマンス構成による運用時にも、重複除去、コンパクション、圧縮などによりストレージが効率化されます。また、使用頻度の低いデータは Cloud Storage バケットに自動的に階層化されるので、ペタバイト規模のデータを保存しながらも、全体的なストレージ費用を大幅に削減できます。

DDN Infinia

高度な AI データ オーケストレーションが必要な場合は、Google Cloud Marketplace で利用可能な DDN Infinia を使用できます。Infinia は、推論、トレーニング、リアルタイム分析に最適化された AI 向けのデータ インテリジェンス ソリューションを提供します。超高速のデータ取り込み、メタデータが豊富なインデックス作成、TensorFlow や PyTorch などの AI フレームワークとのシームレスな統合を実現します。

DDN Infinia の主な機能は次のとおりです。

  • 高パフォーマンス: ミリ秒未満のレイテンシと複数の TB/秒のスループットを実現します。
  • スケーラビリティ: テラバイトからエクサバイトへのスケーリングをサポートし、1 回のデプロイで最大 10 万個以上の GPU と 100 万個の同時クライアントに対応できます。
  • 予測可能なサービス品質（QoS）を備えたマルチテナンシー: 複数のテナントに安全で分離された環境を提供し、ワークロード全体で一貫したパフォーマンスを実現する予測可能な QoS を提供します。
  • 統合データ アクセス: Amazon S3 互換、CSI、Cinder などの組み込みのマルチプロトコル サポートにより、既存のアプリケーションやワークフローとのシームレスな統合を実現します。
  • 高度なセキュリティ: データ保護とコンプライアンスを確保するのに役立つ、組み込みの暗号化、障害ドメイン認識消去コーディング、スナップショットなどの機能が用意されています。

Nasuni Cloud File Storage

Nasuni は、エンタープライズ ファイル サーバーおよび NAS デバイス、関連するすべてのインフラストラクチャ（バックアップ ハードウェアと DR ハードウェアを含む）の代わりに使用できる、よりシンプルで低コストのクラウド プロダクトです。Nasuni が提供するのは、 Google Cloud オブジェクト ストレージを使用したより効率的な Software as a Service（SaaS）ストレージ ソリューションです。このソリューションは、統制されていないファイルデータの急増に対応できるようスケーリングできます。Nasuni は、すべての従業員がどこからでも、部門、プロジェクト、組織のファイル共有とアプリケーション ワークフローに対応できるように設計されています。

Nasuni Cloud File Storage。

Nasuni は 3 つのパッケージがあり、あらゆる規模の企業や組織に合わせた料金を用意しているため、必要に応じて拡大や拡張が可能です。

Nasuni には次のような利点があります。

  • クラウドベースのプライマリ ファイル ストレージを最大 70% 削減。Nasuni のアーキテクチャは、組み込みのオブジェクトのライフサイクル管理ポリシーを活用します。このポリシーにより、Cloud Storage クラス（Standard、Nearline、Coldline、Archive など）を使用する完全な柔軟性が与えられます。Nasuni でプライマリ ストレージに即時アクセスのアーカイブ クラスを使用することで、最大 70% ものコスト削減を実現できます。

  • クラウドでの部門と組織のファイル共有。Nasuni のクラウドベースのアーキテクチャは、Google Cloud リージョン全体で単一のグローバル名前空間を使用できます。ファイル数、ファイルサイズ、スナップショット数に制限はなく、標準的な NAS（SMB）ドライブ マッピング プロトコルを介してパソコンから直接Google Cloud にファイルを保存できます。

  • 組み込み式のバックアップと障害復旧。Nasuni の「一度の設定で手間要らず」なオペレーションは、グローバル ファイル ストレージの管理を簡単にします。Backup and DR が含まれ、単一の管理コンソールで場所や時間を問わずに環境を監視して制御できます。

  • 古いファイル サーバーの置き換え。Nasuni を使用すると、Microsoft Windows ファイル サーバーや他の既存のファイル ストレージ システムを Google Cloudに簡単に移行でき、これらの環境にかかる費用が抑えられ、管理の複雑さが減ります。

詳しくは以下をご覧ください。

Sycomp Intelligent Data Storage Platform

Google Cloud Marketplace で利用可能な Sycomp Intelligent Data Storage Platform を使用すると、ハイ パフォーマンス コンピューティング（HPC）、AI、ML、ビッグデータのワークロードを Google Cloudで実行できます。Sycomp Storage を使用すると、何千もの VM から同時にデータにアクセスし、ストレージ階層を自動的に管理して費用を削減しながら、アプリケーションをオンプレミスまたは Google Cloudで実行できます。Sycomp Storage は迅速にデプロイでき、NFS と IBM Storage Scale クライアントを介したデータへのアクセスをサポートします。

IBM Storage Scale は、大量（PB 規模）のデータを安全に管理できる並列ファイル システムです。Sycomp Storage Scale は、POSIX 準拠の共有ファイル システムを必要とする HPC、AI、ML、ビッグデータなどのアプリケーションに適した並列ファイル システムです。調整可能なストレージ容量とパフォーマンスのスケーリングを備えた Sycomp Storage は、小規模から大規模の HPC、AI、ML のワークロードをサポートできます。

Google Cloudにクラスタをデプロイしたら、その使用方法を決定します。既存のオンプレミス IBM Storage Scale クラスタ、サードパーティの NFS NAS ソリューション、またはその他のオブジェクトベースのストレージ ソリューションに接続して、クラスタをクラウドのみで使用するか、ハイブリッド モードで使用するかを選択します。

寄稿者

著者: Sean Derrington | グループ プロダクト マネージャー、ストレージ

その他の寄稿者: