Rapid Bucket

本頁說明 Rapid Bucket，這項功能可讓您將區域設為bucket 的位置，在 Rapid Storage 儲存空間類別中儲存物件。這種做法可讓資料儲存庫與運算資源位於相同位置，相較於 Cloud Storage 中的其他儲存空間級別，延遲時間明顯較短，處理量也較高。其他可用區和區域中的工作負載也能存取 bucket，效能則取決於網路距離。

如要使用 Rapid Bucket 建立可用區 bucket，請參閱「建立可用區 bucket」。 您可以在「可用區」查看支援的位置清單。如要讀取可用區 bucket 中的物件及附加資料，請參閱「使用可用區 bucket 中的物件」。

如要為 bucket 啟用 Rapid Bucket，該 bucket 也必須啟用階層命名空間和統一 bucket 層級存取權。

功能和優點

Rapid Bucket 旨在消除儲存空間瓶頸，非常適合用於資料密集型應用程式，例如 AI/機器學習和資料分析。Rapid Bucket 支援不到一毫秒的延遲時間、高達 15 TB/s 的匯總處理量，以及每秒 2,000 萬次查詢 (QPS)。超低延遲可即時擷取資料，並支援大規模執行即時推論的應用程式。超高處理量和 QPS 可讓昂貴的 GPU 叢集保持滿載，大幅縮短模型訓練時間。

除了提供低延遲和高處理量，區域 bucket 還可讓您執行下列操作：

  • 將資料附加至可用區 bucket 中的物件，不必完整重寫物件

  • 開啟物件並維護串流，同時執行作業，加快後續讀取和寫入速度

用途

Rapid Bucket 最適合用於 AI/機器學習工作負載，或其他資料密集型工作負載。這類工作負載包括模型檢查點、評估和服務，以及記錄和訊息佇列。也可以用於串流資料，或為資料庫提供儲存空間。

如要充分運用 Rapid Bucket 的低延遲和高處理量，請務必啟用 gRPC 直接連線。

Rapid Bucket 術語

Cloud Storage 說明文件使用下列詞彙：

  • Rapid Bucket：這項產品可讓您建立具有區域位置和 Rapid Storage 儲存空間級別的 bucket。

  • Rapid Storage：Cloud Storage 中資料存取和 I/O 作業效能最高的儲存空間級別。使用 Rapid Bucket 時，您建立的 bucket 會使用 Rapid Storage。如要進一步瞭解 Rapid Storage，請參閱「儲存空間級別」。

  • 可用區 bucket：位於可用區的 bucket。可用區 bucket 中的物件一律儲存在 Rapid Storage 中，且可附加。

可用區 bucket 中物件的存取權

如要享有區域儲存空間的效能優勢，請務必開啟物件串流，並在物件上執行作業時維持串流。建立及維護串流時，您可以對物件執行後續讀取或寫入作業，延遲時間非常短。舉例來說，讀取 Parquet 檔案時，您可以在單一要求中，同時執行檔案中繼資料 (頁尾) 的初始讀取，以及後續特定資料列的讀取。與為每個步驟使用個別要求相比，這種做法更有效率。

建立物件串流後，使用 Cloud Storage FUSE 或 Cloud Storage 用戶端程式庫存取區域 bucket 物件時，物件串流預設會保持開啟狀態。

您可以從任意數量的代管商，為物件開啟多個讀取串流。您可以為物件建立的讀取串流數量沒有限制。

附加物件

您可以將資料附加至可用區 bucket 中的物件。對物件進行附加作業時，適用下列語意：

  • 開始寫入可附加物件後，這些物件就會出現在 bucket 命名空間中，而且在寫入期間仍可讀取。

  • 您可以附加至物件的次數或一次附加的位元組數量沒有限制。在物件達到 5 TiB 的大小上限前，您都可以附加資料。

  • 當新的附加資料永久寫入或清除時，物件的大小會即時增加。建立讀取串流時，物件大小更新作業應會有些微延遲。

  • 可附加物件一次只能有一個寫入者。如果為已有寫入串流的物件建立新的寫入串流，Cloud Storage 會向原始串流傳回錯誤，且原始串流將無法再寫入。新的寫入器可以從最後一個持續偏移量繼續附加，而不會對物件進行其他交錯附加。

正在完成物件

物件完成後就無法再附加資料，但仍可使用新版本覆寫物件。已完成物件的中繼資料仍可變動，例如新增標記和重新命名物件。

掛接可用區 bucket

您可以使用 Cloud Storage FUSE 或 Cloud Storage FUSE CSI 驅動程式，掛接及存取可用區 bucket。請務必使用 Cloud Storage FUSE 3.7.2 以上版本。如要使用 Cloud Storage FUSE CSI 驅動程式，Google Kubernetes Engine 版本必須為 1.35.0-gke.3047001 以上。

支援的工具

您可以使用大部分的 Cloud Storage 工具處理可用區 bucket。但請注意，本功能有以下限制：

  • 您無法使用適用於非可用區 bucket 的標準用戶端程式庫 API，將資料寫入可用區 bucket。如要寫入區域 bucket，您必須修改程式碼，使用區域 bucket 適用的 API。如要瞭解應使用哪些 API，請參閱「使用區域儲存空間中的物件」一文，查看用戶端程式庫的程式碼範例。

  • 您可以使用 JSON API、XML API 或 gRPC 讀取可用區 bucket 中的物件，包括 ReadObject 等非雙向 gRPC 讀取方法。

  • 寫入可用區 bucket 的支援情形因 API 而異：

    • gRPC：使用 gRPC 時，只能透過 BidiWriteObject API 寫入可用區 bucket。可附加的物件僅支援以可附加模式進行的 BidiWriteObject RPC 呼叫。可用區 bucket 不支援非雙向 gRPC 寫入方法，例如 WriteObject。

    • XML API：您可以使用 XML API 寫入區域儲存空間，但 XML 多部分上傳除外。

    • JSON API：無法使用 JSON API 寫入可用區 bucket。

  • GCSFS Python 程式庫 2026.3.0 以上版本支援快速 bucket。

  • Google Cloud CLI 限制：

    • 支援的最低 Google Cloud CLI 版本：支援可用區 bucket 的 gcloud CLI 最低版本為 553.0.0。舊版與可用區 bucket 不相容。建議您使用最新版 gcloud CLI，取得最新功能和錯誤修正。如要下載切片物件，並針對區域值區進行效能最佳化，請使用 gcloud CLI 583.0.0 以上版本。詳情請參閱「調整可用區儲存空間的 gcloud CLI 效能」。

    • 未完成上傳的物件可見度：在其他儲存空間級別的值區中，物件只有在上傳完成後才會顯示在命名空間中，但可用區值區中部分上傳的物件會立即顯示。如果 Google Cloud CLI 上傳指令失敗或中斷，bucket 中可能會出現不完整的物件。您仍可重新執行指令，繼續上傳這些檔案。

    • 物件覆寫：可用區 bucket 適用標準 Google Cloud CLI 行為：覆寫物件時，如果目的地有同名的檔案或物件，Google Cloud CLI cp、mv 和 rsync 指令預設會覆寫該檔案或物件。如要避免覆寫，請使用 --no-clobber 旗標。使用 Google Cloud CLI 時，不支援將資料附加至現有物件，必須重新上傳整個來源。

    • 物件完成：使用 Google Cloud CLI 上傳至區域 bucket 的物件，可能偶爾會發生短暫延遲，物件的中繼資料才會完全同步。Cloud Storage 採用最終一致性模型，因此如果中繼資料尚未更新，上傳後立即嘗試下載物件，可能會導致雜湊不符錯誤。

      如果上傳後不久下載失敗，並顯示雜湊不符錯誤，請重試指令。下載作業不是完全成功，就是明確失敗，不會在未通知的情況下，發生部分下載或下載內容損毀的情形。

  • 總和檢查碼驗證效能：可用區儲存空間完全依賴 CRC32C 進行資料驗證，因此系統可以對每個區塊以及整個上傳或下載作業執行總和檢查碼驗證。根據預設，Google Cloud CLI 會使用 google-crc32c Python 程式庫，該程式庫已預先安裝在 Google Cloud CLI 中。不過，如果您使用的是非隨附的 Python 安裝，則必須從 PyPI 明確安裝 google-crc32c 程式庫。否則，Google Cloud CLI 會改用 gcloud-crc32c 二進位檔，這可能會導致每個區塊的 CRC 運算效能降低。

不相容性

區域 bucket 與下列產品和服務不相容：

  • 資料上傳和管理

    • Rapid Cache

    • 自動調整級別

    • 值區鎖定功能

    • 複合物件

    • XML 多部分上傳

    • 物件訴訟保留

    • 物件生命週期管理 SetStorageClass 動作

    • Object Retention Lock

    • bucket 遷移

    • 支援續傳的上傳作業

    • 物件重寫

    • 要求者付費

  • 中繼資料

    • 可用區 bucket 中的物件沒有 MD5 雜湊。

    • 與不支援的功能和產品相關聯的中繼資料屬性，不會顯示在區域值區或可附加物件的資源表示中，或無法寫入。例如：

      • softDeleteTime 和 hardDeleteTime 中繼資料屬性不會顯示在 Objects 資源的資源表示法中，因為可用區 bucket 中的物件不支援虛刪除。

      • 區域 bucket 中物件的 storageClass 中繼資料一律為 RAPID，且無法重新編寫，因為區域 bucket 一律必須使用 Rapid Storage 儲存空間級別。

  • 存取控管

    • 物件層級存取控管清單 (ACL)

    • CORS 設定

    • 客戶提供的加密金鑰 (CSEK)

    • HMAC 金鑰

  • 資料保護和災難復原

    • 物件版本管理

    • 虛刪除

    • 跨 bucket 複製

  • 其他 Google Cloud 服務

    • BigQuery

配額

每項專案的各個可用區都有預設的儲存空間容量配額。每個專案的每個區域，也都有從 Cloud Storage 到Google 服務的預設輸出配額。如要查看這些配額，請參閱「配額與限制」。

如要瞭解如何監控資料輸出用量及要求更多頻寬，請參閱「頻寬用量監控」。

定價

使用 Rapid Bucket 時，系統會收取資料儲存庫、作業和網路費用。詳情請參閱「定價」。

最佳做法

使用可用區 bucket 時，請考慮採用下列最佳做法，盡可能提高效能和資源使用率：

  • 最佳化物件讀取：使用 gcloud CLI 從可用區 bucket 讀取物件時，CLI 會自動套用預設並行和切片設定。如要進一步調整特定工作負載的這些設定，請參閱「調整區域儲存空間的 gcloud CLI 效能」。

  • Cloud Storage FUSE 檔案控制代碼：搭配 Cloud Storage FUSE 使用可用區 bucket 時，為提升效能，請對已掛接可用區 bucket 中的物件，維持開啟檔案控制代碼，並用於多項作業。Cloud Storage FUSE 會避免重複讀取時不必要的網路往返，因此這種做法可提升效能。

  • 最佳化平行寫入延遲時間：如果您維護自己的 gRPC 平行寫入邏輯，建議使用預先開啟的寫入器集區，其中包含未完成的物件，將串流設定移出寫入路徑。預先開啟的寫入器集區會開啟物件串流，並在應用程式需要前，在值區中建立新的空白可附加物件。詳情請參閱「最佳化寫入延遲時間」。

後續步驟