Cloud Storage 總覽

本頁面說明 Cloud Storage 的運作方式,以及支援的用途。

Cloud Storage 的運作方式

Cloud Storage 是Google Cloud 提供的可擴充代管儲存服務,可讓您將資料儲存為物件,並存放在稱為值區的容器中。

所有 bucket 都與專案相關聯,您可以在組織底下為專案分組。建立專案後,您可以建立 bucket、將物件上傳至 bucket,以及從 bucket 下載物件。您也可以授予權限,讓指定的實體或公開網際網路上的所有人存取資料。目錄功能可讓您更像使用硬碟或網路附加儲存裝置 (NAS) 一樣使用 Cloud Storage:您可以使用資料夾在目錄結構中整理物件,並透過代管資料夾簡化物件的存取權控管。

每個專案、bucket、物件、資料夾和代管資料夾都是Google Cloud中的「資源」,Compute Engine 執行個體等項目也是。

Google Cloud 階層

以下說明如何將 Cloud Storage 結構套用至實際案例:

  • 機構:貴公司 (例如 Example Inc.) 建立 Google Cloud名為 exampleinc.org 的機構。

  • 專案:Example Inc. 正在建構多個應用程式,每個應用程式都與一個專案相關聯。每個專案都有自己的 Cloud Storage API 和其他資源。

  • Bucket:每個專案可以包含多個 bucket,也就是用來儲存物件的容器。舉例來說,您可以建立 photos 值區,用於存放應用程式產生的所有圖片檔,並建立另一個 videos 值區。Cloud Storage 提供不同的儲存空間級別和位置,讓您選擇適合工作負載需求的資料耐用性和可用性。

    在更廣泛的 Google Cloud生態系統中,值區是主要的資料基礎。您可以將 bucket 連結為其他Google Cloud 服務 (例如 AI Hypercomputer、Vertex AI 和 Google Kubernetes Engine) 的儲存空間後端。

  • 物件:bucket 包含物件,例如名為 puppy.png 的圖片。物件是不可變更的資料片段,由任何格式的檔案組成。每個 bucket 基本上可包含無限個個別物件。

  • 資料夾:啟用階層命名空間的 bucket 可以包含資料夾。資料夾可提供實際的檔案系統來儲存物件,而非模擬檔案系統。您可以透過單一作業,自動重新命名資料夾及其中的所有物件。

  • 代管資料夾:每個 bucket 也可以包含代管資料夾,可授予或撤銷 bucket 上設定的 IAM 權限以外的其他存取權。代管資料夾不使用真正的目錄樹狀結構,而是僅用於權限檢查的資源疊加層。

資源名稱

每個資源都有專屬名稱,就像檔案名稱一樣。Bucket 的資源名稱格式為 projects/_/buckets/BUCKET_NAME,其中 BUCKET_NAME 是 Bucket 的 ID。物件的資源名稱格式為 projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME,其中 OBJECT_NAME 是物件的 ID。

資源名稱結尾附加的 #NUMBER 表示物件的特定世代。#0 是物件最新版本的專屬 ID。如果物件名稱結尾的字串會被解讀為版本編號,建議您新增 #0。

Cloud Storage 工具

您可以使用下列工具與 Cloud Storage 互動:

  • Google Cloud 控制台:您可以在瀏覽器中透過 Google Cloud 控制台的視覺化介面管理資料。

  • Google Cloud CLI:您可以使用 gcloud storage 指令,透過終端機與 Cloud Storage 互動。

  • 用戶端程式庫:Cloud Storage 用戶端程式庫可讓您使用偏好的語言 (包括 C++、C#、Go、Java、Node.js、PHP、Python 和 Ruby) 管理資料。

  • REST API:使用 JSON 或 XML API 管理資料。

  • Terraform:Terraform 是一種基礎架構即程式碼 (IaC) 工具,可用於佈建 Cloud Storage 的基礎架構。詳情請參閱「使用 Cloud Storage 佈建資源」。

  • gRPC:gRPC 可讓您與 Cloud Storage 互動。gRPC 是由Google 開發的高效能開放原始碼通用 RPC 架構,可讓您使用 Protocol Buffers 定義服務。

  • Cloud Storage FUSE:Cloud Storage FUSE 可讓您將 Cloud Storage bucket 掛接至本機檔案系統。這樣一來,應用程式就能使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。

  • GCSFS Python 程式庫:GCSFS 是 Python 程式庫,可為 Cloud Storage 提供 Pythonic 檔案系統介面。

應用實例和主要功能

Cloud Storage 提供耐用且全球可用的物件儲存庫,可適應各種企業工作負載,從高效能人工智慧 (AI) 和機器學習 (ML) 訓練到法規封存,都能輕鬆應對。

儲存及存取資料,用於 AI/機器學習和資料分析

這項服務專為大規模處理作業設計,可提供高處理量、低延遲的資料存取功能,加快 AI/機器學習管道和數據分析洞察的速度。

功能 功能、產品或功能
Cloud Storage Rapid 高效能儲存空間與運算資源位於同一位置,存取時間不到 1 毫秒,總處理量可達數 TB/秒。包括:
  • Rapid Bucket:Rapid Storage 儲存空間級別的可用區物件儲存庫,專為資料密集型 AI/機器學習和數據分析工作負載設計。
  • Rapid Cache:全代管、採用 SSD 的可用區讀取快取,可自動調度資源調整容量和頻寬,加快讀取效能。
階層命名空間 將資料整理至邏輯目錄結構,並提供不可分割的資料夾作業,初始 QPS 限制比沒有階層命名空間的 bucket 高達 8 倍。階層結構式命名空間只能在建立 bucket 時啟用,無法在現有 bucket 啟用。
Cloud Storage FUSE 將 bucket 掛接至本機檔案系統,讓應用程式能使用標準檔案系統語意,讀取或寫入 bucket。

如要進一步瞭解如何提升效能,請參閱「針對 AI/機器學習和資料分析最佳化儲存空間」。

保護資料並確保法規遵循

運用內建的加密機制、存取控管和不可變更的資料保留政策,保護資產並符合全球法規標準。

安全防護層 功能、產品或功能
存取控管 強制執行最小權限存取權,並限制流量,僅允許信任的網路。產品和功能包括:
  • 身分與存取權管理: 透過角色式存取權控管,授權特定使用者、群組或服務帳戶對 Cloud Storage 資源執行動作。
  • 統一 bucket 層級存取權:停用物件層級存取控管清單 (ACL),並一律使用 bucket 層級 IAM 政策,統一控管 Cloud Storage 資源的存取權。
  • Bucket IP 篩選:根據要求的來源 IP 位址限制 bucket 存取權,防止特定 IP 位址或虛擬私有雲 (VPC) 未經授權存取資料。
資料加密 為靜態和傳輸中的資料加密。產品和功能包括:
  • Google代管金鑰:根據預設,系統會使用 Google擁有及維護的伺服器端金鑰,自動加密 Cloud Storage 靜態資料。
  • CMEK (Cloud KMS):控管加密金鑰的輪替時間表、存取權限和生命週期,保護 Cloud Storage 資源。
  • CSEK:在每個 API 要求中提供自己的加密編譯金鑰,保護 Cloud Storage 靜態資料,而非 Google 儲存或復原金鑰內容。
資料保留和不可變性 防止意外刪除,並協助遵守資料法規。產品和功能包括:
  • bucket 鎖定:為 bucket 指定資料保留政策,強制執行法規和法規遵循資料保留規則,控管 bucket 中的物件必須保留多久。
  • 物件保留:為特定物件套用不可變更的保留期限,藉此管理個別物件的生命週期,防止物件在期限屆滿前遭到刪除或取代。
  • 物件版本管理:自動將遭到覆寫或刪除的使用中物件封存為非現行版本,藉此保留資料的歷來副本,讓您隨時還原過去的物件狀態。
  • 虛刪除: 保留最近刪除的物件和值區,防止資料因意外或惡意刪除而永久遺失。Cloud Storage 預設會為所有 bucket 啟用虛刪除功能,保留期限為七天。

備份、災難復原和業務持續性

具備多區域可用性,並能快速跨區域複製,保護企業免於資料遺失、災難事件和區域性服務中斷。

功能、產品或功能 說明
雙區域和多區域 自動在地理位置不同的 Google Cloud 區域複製資料,可用性達 99.99%。
強化型複製 在 15 分鐘內,將新寫入的物件全數複製到雙區域配對。
物件版本管理和虛刪除 保留先前的疊代和最近刪除的物件,以便在意外覆寫或勒索軟體事件發生後復原。

成本最佳化及管理資料生命週期

根據存取頻率選擇經濟實惠的儲存空間層級,在資料生命週期內降低儲存空間費用。

儲存空間級別、產品或功能 說明
儲存空間級別 根據資料存取頻率,選擇 Standard Storage、Nearline Storage、Coldline Storage、Archive Storage 和 Rapid Storage。
Autoclass 根據物件存取模式,自動在儲存空間級別之間轉換物件。
物件生命週期管理 使用自訂規則型政策刪除或轉移物件。

內容發布和提供網路服務

以低延遲和高可用性,在全球發布數位資產、下載內容和媒體檔案。

功能、產品或功能 說明
Cloud CDN 和 Cloud Load Balancing 在 Google全球邊緣位置快取靜態資產,以超低延遲傳遞網路內容。
經簽署的網址 提供私人 Google
靜態網站託管 直接從公開 bucket 提供靜態 HTML、CSS、JavaScript 和媒體素材資源。

資料遷移和事件驅動式擷取

簡化將外部資料移至 Google Cloud 的流程,並在上傳物件時觸發自動處理工作流程。

整合 說明
Storage 移轉服務 代管式高規模線上資料移轉服務,可從 Amazon S3、Microsoft Azure Blob 儲存體、HTTP 來源或地端部署儲存空間移轉資料。
Transfer Appliance 耐用的硬體設備,可將多達數百 PB 的離線資料傳送至 Google Cloud。
Eventarc 和 Pub/Sub 在建立、刪除物件或更新中繼資料時,發出即時事件通知,觸發 Cloud Functions 或 Cloud Run 服務。

分析及管理資料儲存空間

深入瞭解儲存的資料,並在 Cloud Storage 環境中大規模管理資料。

功能、產品或特色 說明
Storage Intelligence 掌握儲存空間環境的狀況,有助於盡可能降低成本,並強制執行資料治理政策。
Storage Intelligence 建議工具 監控儲存的資料並取得可執行的發現,有助於盡可能降低成本、提升效能及強化安全性。
object enrichments (預先發布版) 使用機器學習模型,為非結構化圖片和 PDF 文件生成結構化中繼資料。
儲存空間分析資料集 在 BigQuery 中查詢及分析值區和物件中繼資料的索引。
儲存空間批次作業 執行大量作業,例如刪除物件、更新中繼資料,或對數百萬或數十億個物件套用保留政策。
bucket 遷移 將現有 bucket 及其資料移至新位置,同時保留 bucket 名稱和物件中繼資料,並盡可能縮短停機時間。

快速入門導覽課程指南

如要瞭解使用 Cloud Storage 的基本知識,請參閱下列指南:

正在尋找其他產品嗎?

如果 Cloud Storage 不是適合您的儲存空間解決方案,請參閱下列儲存空間服務的詳細資訊:

後續步驟