本頁說明 Cloud Storage 的運作方式,以及支援的使用案例。
Cloud Storage 的運作方式
Cloud Storage 是Google Cloud 提供的可擴充代管儲存服務,可讓您在稱為值區的容器中,將資料儲存為物件。
所有值區都與專案相關聯,您可以在機構底下為專案分組。建立專案後,您可以建立 bucket、將物件上傳至 bucket,以及從 bucket 下載物件。您也可以授予權限,讓指定主體存取資料,或讓公開網際網路中的所有使用者存取資料。目錄功能可讓您更像使用硬碟或網路附加儲存裝置 (NAS) 一樣使用 Cloud Storage:您可以使用資料夾在目錄結構中整理物件,並使用代管資料夾簡化物件的存取控管。
每個專案、值區、物件、資料夾和受管理資料夾都是Google Cloud中的資源,就跟 Compute Engine 執行個體之類的性質一樣。
階層 Google Cloud
以下是 Cloud Storage 結構在實際案例中的應用方式:
機構組織:貴公司 (例如 Example Inc.) 建立名為
exampleinc.org的機構組織。 Google Cloud專案:Example Inc. 正在建構多個應用程式,每個應用程式都與一個專案相關聯。每個專案都有自己的 Cloud Storage API 和其他資源。
值區:每個專案可包含多個值區,這些值區是儲存物件的容器。舉例來說,您可以為應用程式產生的所有圖片檔案建立
photosbucket,並建立另一個videosbucket。Cloud Storage 提供不同儲存空間類別和位置供您選擇,可根據工作負載需求,決定資料的耐用性和可用性。值區是更廣泛生態系統中的主要資料基礎。 Google Cloud您可以將 bucket 連結為其他Google Cloud 服務的儲存空間後端,例如 AI Hypercomputer、Vertex AI 和 Google Kubernetes Engine。
物件:儲存空間會包含物件,例如名為
puppy.png的圖片。物件是不可變更的資料片段,由任何格式的檔案組成。 每個 bucket 基本上可包含無限個個別物件。資料夾:啟用階層命名空間的 bucket 可以包含資料夾。資料夾可提供實際的檔案系統來儲存物件,而非模擬的檔案系統。您可以在單一作業中,以原子方式重新命名資料夾和其中的所有物件。
代管資料夾:每個值區也可以包含代管資料夾,可授予或撤銷 IAM 權限以外的額外存取權。受管理資料夾不會使用真正的目錄樹狀結構,而是僅用於權限檢查的資源疊加層。
Cloud Storage 工具
您可以使用下列工具與 Cloud Storage 互動:
Google Cloud 控制台: Google Cloud 控制台提供視覺化介面,方便您在瀏覽器中管理資料。
Google Cloud CLI:您可以使用
gcloud storage指令,透過終端機與 Cloud Storage 互動。用戶端程式庫:Cloud Storage 用戶端程式庫可讓您使用偏好的語言 (包括 C++、C#、Go、Java、Node.js、PHP、Python 和 Ruby) 管理資料。
Terraform:Terraform 是一種基礎架構即程式碼 (IaC) 工具,可用於佈建 Cloud Storage 的基礎架構。詳情請參閱「使用 Cloud Storage 佈建資源」。
gRPC:gRPC 可讓您與 Cloud Storage 互動。gRPC 是由Google 開發的高效能開放原始碼通用遠端程序呼叫 (RPC) 框架,您可以使用通訊協定緩衝區定義服務。
Cloud Storage FUSE:Cloud Storage FUSE 可讓您將 Cloud Storage bucket 掛接到本機檔案系統。這可讓應用程式使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。
GCSFS Python 程式庫:GCSFS 是 Python 程式庫,可為 Cloud Storage 提供 Pythonic 檔案系統介面。
應用實例和主要功能
Cloud Storage 提供持久耐用的全域物件儲存空間,可因應各種企業工作負載,從高效能人工智慧 (AI) 和機器學習 (ML) 訓練到法規封存,都能妥善處理。
儲存及存取資料,以用於 AI/機器學習和資料分析
透過專為大規模處理作業設計的高處理量、低延遲資料存取機制,加快 AI/機器學習管道和分析洞察的處理速度。
| 功能 | 功能、產品或特色 |
|---|---|
| Cloud Storage Rapid | 高效能儲存空間與運算資源共置,存取時間不到 1 毫秒,總處理量可達數 TB/s。包括:
|
| 階層命名空間 | 將資料整理至邏輯目錄結構,提供不可分割的資料夾作業,且初始 QPS 限制最多可比沒有階層式命名空間的 bucket 高出 8 倍。階層式命名空間只能在建立 bucket 時啟用,無法在現有 bucket 上啟用。 |
| Cloud Storage FUSE | 將 bucket 掛接至本機檔案系統,讓應用程式使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。 |
如要進一步瞭解如何提升效能,請參閱「最佳化 AI/機器學習和資料分析的儲存空間」。
確保資料安全無虞且符合規範
透過內建的加密機制、存取控管和不可變更的資料保留政策,保護資產並符合全球法規標準。
| 安全層 | 功能、產品或特色 |
|---|---|
| 存取控管 | 強制執行最低權限存取權,並將流量限制在信任的網路。產品和功能包括:
|
| 資料加密 | 加密靜態資料和傳輸中的資料。產品和功能包括:
|
| 資料保留和不可變更性 | 防止意外刪除資料,並協助遵守資料法規。產品和功能包括:
|
備份、災難復原和業務持續性
透過多區域可用性和快速跨區域複製功能,保護企業免於資料遺失、災難事件和區域性服務中斷的影響。
| 功能、產品或特色 | 說明 |
|---|---|
| 雙區域和多區域 | 自動跨地理區域複製資料,確保 99.99% 的可用性。 Google Cloud |
| 強化型複製功能 | 在 15 分鐘內,將所有新寫入的物件複製到雙區域配對。 |
| 物件版本管理和軟刪除 | 保留先前的疊代和最近刪除的物件,以便在發生意外覆寫或勒索軟體事件後還原。 |
成本最佳化及管理資料生命週期
根據存取頻率選擇符合成本效益的儲存空間層級,在資料生命週期內降低儲存空間費用。
| 儲存空間級別、產品或功能 | 說明 |
|---|---|
| 儲存空間級別 | 根據資料存取頻率,選擇標準儲存空間、Nearline 儲存空間、Coldline 儲存空間、封存儲存空間和快速儲存空間。 |
| Autoclass | 根據物件存取模式,自動在儲存空間級別間移轉物件。 |
| 物件生命週期管理 | 使用自訂規則型政策刪除或轉移物件。 |
內容發布和提供網路服務
以低延遲和高可用性,在全球發布數位資產、下載內容和媒體檔案。
| 功能、產品或特色 | 說明 |
|---|---|
| Cloud CDN 和 Cloud Load Balancing | 在 Google全球邊緣位置快取靜態資產,以超低延遲時間傳送網頁。 |
| 已簽署的網址 | 提供私人物件的限時讀取或寫入存取權,不必提供 Google 憑證。 |
| 靜態網站託管 | 直接從公開值區提供靜態 HTML、CSS、JavaScript 和媒體資產。 |
資料遷移和事件驅動型擷取
簡化外部資料移入 Google Cloud 的程序,並在物件上傳後觸發自動處理工作流程。
| 整合 | 說明 |
|---|---|
| Storage 移轉服務 | 從 Amazon S3、Microsoft Azure Blob 儲存體、HTTP 來源或地端部署儲存空間,大規模管理及移轉線上資料。 |
| Transfer Appliance | 堅固耐用的硬體設備,可將數百 PB 的離線資料運送至 Google Cloud。 |
| Eventarc 和 Pub/Sub | 在物件建立、刪除或中繼資料更新時發出即時事件通知,以觸發 Cloud Functions 或 Cloud Run 服務。 |
資源名稱
每個資源都有不重複的識別名稱,跟檔案名稱很像。
值區的資源名稱格式為 projects/_/buckets/BUCKET_NAME,其中 BUCKET_NAME 是值區的 ID。物件的資源名稱格式為 projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME,其中 OBJECT_NAME 是物件的 ID。
附加在資源名稱末端的 #NUMBER 代表特定的物件產生。#0 是最新版物件的特殊識別碼。當物件名稱以字串結尾時,新增 #0 很有用,否則該字串將被解讀為產生號。
快速入門導覽課程指南
如要瞭解使用 Cloud Storage 的基礎知識,請參閱下列指南:
尋找其他產品?
如果 Cloud Storage 不適合您,請參閱下列儲存空間服務的詳細資訊:
Google Cloud Managed Lustre:將資料儲存在高效能全代管平行檔案系統中,這個系統經過最佳化,適合 AI 和 HPC 工作負載。
Google 雲端硬碟:儲存、管理及共用個人檔案。
Cloud Storage for Firebase:管理行動應用程式的資料。
Persistent Disk:為 Compute Engine 虛擬機器新增區塊儲存空間。
Filestore:為 GKE 叢集新增檔案儲存空間,供多個寫入者存取。
探索 Google提供的其他儲存空間服務。
後續步驟
- 透過Google Cloud 控制台或 Google Cloud CLI 瞭解 Cloud Storage 的基礎知識。
- 試用Google Cloud 使用 Cloud Storage 的快速部署解決方案。
- 開始使用用戶端程式庫。
- 使用 Storage 移轉服務,快速將線上資料匯入 Cloud Storage,或在 Cloud Storage bucket 之間移轉資料。