本頁面說明 Cloud Storage 的運作方式,以及支援的用途。
Cloud Storage 的運作方式
Cloud Storage 是Google Cloud 提供的可擴充代管儲存服務,可讓您將資料儲存為物件,並存放在稱為值區的容器中。
所有 bucket 都與專案相關聯,您可以在組織底下為專案分組。建立專案後,您可以建立 bucket、將物件上傳至 bucket,以及從 bucket 下載物件。您也可以授予權限,讓指定的實體或公開網際網路上的所有人存取資料。目錄功能可讓您更像使用硬碟或網路附加儲存裝置 (NAS) 一樣使用 Cloud Storage:您可以使用資料夾在目錄結構中整理物件,並透過代管資料夾簡化物件的存取權控管。
每個專案、bucket、物件、資料夾和代管資料夾都是Google Cloud中的「資源」,Compute Engine 執行個體等項目也是。
Google Cloud 階層
以下說明如何將 Cloud Storage 結構套用至實際案例:
機構:貴公司 (例如 Example Inc.) 建立 Google Cloud名為
exampleinc.org的機構。專案:Example Inc. 正在建構多個應用程式,每個應用程式都與一個專案相關聯。每個專案都有自己的 Cloud Storage API 和其他資源。
Bucket:每個專案可以包含多個 bucket,也就是用來儲存物件的容器。舉例來說,您可以建立
photos值區,用於存放應用程式產生的所有圖片檔,並建立另一個videos值區。Cloud Storage 提供不同的儲存空間級別和位置,讓您選擇適合工作負載需求的資料耐用性和可用性。在更廣泛的 Google Cloud生態系統中,值區是主要的資料基礎。您可以將 bucket 連結為其他Google Cloud 服務 (例如 AI Hypercomputer、Vertex AI 和 Google Kubernetes Engine) 的儲存空間後端。
物件:bucket 包含物件,例如名為
puppy.png的圖片。物件是不可變更的資料片段,由任何格式的檔案組成。每個 bucket 基本上可包含無限個個別物件。資料夾:啟用階層命名空間的 bucket 可以包含資料夾。資料夾可提供實際的檔案系統來儲存物件,而非模擬檔案系統。您可以透過單一作業,自動重新命名資料夾及其中的所有物件。
代管資料夾:每個 bucket 也可以包含代管資料夾,可授予或撤銷 bucket 上設定的 IAM 權限以外的其他存取權。代管資料夾不使用真正的目錄樹狀結構,而是僅用於權限檢查的資源疊加層。
資源名稱
每個資源都有專屬名稱,就像檔案名稱一樣。Bucket 的資源名稱格式為 projects/_/buckets/BUCKET_NAME,其中 BUCKET_NAME 是 Bucket 的 ID。物件的資源名稱格式為 projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME,其中 OBJECT_NAME 是物件的 ID。
資源名稱結尾附加的 #NUMBER 表示物件的特定世代。#0 是物件最新版本的專屬 ID。如果物件名稱結尾的字串會被解讀為版本編號,建議您新增 #0。
Cloud Storage 工具
您可以使用下列工具與 Cloud Storage 互動:
Google Cloud 控制台:您可以在瀏覽器中透過 Google Cloud 控制台的視覺化介面管理資料。
Google Cloud CLI:您可以使用
gcloud storage指令,透過終端機與 Cloud Storage 互動。用戶端程式庫:Cloud Storage 用戶端程式庫可讓您使用偏好的語言 (包括 C++、C#、Go、Java、Node.js、PHP、Python 和 Ruby) 管理資料。
Terraform:Terraform 是一種基礎架構即程式碼 (IaC) 工具,可用於佈建 Cloud Storage 的基礎架構。詳情請參閱「使用 Cloud Storage 佈建資源」。
gRPC:gRPC 可讓您與 Cloud Storage 互動。gRPC 是由Google 開發的高效能開放原始碼通用 RPC 架構,可讓您使用 Protocol Buffers 定義服務。
Cloud Storage FUSE:Cloud Storage FUSE 可讓您將 Cloud Storage bucket 掛接至本機檔案系統。這樣一來,應用程式就能使用標準檔案系統語意,從 bucket 讀取或寫入 bucket。
GCSFS Python 程式庫:GCSFS 是 Python 程式庫,可為 Cloud Storage 提供 Pythonic 檔案系統介面。
應用實例和主要功能
Cloud Storage 提供耐用且全球可用的物件儲存庫,可適應各種企業工作負載,從高效能人工智慧 (AI) 和機器學習 (ML) 訓練到法規封存,都能輕鬆應對。
儲存及存取資料,用於 AI/機器學習和資料分析
這項服務專為大規模處理作業設計,可提供高處理量、低延遲的資料存取功能,加快 AI/機器學習管道和數據分析洞察的速度。
| 功能 | 功能、產品或功能 |
|---|---|
| Cloud Storage Rapid | 高效能儲存空間與運算資源位於同一位置,存取時間不到 1 毫秒,總處理量可達數 TB/秒。包括:
|
| 階層命名空間 | 將資料整理至邏輯目錄結構,並提供不可分割的資料夾作業,初始 QPS 限制比沒有階層命名空間的 bucket 高達 8 倍。階層結構式命名空間只能在建立 bucket 時啟用,無法在現有 bucket 啟用。 |
| Cloud Storage FUSE | 將 bucket 掛接至本機檔案系統,讓應用程式能使用標準檔案系統語意,讀取或寫入 bucket。 |
如要進一步瞭解如何提升效能,請參閱「針對 AI/機器學習和資料分析最佳化儲存空間」。
保護資料並確保法規遵循
運用內建的加密機制、存取控管和不可變更的資料保留政策,保護資產並符合全球法規標準。
| 安全防護層 | 功能、產品或功能 |
|---|---|
| 存取控管 | 強制執行最小權限存取權,並限制流量,僅允許信任的網路。產品和功能包括:
|
| 資料加密 | 為靜態和傳輸中的資料加密。產品和功能包括:
|
| 資料保留和不可變性 | 防止意外刪除,並協助遵守資料法規。產品和功能包括:
|
備份、災難復原和業務持續性
具備多區域可用性,並能快速跨區域複製,保護企業免於資料遺失、災難事件和區域性服務中斷。
| 功能、產品或功能 | 說明 |
|---|---|
| 雙區域和多區域 | 自動在地理位置不同的 Google Cloud 區域複製資料,可用性達 99.99%。 |
| 強化型複製 | 在 15 分鐘內,將新寫入的物件全數複製到雙區域配對。 |
| 物件版本管理和虛刪除 | 保留先前的疊代和最近刪除的物件,以便在意外覆寫或勒索軟體事件發生後復原。 |
成本最佳化及管理資料生命週期
根據存取頻率選擇經濟實惠的儲存空間層級,在資料生命週期內降低儲存空間費用。
| 儲存空間級別、產品或功能 | 說明 |
|---|---|
| 儲存空間級別 | 根據資料存取頻率,選擇 Standard Storage、Nearline Storage、Coldline Storage、Archive Storage 和 Rapid Storage。 |
| Autoclass | 根據物件存取模式,自動在儲存空間級別之間轉換物件。 |
| 物件生命週期管理 | 使用自訂規則型政策刪除或轉移物件。 |
內容發布和提供網路服務
以低延遲和高可用性,在全球發布數位資產、下載內容和媒體檔案。
| 功能、產品或功能 | 說明 |
|---|---|
| Cloud CDN 和 Cloud Load Balancing | 在 Google全球邊緣位置快取靜態資產,以超低延遲傳遞網路內容。 |
| 經簽署的網址 | 提供私人 Google |
| 靜態網站託管 | 直接從公開 bucket 提供靜態 HTML、CSS、JavaScript 和媒體素材資源。 |
資料遷移和事件驅動式擷取
簡化將外部資料移至 Google Cloud 的流程,並在上傳物件時觸發自動處理工作流程。
| 整合 | 說明 |
|---|---|
| Storage 移轉服務 | 代管式高規模線上資料移轉服務,可從 Amazon S3、Microsoft Azure Blob 儲存體、HTTP 來源或地端部署儲存空間移轉資料。 |
| Transfer Appliance | 耐用的硬體設備,可將多達數百 PB 的離線資料傳送至 Google Cloud。 |
| Eventarc 和 Pub/Sub | 在建立、刪除物件或更新中繼資料時,發出即時事件通知,觸發 Cloud Functions 或 Cloud Run 服務。 |
分析及管理資料儲存空間
深入瞭解儲存的資料,並在 Cloud Storage 環境中大規模管理資料。
| 功能、產品或特色 | 說明 |
|---|---|
| Storage Intelligence | 掌握儲存空間環境的狀況,有助於盡可能降低成本,並強制執行資料治理政策。 |
| Storage Intelligence 建議工具 | 監控儲存的資料並取得可執行的發現,有助於盡可能降低成本、提升效能及強化安全性。 |
| object enrichments (預先發布版) | 使用機器學習模型,為非結構化圖片和 PDF 文件生成結構化中繼資料。 |
| 儲存空間分析資料集 | 在 BigQuery 中查詢及分析值區和物件中繼資料的索引。 |
| 儲存空間批次作業 | 執行大量作業,例如刪除物件、更新中繼資料,或對數百萬或數十億個物件套用保留政策。 |
| bucket 遷移 | 將現有 bucket 及其資料移至新位置,同時保留 bucket 名稱和物件中繼資料,並盡可能縮短停機時間。 |
快速入門導覽課程指南
如要瞭解使用 Cloud Storage 的基本知識,請參閱下列指南:
正在尋找其他產品嗎?
如果 Cloud Storage 不是適合您的儲存空間解決方案,請參閱下列儲存空間服務的詳細資訊:
Google Cloud Managed Lustre:將資料儲存在高效能、全代管的平行檔案系統中,該系統已針對 AI 和 HPC 工作負載進行最佳化。
Google 雲端硬碟:儲存、管理及共用個人檔案。
Cloud Storage for Firebase:管理行動應用程式的資料。
Persistent Disk:為 Compute Engine 虛擬機器新增區塊儲存空間。
Filestore:為 GKE 叢集新增檔案儲存空間,供多個寫入者存取。
探索 Google提供的更多儲存空間服務。
後續步驟
- 透過Google Cloud 控制台或 Google Cloud CLI 瞭解 Cloud Storage 的基礎知識。
- 試用Google Cloud 使用 Cloud Storage 的快速部署解決方案。
- 開始使用用戶端程式庫。
- 使用 Cloud Storage 代理程式技能,透過 AI 程式設計助理自動執行儲存空間工作流程。
- 使用 Storage 移轉服務,快速將線上資料匯入 Cloud Storage,或在 Cloud Storage bucket 之間移動資料。