物件讀取和下載

本頁面說明在 Cloud Storage 讀取及下載物件的相關概念。

物件讀取

讀取物件是指透過開放式網路連線,直接在記憶體中串流、使用或檢查物件資料或特定位元組範圍。應用程式不會將擷取的酬載儲存在本機,而是將臨時資料緩衝處理至記憶體串流、緩衝區或管道,或直接緩衝處理至 CPU 或 GPU 記憶體。讀取物件適用於高效能、高處理量的工作負載,例如將訓練資料集和張量批次串流至 PyTorch 或 JAX 等人工智慧 (AI) 和機器學習 (ML) 架構。

下列清單說明 Cloud Storage 中可用的物件讀取類型:

  • 將物件讀取至記憶體或互動式物件讀取:應用程式將資料載入記憶體,或您以互動方式查看資料,而不將檔案儲存至磁碟的方法。將物件讀取到記憶體時,用戶端會擷取物件 (或指定的位元組範圍),並將位元組載入連續變數、位元組陣列或記憶體內字串。以互動方式讀取物件時,您可以在瀏覽器中查看資料,或將其位元組串流導向終端機中的標準輸出內容 (stdout)。

  • 串流讀取:應用程式從網路接收位元組時,直接以位元組串流的形式使用資料,而不是等待整個傳輸作業完成。

物件下載

下載物件是端對端工作,會將物件資料從 Cloud Storage 轉移至本機檔案系統、磁碟或目標儲存裝置上的永久檔案。與記憶體內串流讀取不同,下載作業包含擷取遠端位元組,並將其提交至本機儲存空間。下載物件主要適用於一般用途的檔案管理員、本機封存、資料備份和離線公用程式。

使用 REST API 時,用戶端會傳送 HTTP 或 HTTPS GET 要求來執行下載作業。這類要求可包含選用的 Range 標頭,用於定義要下載至永久或本機儲存空間的物件特定部分。用戶端也可以使用 Range 標頭,繼續下載中斷的內容。使用 gRPC 時,用戶端會透過 google.storage.v2.Storage/ReadObject 或 google.storage.v2.Storage/BidiReadObject 串流執行下載作業。

下列清單說明 Cloud Storage 提供的物件下載類型:

  • 簡易下載:物件下載的基本形式,用戶端會傳送單一要求,在一次連續傳輸中擷取整個物件或指定的位元組範圍。

  • 切片物件下載:這是一種高效能策略,可將單一大型物件分割成多個較小的切片 (也稱為區塊)。用戶端會使用多個獨立且並行的要求,平行下載這些切片,然後在本機將切片重新組合成單一檔案。

讀取及下載物件的工具支援

下列分頁列出可透過各項工具、用戶端程式庫和 API 執行的物件讀取和下載方法:

控制台

使用 Google Cloud 控制台時,您可以執行下列物件讀取和下載作業:

指令列

使用 Google Cloud CLI 時,您可以執行下列物件讀取和下載作業:

用戶端程式庫

C++

使用 C++ 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

C#

使用 C# 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

Go

使用 Go 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

Java

使用 Java 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

Node.js

使用 Node.js 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

PHP

使用 PHP 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

Python

使用 Python 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

小茹

使用 Ruby 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

Rust

使用 Rust 用戶端程式庫時,您可以執行下列類型的讀取和下載作業:

REST API

如果您使用 REST API 讀取或下載物件,請參閱「要求端點」,進一步瞭解可用的要求端點。

JSON API

使用 JSON API 時,您可以執行下列類型的讀取和下載作業:

XML API

使用 XML API 時,您可以執行下列類型的讀取和下載作業:

後續步驟