Pembacaan dan download objek

Halaman ini membahas konsep yang terkait dengan pembacaan dan download objek di Cloud Storage.

Membaca objek

Membaca objek mengacu pada streaming, penggunaan, atau pemeriksaan data objek atau rentang byte tertentu melalui koneksi jaringan terbuka langsung di memori. Alih-alih disimpan secara lokal, payload yang diambil bersifat sementara dan berada dalam aliran memori aplikasi, buffer, pipeline, atau langsung di memori CPU/GPU. Membaca objek cocok untuk beban kerja berperforma tinggi dan intensif throughput, seperti streaming set data pelatihan dan batch tensor ke dalam framework kecerdasan buatan (AI) dan machine learning (ML) seperti Pytorch atau Jax.

Daftar berikut menjelaskan jenis pembacaan objek yang tersedia di Cloud Storage:

  • Membaca objek ke dalam memori atau pembacaan objek interaktif: Metode yang menggunakan data secara interaktif atau ke dalam memori. Klien mengambil seluruh objek dan memuat semua byte-nya ke dalam variabel yang berdekatan, array byte, atau string dalam memori.

  • Pembacaan streaming: Metode yang menggunakan data sebagai aliran byte secara langsung saat diterima dari jaringan, tanpa menunggu seluruh transfer selesai.

Mendownload objek

Mendownload objek adalah tugas menyeluruh yang mentransfer data objek dari Cloud Storage ke file persisten di sistem file lokal, disk, atau perangkat penyimpanan target. Tidak seperti pembacaan streaming dalam memori, download mencakup pengambilan byte jarak jauh dan meng-commit-nya ke penyimpanan lokal. Mendownload objek terutama cocok untuk pengelolaan file tujuan umum, pengarsipan lokal, pencadangan data, dan penggunaan utilitas offline.

Saat menggunakan REST API, download dilakukan menggunakan permintaan GET HTTP atau HTTPS yang dapat menyertakan header Range opsional, yang menentukan bagian tertentu dari objek yang akan didownload ke penyimpanan persisten atau lokal. Anda juga dapat menggunakan header Range untuk melanjutkan download yang terhenti. Saat menggunakan gRPC, download menggunakan streaming storage.v2.Storage/ReadObject atau BidiReadObject.

Daftar berikut menjelaskan jenis download objek yang tersedia di Cloud Storage:

  • Download sederhana: Bentuk download objek yang paling dasar. Klien mengirimkan satu permintaan untuk mengambil seluruh objek atau rentang byte yang ditentukan dalam satu transfer berkelanjutan.

  • Download objek irisan: Strategi berperforma tinggi yang membagi satu objek besar menjadi beberapa "irisan" (juga dikenal sebagai "bagian") yang lebih kecil. Klien mendownload slice ini secara paralel menggunakan beberapa permintaan independen dan serentak, lalu menyusun ulang slice secara lokal menjadi satu file.

Dukungan alat untuk membaca dan mendownload objek

Konsol

Saat menggunakan konsol Google Cloud , Anda dapat melakukan pembacaan dan download objek berikut:

Command line

Anda dapat melakukan pembacaan dan download objek berikut saat menggunakan Google Cloud CLI:

Library klien

C++

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien C++:

C#

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien C#:

Go

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien Go:

Java

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien Java:

Node.js

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien Node.js:

PHP

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien PHP:

Python

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien Python:

Ruby

Anda dapat melakukan jenis pembacaan dan download berikut saat menggunakan library klien Ruby:

REST API

Jika Anda menggunakan REST API untuk mendownload objek, lihat Endpoint permintaan untuk mengetahui pembahasan lengkap terkait endpoint permintaan yang dapat Anda gunakan.

JSON API

Anda dapat melakukan jenis download berikut saat menggunakan JSON API:

XML API

Anda dapat melakukan jenis download berikut saat menggunakan XML API:

Langkah berikutnya