Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

オブジェクトを読み取る

このページでは、Cloud Storage バケットからオブジェクトデータをアプリケーションメモリに直接読み取る方法、またはウェブブラウザやコマンドラインターミナルでインタラクティブに読み取る方法について説明します。オブジェクトをメモリに読み取るか、インタラクティブに読み取ることをおすすめします。これは、永続的なローカルファイルシステムにファイルを書き込むことに関連する CPU、ディスク I/O、レイテンシのオーバーヘッドを回避する方法で、データをストリーミング、検査、処理する場合に有効です。

オブジェクトを永続ストレージまたはローカルストレージにダウンロードする手順については、オブジェクトをダウンロードするをご覧ください。オブジェクトの読み取りとダウンロードの概要については、オブジェクトの読み取りとダウンロードをご覧ください。

必要なロール

オブジェクトデータの読み取りに必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

Storage オブジェクト閲覧者（roles/storage.objectViewer）バケットに対する
ストレージ管理者（roles/storage.admin）プロジェクトに対する（ Google Cloud コンソールを使用してオブジェクトデータを読み取る場合にのみ必要）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

Storage オブジェクト閲覧者（roles/storage.objectViewer）ロールには、オブジェクトの読み取りに必要な storage.objects.get 権限が含まれています。ストレージ管理者（roles/storage.admin）ロールには、storage.objects.get 権限に加えて、storage.buckets.list 権限と storage.buckets.get 権限が含まれています。これらの権限は、プロジェクト内のバケットを一覧表示し、バケットに関する情報を表示するために必要です。これらの権限を含むストレージ管理者 (roles/storage.admin) ロールは、 Google Cloud コンソールを使用してオブジェクトをインタラクティブに読み取る場合にのみ必要です。

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

バケットに対するロールを付与する手順については、バケットでの IAM ポリシーの設定と管理をご覧ください。

プログラムでオブジェクトをメモリに読み取る

このセクションでは、オブジェクトのバイトをアプリケーションメモリに直接ストリーミングしてオブジェクトデータを読み取る方法について説明します。

クライアントライブラリ

C++

詳細については、 Cloud Storage C++ API リファレンスドキュメントをご覧ください。

Cloud Storage に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、クライアントライブラリの認証情報を設定するをご覧ください。

namespace gcs = ::google::cloud::storage;
[](gcs::Client client, std::string const& bucket_name,
   std::string const& object_name) {
  gcs::ObjectReadStream stream = client.ReadObject(bucket_name, object_name);
  std::string buffer{std::istreambuf_iterator<char>(stream),
                     std::istreambuf_iterator<char>()};
  if (stream.bad()) throw google::cloud::Status(stream.status());

  std::cout << "The object has " << buffer.size() << " characters\n";
}

C#

詳細については、 Cloud Storage C# API リファレンスドキュメントをご覧ください。


using Google.Cloud.Storage.V1;
using System;
using System.IO;

public class DownloadObjectIntoMemorySample
{
    public Stream DownloadObjectIntoMemory(
        string bucketName = "unique-bucket-name",
        string objectName = "file-name")
    {
        var storage = StorageClient.Create();
        Stream stream = new MemoryStream();
        storage.DownloadObject(bucketName, objectName, stream);

        Console.WriteLine($"The contents of {objectName} from bucket {bucketName} are downloaded");
        return stream;
    }
}

Go

詳細については、 Cloud Storage Go API リファレンスドキュメントをご覧ください。


import (
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/storage"
)

// downloadFileIntoMemory downloads an object.
func downloadFileIntoMemory(w io.Writer, bucket, object string) ([]byte, error) {
	// bucket := "bucket-name"
	// object := "object-name"
	ctx := context.Background()
	client, err := storage.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storage.NewClient: %w", err)
	}
	defer client.Close()

	ctx, cancel := context.WithTimeout(ctx, time.Second*50)
	defer cancel()

	rc, err := client.Bucket(bucket).Object(object).NewReader(ctx)
	if err != nil {
		return nil, fmt.Errorf("Object(%q).NewReader: %w", object, err)
	}
	defer rc.Close()

	data, err := io.ReadAll(rc)
	if err != nil {
		return nil, fmt.Errorf("io.ReadAll: %w", err)
	}
	fmt.Fprintf(w, "Blob %v downloaded.\n", object)
	return data, nil
}

Java

詳細については、 Cloud Storage Java API リファレンスドキュメントをご覧ください。


import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import java.nio.charset.StandardCharsets;

public class DownloadObjectIntoMemory {
  public static void downloadObjectIntoMemory(
      String projectId, String bucketName, String objectName) {
    // The ID of your GCP project
    // String projectId = "your-project-id";

    // The ID of your GCS bucket
    // String bucketName = "your-unique-bucket-name";

    // The ID of your GCS object
    // String objectName = "your-object-name";

    Storage storage = StorageOptions.newBuilder().setProjectId(projectId).build().getService();
    byte[] content = storage.readAllBytes(bucketName, objectName);
    System.out.println(
        "The contents of "
            + objectName
            + " from bucket name "
            + bucketName
            + " are: "
            + new String(content, StandardCharsets.UTF_8));
  }
}

Node.js

詳細については、 Cloud Storage Node.js API リファレンスドキュメントをご覧ください。

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of your GCS bucket
// const bucketName = 'your-unique-bucket-name';

// The ID of your GCS file
// const fileName = 'your-file-name';

// Imports the Google Cloud client library
const {Storage} = require('@google-cloud/storage');

// Creates a client
const storage = new Storage();

async function downloadIntoMemory() {
  // Downloads the file into a buffer in memory.
  const contents = await storage.bucket(bucketName).file(fileName).download();

  console.log(
    `Contents of gs://${bucketName}/${fileName} are ${contents.toString()}.`
  );
}

downloadIntoMemory().catch(console.error);

PHP

詳細については、 Cloud Storage PHP API リファレンスドキュメントをご覧ください。

use Google\Cloud\Storage\StorageClient;

/**
 * Download an object from Cloud Storage and save into a buffer in memory.
 *
 * @param string $bucketName The name of your Cloud Storage bucket.
 *        (e.g. 'my-bucket')
 * @param string $objectName The name of your Cloud Storage object.
 *        (e.g. 'my-object')
 */
function download_object_into_memory(
    string $bucketName,
    string $objectName
): void {
    $storage = new StorageClient();
    $bucket = $storage->bucket($bucketName);
    $object = $bucket->object($objectName);
    $contents = $object->downloadAsString();
    printf(
        'Downloaded %s from gs://%s/%s' . PHP_EOL,
        $contents,
        $bucketName,
        $objectName
    );
}

Python

詳細については、 Cloud Storage Python API リファレンスドキュメントをご覧ください。

from google.cloud import storage


def download_blob_into_memory(bucket_name, blob_name):
    """Downloads a blob into memory."""
    # The ID of your GCS bucket
    # bucket_name = "your-bucket-name"

    # The ID of your GCS object
    # blob_name = "storage-object-name"

    storage_client = storage.Client()

    bucket = storage_client.bucket(bucket_name)

    # Construct a client side representation of a blob.
    # Note `Bucket.blob` differs from `Bucket.get_blob` as it doesn't retrieve
    # any content from Google Cloud Storage. As we don't need additional data,
    # using `Bucket.blob` is preferred here.
    blob = bucket.blob(blob_name)
    contents = blob.download_as_bytes()

    print(
        "Downloaded storage object {} from bucket {} as the following bytes object: {}.".format(
            blob_name, bucket_name, contents.decode("utf-8")
        )
    )

Ruby

詳細については、 Cloud Storage Ruby API リファレンスドキュメントをご覧ください。

# The name of the bucket to access
# bucket_name = "my-bucket"

# The name of the remote file to download
# file_name = "file.txt"

require "google/cloud/storage"

storage = Google::Cloud::Storage.new
bucket  = storage.bucket bucket_name, skip_lookup: true
file    = bucket.file file_name

downloaded = file.download
downloaded.rewind # Optional - not needed on first read
contents = downloaded.read

puts "Contents of storage object #{file.name} in bucket #{bucket_name} are: #{contents}"

Rust

use google_cloud_storage::client::Storage;

pub async fn sample(client: &Storage, bucket: &str) -> Result<(), anyhow::Error> {
    const NAME: &str = "object-to-download.txt";
    let mut reader = client
        .read_object(format!("projects/_/buckets/{bucket}"), NAME)
        .send()
        .await?;

    let mut content = Vec::new();
    while let Some(data) = reader.next().await.transpose()? {
        content.extend_from_slice(&data);
    }

    println!(
        "Downloaded {} bytes of object {NAME} in bucket {bucket}.",
        content.len()
    );
    Ok(())
}

オブジェクトをインタラクティブに読み取る

このセクションでは、 Google Cloud コンソールブラウザウィンドウまたはコマンドラインターミナル stdoutでオブジェクトをインタラクティブに読み取る方法について説明します。

Console

Google Cloud コンソールで Cloud Storage の [バケット] ページに移動します。
[バケット] に移動
バケットリストで、コンテンツを表示するバケットの名前をクリックします。
[オブジェクト] タブで、読み取るオブジェクトの名前をクリックします。
[オブジェクトの詳細] ページで、オブジェクトの公開 URL または認証済み URL をクリックして、そのデータを読み取ります。

コマンドライン

オブジェクトのバイトペイロードをターミナルの stdout に直接ストリーミングするには、gcloud storage cat コマンドを使用します。

gcloud storage cat gs://BUCKET_NAME/OBJECT_NAME

次のように置き換えます。

BUCKET_NAME: 読み取るオブジェクトを含むバケットの名前。例: my-bucket
OBJECT_NAME: 読み取るオブジェクトの名前。例: dog.png

REST API

オブジェクトのバイトを読み取り、出力ストリームをターミナルの stdout にリダイレクトするには、次の手順を使用します。

JSON API

gcloud CLI のインストールと初期化を行います。これにより、 Authorizationヘッダーのアクセストークンを生成できます。
cURL を使用して JSON API を呼び出し、 objects.get リクエストを行います。これには -o - オプションと alt=media クエリパラメータが含まれます。
```
curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-o - \
  "https://storage.googleapis.com/storage/v1/b/BUCKET_NAME/o/OBJECT_NAME?alt=media"
```
次のように置き換えます。
- BUCKET_NAME: 読み取るオブジェクトを含むバケットの名前。例: my-bucket
- OBJECT_NAME: 読み取るオブジェクトの URL エンコード名。例: pets/dog.png、URL エンコード形式は pets%2Fdog.png

XML API

gcloud CLI のインストールと初期化を行います。これにより、 Authorizationヘッダーのアクセストークンを生成できます。
cURL を使用して、XML API を GET Object リクエストで呼び出します。
```
curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storage.googleapis.com/BUCKET_NAME/OBJECT_NAME"
```
次のように置き換えます。
- BUCKET_NAME: 読み取るオブジェクトを含むバケットの名前。例: my-bucket
- OBJECT_NAME: 読み取るオブジェクトの URL エンコード名。例: pets/dog.png、URL エンコード形式は pets%2Fdog.png

次のステップ

クラウドプロバイダまたはその他のオンラインソースからデータを転送する（URL リストを使用するなど）。

Compute Engine インスタンスにオブジェクトを転送する。

オブジェクトを読み取る コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。