Cloud Storage

Auf dieser Seite wird Cloud Storage und seine Funktionsweise beschrieben.

So funktioniert Cloud Storage

Cloud Storage ist ein skalierbarer und verwalteter Speicherdienst vonGoogle Cloud , mit dem Sie Daten als Objekte in Containern namens Buckets speichern können.

Alle Buckets sind einem Projekt zugeordnet und Sie können Ihre Projekte in einer Organisation gruppieren. Nachdem Sie ein Projekt erstellt haben, können Sie Buckets erstellen, Objekte in Ihre Buckets hochladen und Objekte aus Ihren Buckets herunterladen. Sie können auch Berechtigungen erteilen, um Ihre Daten für von Ihnen angegebene Hauptkonten oder für jeden im öffentlichen Internet zugänglich zu machen. Mit Verzeichnisfunktionen können Sie Cloud Storage ähnlich wie eine Festplatte oder einen Network Attached Storage (NAS) verwenden: Mit Ordnern können Sie Objekte in einer Verzeichnisstruktur organisieren und mit verwalteten Ordnern können Sie die Zugriffssteuerung für Ihre Objekte vereinfachen.

Jedes Projekt, jeder Bucket, jedes Objekt, jeder Ordner und jeder verwaltete Ordner ist eine Ressource inGoogle Cloud, ebenso wie Compute Engine-Instanzen.

Die Google Cloud Hierarchie

So kann die Cloud Storage-Struktur auf einen realen Fall angewendet werden:

  • Organisation: Ihr Unternehmen namens Example Inc. erstellt eine Google Cloud-Organisation mit dem Namen exampleinc.org.

  • Projekt: Example Inc. erstellt mehrere Anwendungen, die jeweils einem Projekt zugeordnet sind. Jedes Projekt hat eigene Cloud Storage APIs und andere Ressourcen.

  • Bucket: Jedes Projekt kann mehrere Buckets enthalten, die als Container zum Speichern Ihrer Objekte dienen. Sie können beispielsweise einen photos-Bucket für alle von Ihrer App erzeugten Bilddateien und einen separaten videos-Bucket erstellen. Cloud Storage bietet verschiedene Speicherklassen und Standorte für Ihre Buckets. So können Sie die Langlebigkeit und Verfügbarkeit Ihrer Daten an die Anforderungen Ihrer Arbeitslasten anpassen.

    Buckets dienen als primäre Datengrundlage im gesamten Google Cloud-Ökosystem. Sie können Ihre Buckets als Speicher-Back-Ends für andereGoogle Cloud -Dienste wie AI Hypercomputer, Vertex AI und Google Kubernetes Engine verbinden.

    Buckets eignen sich für die meisten Anwendungsfälle für die Datenspeicherung. Sie können jedoch optionale Konfigurationen und Funktionen für einen Bucket einrichten, um ihn speziell für leistungsstarke Arbeitslasten zu optimieren:

    • Hierarchischer Namespace: Für Buckets kann ein hierarchischer Namespace aktiviert werden. So können Sie Ihre Daten in einer logischen Dateisystemstruktur speichern, indem Sie Ordner verwenden. Wenn Sie Ihre Daten in Ordnern speichern, können Sie Verzeichnissemantik und atomare Ordneroperationen verwenden, die häufig erforderlich sind, um datenintensive KI/ML- und Analysearbeitslasten zu beschleunigen. Buckets mit aktiviertem hierarchischen Namespace bieten bis zu achtmal höhere anfängliche Grenzwerte für Abfragen pro Sekunde (QPS) für das Lesen und Schreiben von Objekten im Vergleich zu Buckets ohne aktiviertem hierarchischen Namespace.

      Der hierarchische Namespace kann nur beim Erstellen des Buckets aktiviert werden und nicht für einen vorhandenen Bucket.

    • Rapid Bucket: Rapid Bucket ist eine leistungsstarke Funktion, mit der Sie Objekte in der Speicherklasse „Rapid“ speichern können, indem Sie eine Zone als Speicherort eines Buckets verwenden. Wenn Sie Buckets in Zonen platzieren, können Sie Ihre Objekte mit Ihren Computeressourcen colocate, den hierarchischen Namespace automatisch aktivieren und neue APIs für Streaming-Lesevorgänge und anhängbare Schreibvorgänge nutzen. Rapid Bucket bietet im Vergleich zu Buckets in anderen Speicherklassen eine deutlich verbesserte Latenz, einen deutlich verbesserten Durchsatz und deutlich verbesserte I/Os. Daher ist die Funktion ideal für datenintensive KI/ML- und Analysearbeitslasten.

      Wenn Sie Rapid Bucket verwenden möchten, erstellen Sie einen Bucket und definieren Sie eine Zone als Speicherort des Buckets. Rapid Bucket kann nicht für vorhandene Buckets verwendet werden, die sich nicht in einer Zone befinden.

  • Objekt: Buckets enthalten Objekte, z. B. ein Bild mit dem Namen puppy.png. Ein Objekt ist ein unveränderliches Datenelement, das aus einer Datei mit einem beliebigen Format besteht. Jeder Bucket kann im Wesentlichen unbegrenzte einzelne Objekte enthalten.

  • Ordner: Buckets mit aktiviertem hierarchischen Namespace können Ordner enthalten. Ordner ermöglichen ein echtes Dateisystem zum Speichern von Objekten im Gegensatz zu einem simulierten Dateisystem. Sie können einen Ordner und alle darin enthaltenen Objekte in einem Vorgang atomar umbenennen.

  • Verwalteter Ordner: Jeder Bucket kann auch verwaltete Ordner enthalten, die zusätzlichen Zugriff über die für den Bucket festgelegten IAM-Berechtigungen hinaus gewähren oder widerrufen. Verwaltete Ordner verwenden keine echte Verzeichnisbaumstruktur. Stattdessen ist ein verwalteter Ordner ein Ressourcen-Overlay, das nur für die Berechtigungsprüfung verwendet wird.

Tools für Cloud Storage

Sie können mit Cloud Storage interagieren, indem Sie die folgenden Tools verwenden:

  • Google Cloud Console: Die Google Cloud Console bietet eine visuelle Benutzeroberfläche zur Verwaltung Ihrer Daten in einem Browser.

  • Google Cloud CLI: Über die gcloud CLI können Sie mit Cloud Storage über ein Terminal interagieren, das gcloud storage-Befehle nutzt.

  • Clientbibliotheken: Mit den Clientbibliotheken von Cloud Storage können Sie Ihre Daten in einer Ihrer bevorzugten Sprachen verwalten, einschließlich C++, C#, Go, Java, Node.js, PHP, Python und Ruby.

  • REST APIs: Verwalten Sie Ihre Daten mit der JSON oder der XML API.

  • Terraform: Terraform ist ein IaC-Tool (Infrastruktur als Code), mit dem Sie die Infrastruktur für Cloud Storage bereitstellen können. Weitere Informationen finden Sie unter Ressourcen mit Cloud Storage bereitstellen.

  • gRPC: Mit gRPC können Sie mit Cloud Storage interagieren. gRPC ist ein von Google entwickeltes leistungsstarkes, universelles Open-Source-RPC-Framework, mit dem Sie Ihre Dienste mit Protokollzwischenspeichern definieren können.

  • Cloud Storage FUSE: Mit Cloud Storage FUSE können Sie Cloud Storage-Buckets in Ihrem lokalen Dateisystem bereitstellen. Auf diese Weise können Ihre Anwendungen mithilfe der Standardsemantik des Dateisystems aus einem Bucket lesen oder in einen Bucket schreiben.

Daten sichern

Nachdem Sie Ihre Objekte in Cloud Storage hochgeladen haben, können Sie genau steuern, wie Sie Ihre Daten sichern und freigeben. So sichern Sie die in Cloud Storage hochgeladenen Daten:

  • Identity and Access Management: Mit IAM können Sie steuern, wer Zugriff auf die Ressourcen in Ihrem Google Cloud -Projekt hat. Zu den Ressourcen gehören Cloud Storage-Buckets und -Objekte sowie andereGoogle Cloud -Entitäten wie Compute Engine-Instanzen. Sie können Hauptkonten bestimmte Arten von Zugriff auf Buckets und Objekte gewähren, z. B. update, create oder delete.

  • Datenverschlüsselung: Cloud Storage verwendet standardmäßig die serverseitige Verschlüsselung, um Ihre Daten zu verschlüsseln. Sie können auch zusätzliche Datenverschlüsselungsoptionen wie kundenverwaltete Verschlüsselungsschlüssel und vom Kunden bereitgestellte Verschlüsselungsschlüssel verwenden.

  • Authentifizierung: Sorgen Sie dafür, dass jeder, der auf Ihre Daten zugreift, die richtigen Anmeldedaten hat.

  • Vorläufiges Löschen: Verhindern Sie den dauerhaften Verlust von Daten durch versehentliches oder böswilliges Löschen, indem Sie kürzlich gelöschte Objekte und Buckets aufbewahren. Standardmäßig aktiviert Cloud Storage das vorläufige Löschen für alle Buckets mit einer Aufbewahrungsdauer von sieben Tagen.

  • Objektversionsverwaltung: Wenn eine Live-Version eines Objekts ersetzt oder gelöscht wird, kann sie als nicht aktuelle Version beibehalten werden, wenn Sie die Objektversionsverwaltung aktivieren.

  • IP-Filterung für Buckets: Mit der IP-Filterung für Buckets können Sie den Zugriff auf einen Bucket anhand der Quell-IP-Adresse der Anfrage einschränken und Ihre Daten vor unautorisiertem Zugriff über bestimmte IP-Adressen oder VPCs (Virtual Private Clouds) schützen.

  • Bucket-Sperre: Legen Sie durch Angeben einer Aufbewahrungsrichtlinie fest, wie lange Objekte in Buckets aufbewahrt werden müssen.

Ressourcennamen

Jede Ressource hat einen eindeutigen Namen, durch den sie identifiziert werden kann, ähnlich wie ein Dateiname. Buckets haben einen Ressourcennamen im Format projects/_/buckets/BUCKET_NAME, wobei BUCKET_NAME die ID des Buckets ist. Objekte haben einen Ressourcennamen im Format projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, wobei OBJECT_NAME die ID des Objekts ist.

Die Kennung #NUMBER am Ende des Ressourcennamens weist auf eine bestimmte Generierung des Objekts hin. #0 ist eine spezielle Kennung für die zuletzt erstellte Version eines Objekts. Das Anfügen von #0 an einen Objektnamen ist nützlich, wenn dessen Ende ein String ist, der andernfalls als Generierungsnummer interpretiert würde.

Kurzanleitungen

Die Grundlagen zur Verwendung von Cloud Storage finden Sie in den folgenden Leitfäden:

Suchen Sie nach anderen Produkten?

Wenn Cloud Storage nicht die richtige Speicherlösung für Sie ist, finden Sie hier weitere Informationen zu den folgenden Speicherdiensten:

Nächste Schritte