Cloud Storage

Auf dieser Seite wird beschrieben, wie Cloud Storage funktioniert und welche Anwendungsfälle unterstützt werden.

Funktionsweise von Cloud Storage

Cloud Storage ist ein skalierbarer und verwalteter Speicherdienst von Google Cloud mit dem Sie Daten als Objekte in Containern namens Buckets speichern können.

Alle Buckets sind einem Projekt zugeordnet und Sie gruppieren Ihre Projekte in einer Organisation. Nachdem Sie ein Projekt erstellt haben, können Sie Buckets erstellen, Objekte hochladen in Ihre Buckets, und Objekte herunterladen aus Ihren Buckets. Sie können auch Berechtigungen gewähren, um Ihre Daten für bestimmte Prinzipale oder für alle Nutzer im öffentlichen Internet zugänglich zu machen. Mit den Verzeichnisfunktionen können Sie Cloud Storage eher wie eine Festplatte oder ein Network Attached Storage (NAS) verwenden: Mit Ordnern können Sie Objekte in einer Verzeichnisstruktur organisieren und mit verwalteten Ordnern können Sie die Zugriffssteuerung für Ihre Objekte vereinfachen.

Jedes Projekt, jeder Bucket, jedes Objekt, jeder Ordner und jeder verwaltete Ordner ist eine Ressource in Google Cloud, ebenso wie Compute Engine-Instanzen.

Die Google Cloud Hierarchie

So kann die Cloud Storage-Struktur auf einen realen Fall angewendet werden:

  • Organisation: Ihr Unternehmen, Example Inc., erstellt eine Google Cloud Organisation namens exampleinc.org.

  • Projekt: Example Inc. erstellt mehrere Anwendungen, die jeweils einem Projekt zugeordnet sind. Jedes Projekt hat eigene Cloud Storage APIs und andere Ressourcen.

  • Bucket: Jedes Projekt kann mehrere Buckets enthalten. Das sind Container zum Speichern Ihrer Objekte. Sie können beispielsweise einen Bucket photos für alle Bilddateien erstellen, die von Ihrer App generiert werden, und einen separaten Bucket videos. Cloud Storage bietet verschiedene Speicherklassen und Standorte für Ihre Buckets. So können Sie die Dauerhaftigkeit und Verfügbarkeit Ihrer Daten an die Anforderungen Ihrer Arbeitslasten anpassen.

    Buckets dienen als primäre Datengrundlage im breiteren Google Cloud Ökosystem. Sie können Ihre Buckets als Speicherserver für andere Google Cloud Dienste wie AI Hypercomputer, Vertex AI, und Google Kubernetes Engine verbinden.

  • Objekt: Buckets enthalten Objekte, z. B. ein Bild namens puppy.png. Ein Objekt ist ein unveränderliches Datenelement, das aus einer Datei mit einem beliebigen Format besteht. Jeder Bucket kann im Wesentlichen unbegrenzte einzelne Objekte enthalten.

  • Ordner: Buckets mit aktiviertem hierarchischen Namespace können Ordner enthalten. Ordner ermöglichen ein echtes Dateisystem zum Speichern von Objekten im Gegensatz zu einem simulierten Dateisystem. Sie können einen Ordner und alle darin enthaltenen Objekte in einem Vorgang atomar umbenennen.

  • Verwalteter Ordner: Jeder Bucket kann auch verwaltete Ordner enthalten, die zusätzlichen Zugriff gewähren oder widerrufen, der über die für den Bucket festgelegten IAM Berechtigungen hinausgeht. Verwaltete Ordner verwenden keine echte Verzeichnisbaumstruktur. Stattdessen ist ein verwalteter Ordner ein Ressourcen-Overlay, das nur für die Berechtigungsprüfung verwendet wird.

Ressourcennamen

Jede Ressource hat einen eindeutigen Namen, durch den sie identifiziert werden kann, ähnlich wie ein Dateiname. Buckets haben einen Ressourcennamen im Format projects/_/buckets/BUCKET_NAME, wobei BUCKET_NAME die ID des Buckets ist. Objekte haben einen Ressourcennamen im Format projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, wobei OBJECT_NAME die ID des Objekts ist.

Die Kennung #NUMBER am Ende des Ressourcennamens weist auf eine bestimmte Generierung des Objekts hin. #0 ist eine spezielle Kennung für die zuletzt erstellte Version eines Objekts. Das Anfügen von #0 an einen Objektnamen ist nützlich, wenn dessen Ende ein String ist, der andernfalls als Generierungsnummer interpretiert würde.

Tools für Cloud Storage

Sie können mit den folgenden Tools mit Cloud Storage interagieren:

  • Google Cloud Konsole: Die Google Cloud Konsole bietet eine visuelle Benutzeroberfläche zur Verwaltung Ihrer Daten in einem Browser.

  • Google Cloud CLI: Über die gcloud CLI können Sie mit Cloud Storage über ein Terminal interagieren, das gcloud storage Befehle nutzt.

  • Clientbibliotheken: Mit den Clientbibliotheken von Cloud Storage können Sie Ihre Daten in einer Ihrer bevorzugten Sprachen verwalten, einschließlich C++, C#, Go, Java, Node.js, PHP, Python und Ruby.

  • REST APIs: Verwalten Sie Ihre Daten mit der JSON oder der XML API.

  • Terraform: Terraform ist ein IaC-Tool (Infrastruktur als Code), mit dem Sie die Infrastruktur für Cloud Storage bereitstellen können. Weitere Informationen finden Sie unter Ressourcen mit Cloud Storage bereitstellen.

  • gRPC: Mit gRPC können Sie mit Cloud Storage interagieren. gRPC ist ein von Google entwickeltes leistungsstarkes, universelles Open-Source-RPC-Framework, mit dem Sie Ihre Dienste mit Protokoll zwischenspeichern definieren können.

  • Cloud Storage FUSE: Mit Cloud Storage FUSE können Sie Cloud Storage Buckets in Ihrem lokalen Dateisystem bereitstellen. Auf diese Weise können Ihre Anwendungen mithilfe der Standardsemantik des Dateisystems aus einem Bucket lesen oder in einen Bucket schreiben.

  • GCSFS-Python-Bibliothek: GCSFS ist eine Python-Bibliothek, die eine Python-Dateisystemschnittstelle zu Cloud Storage bietet.

Anwendungsfälle und wichtige Funktionen

Cloud Storage bietet einen dauerhaften, global verfügbaren Objektspeicher, der sich an eine Vielzahl von Unternehmensarbeitslasten anpassen lässt, von Hochleistungs-KI (künstliche Intelligenz) und ML (maschinelles Lernen) Training bis hin zur Archivierung gemäß gesetzlicher Vorschriften.

Daten für KI/ML und Datenanalysen speichern und darauf zugreifen

Beschleunigen Sie Ihre KI/ML-Pipelines und Analyseergebnisse mit einem Datenzugriff mit hohem Durchsatz und niedriger Latenz, der für die Verarbeitung im großen Maßstab entwickelt wurde.

Funktion Funktion, Produkt oder Feature
Cloud Storage Rapid Hochleistungsspeicher, der sich am selben Standort wie die Rechenressourcen befindet, für einen Zugriff mit weniger als einer Millisekunde und einen aggregierten Durchsatz von mehreren TB/s. Enthält:
  • Rapid Bucket: Zonenspeicher für Objekte in der Speicherklasse Rapid Storage, die für datenintensive KI/ML- und Analysearbeitslasten entwickelt wurde.
  • Rapid Cache: Vollständig verwalteter, SSD-gestützter zonaler Lesecache, der Kapazität und Bandbreite automatisch skaliert, um die Lesegeschwindigkeit zu erhöhen.
Hierarchischer Namespace Organisiert Daten in einer logischen Verzeichnisstruktur mit atomaren Ordneroperationen und bis zu achtmal höheren anfänglichen QPS-Limits als Buckets ohne hierarchischen Namespace. Der hierarchische Namespace kann nur bei der Bucket-Erstellung aktiviert werden und nicht für einen vorhandenen Bucket.
Cloud Storage FUSE Stellt Buckets in Ihrem lokalen Dateisystem bereit, sodass Ihre Anwendungen mithilfe der Standardsemantik des Dateisystems aus einem Bucket lesen oder in einen Bucket schreiben können.

Weitere Informationen zur Leistungsoptimierung finden Sie unter Speicher für KI/ML und Datenanalysen optimieren.

Daten schützen und Compliance einhalten

Schützen Sie Ihre Assets und erfüllen Sie globale gesetzliche Standards mit integrierter Verschlüsselung, Zugriffssteuerungen und unveränderlichen Richtlinien zur Datenaufbewahrung.

Sicherheitsebene Funktion, Produkt oder Feature
Zugriffssteuerung Erzwingen Sie den Zugriff mit den geringsten Berechtigungen und beschränken Sie den Traffic auf vertrauenswürdige Netzwerke. Produkte und Funktionen:
  • Identitäts- und Zugriffsverwaltung: Autorisieren Sie bestimmte Nutzer, Gruppen oder Dienstkonten, Aktionen für Cloud Storage-Ressourcen auszuführen, indem Sie rollenbasierte Zugriffssteuerungen verwenden.
  • Einheitlicher Zugriff auf Bucket-Ebene: Vereinheitlichen Sie die Zugriffssteuerung für Ihre Cloud Storage-Ressourcen, indem Sie ACLs (Access Control Lists) auf Objektebene deaktivieren und ausschließlich IAM-Richtlinien auf Bucket-Ebene verwenden.
  • Bucket-IP-Filterung: Beschränken Sie den Zugriff auf einen Bucket basierend auf der Quell-IP-Adresse der Anfrage und schützen Sie Ihre Daten vor unbefugtem Zugriff von bestimmten IP-Adressen oder VPCs (Virtual Private Clouds).
Datenverschlüsselung Verschlüsseln Sie ruhende Daten und Daten bei der Übertragung. Produkte und Funktionen:
  • Google-verwaltete Schlüssel: Verschlüsseln Sie Ihre ruhenden Cloud Storage-Daten standardmäßig automatisch mit serverseitigen Schlüsseln, die Eigentum von sind und von verwaltet werden. Google.
  • CMEK (Cloud KMS): Steuern Sie die Rotationszeitpläne, Zugriffsberechtigungen und Lebenszyklen Ihrer Verschlüsselungsschlüssel, um Ihre Cloud Storage-Ressourcen zu schützen.
  • CSEK: Schützen Sie Ihre ruhenden Cloud Storage-Daten, indem Sie mit jeder einzelnen API-Anfrage Ihre eigenen kryptografischen Schlüssel angeben, anstatt Ihr Schlüsselmaterial zu speichern oder wiederherzustellen. Google
Datenaufbewahrung und Unveränderlichkeit Verhindern Sie versehentliches Löschen und helfen Sie, die Daten-Compliance zu erfüllen. Produkte und Funktionen:
  • Bucket-Sperre: Legen Sie durch Angeben einer Aufbewahrungsrichtlinie für den Bucket fest, wie lange Objekte in Buckets aufbewahrt werden müssen, um die Regeln zur Datenaufbewahrung gemäß gesetzlicher Vorschriften und Compliance-Anforderungen durchzusetzen.
  • Objektaufbewahrung: Legen Sie die Lebensdauer einzelner Objekte fest, indem Sie ein unveränderliches Ablaufdatum für die Aufbewahrung auf bestimmte Objekte anwenden. So wird verhindert, dass sie gelöscht oder ersetzt werden, bis dieser Zeitraum abgelaufen ist.
  • Objektversionsverwaltung: Bewahren Sie frühere Kopien Ihrer Daten auf, indem Sie überschriebene oder gelöschte Live-Objekte automatisch als nicht aktuelle Versionen archivieren. So können Sie jederzeit frühere Objektzustände wiederherstellen.
  • Vorläufiges Löschen: Verhindern Sie den dauerhaften Verlust von Daten gegen versehentliches oder böswilliges Löschen, indem Sie kürzlich gelöschte Objekte und Buckets aufbewahren. Standardmäßig aktiviert Cloud Storage die Funktion Vorläufiges Löschen für alle Buckets mit einer Aufbewahrungsdauer von sieben Tagen.

Backup, Notfallwiederherstellung und Geschäftskontinuität

Schützen Sie Ihr Unternehmen vor Datenverlust, Notfällen und regionalen Ausfällen mit multiregionaler Verfügbarkeit und schneller regionsübergreifender Replikation.

Funktion, Produkt oder Feature Beschreibung
Dual-Regionen und Multi-Regionen Daten automatisch in geografisch getrennten Google Cloud Regionen replizieren, um eine Verfügbarkeit von 99,99% zu erreichen.
Turboreplikation 100% der neu geschriebenen Objekte innerhalb von 15 Minuten zwischen Dual-Region-Paaren replizieren.
Objektversionsverwaltung und vorläufiges Löschen Frühere Versionen und kürzlich gelöschte Objekte für ein Rollback nach versehentlichem Überschreiben oder Ransomware-Ereignissen aufbewahren.

Kostenoptimierung und Verwaltung des Datenlebenszyklus

Reduzieren Sie die Speicherkosten über den gesamten Datenlebenszyklus hinweg, indem Sie die Zugriffshäufigkeit an kostengünstige Speicherklassen anpassen.

Speicherklasse, Produkt oder Feature Beschreibung
Speicherklassen Wählen Sie je nach Zugriffshäufigkeit der Daten zwischen Standard Storage, Nearline Storage, Coldline Storage, Archive Storage und Rapid Storage.
Autoclass Objekte basierend auf Zugriffsmustern automatisch zwischen Speicherklassen verschieben.
Verwaltung des Objektlebenszyklus Objekte mithilfe benutzerdefinierter regelbasierter Richtlinien löschen oder verschieben.

Übermittlung von Inhalten und Webbereitstellung

Digitale Assets, Downloads und Mediendateien weltweit mit niedriger Latenz und hoher Verfügbarkeit bereitstellen.

Funktion, Produkt oder Feature Beschreibung
Cloud CDN und Cloud Load Balancing Statische Assets an den globalen Edge-Standorten von Googlecachen, um eine Webbereitstellung mit extrem niedriger Latenz zu ermöglichen.
Signierte URLs Zeitlich begrenzten Lese- oder Schreibzugriff auf private Objekte gewähren, ohne dass Anmeldedaten erforderlich sind. Google
Hosting statischer Websites Statische HTML-, CSS-, JavaScript- und Media-Assets direkt aus einem öffentlichen Bucket bereitstellen.

Datenmigration und ereignisgesteuerte Aufnahme

Die Übertragung externer Daten in Google Cloud optimieren und automatisierte Verarbeitungs-Workflows beim Hochladen von Objekten auslösen.

Integration Beschreibung
Storage Transfer Service Verwaltete, groß angelegte Übertragung von Onlinedaten aus Amazon S3, Microsoft Azure Blob Storage, HTTP-Quellen oder lokalem Speicher.
Transfer Appliance Robuste Hardware-Appliances, mit denen bis zu Hunderte von Petabyte an Offlinedaten an Google Cloudgesendet werden können.
Eventarc und Pub/Sub Ereignisbenachrichtigungen in Echtzeit bei der Erstellung oder Löschung von Objekten oder bei Aktualisierungen von Metadaten senden, um Cloud Functions- oder Cloud Run Dienste auszulösen.

Datenspeicher analysieren und verwalten

Einblicke in Ihre gespeicherten Daten gewinnen und sie in großem Maßstab in Ihrer Cloud Storage-Umgebung verwalten.

Funktion, Produkt oder Feature Beschreibung
Storage Intelligence Einblick in Ihre Speicherumgebung erhalten, um Kosten zu optimieren und Richtlinien zur Daten-Governance durchzusetzen.
Storage Intelligence-Berater Gespeicherte Daten überwachen und umsetzbare Ergebnisse erhalten, um Kosten zu optimieren, die Leistung zu verbessern und die Sicherheit zu erhöhen.
Objektkontext-Anreicherung (Vorschau) Mithilfe von Modellen für maschinelles Lernen strukturierte Metadaten für Ihre unstrukturierten Bilder und PDF Dokumente generieren.
Storage Insights-Datasets Indexe Ihrer Bucket- und Objektmetadaten in BigQuery abfragen und analysieren.
Storage-Batchvorgänge Batchvorgänge ausführen, z. B. Objekte löschen, Metadaten aktualisieren, oder Aufbewahrungsrichtlinien auf Millionen oder Milliarden von Objekten anwenden.
Verschieben von Buckets Einen vorhandenen Bucket und seine Daten an einen neuen Standort verschieben, wobei den Bucket-Namen und die Objektmetadaten mit minimaler Ausfallzeit beibehalten werden.

Kurzanleitungen

Die Grundlagen zur Verwendung von Cloud Storage finden Sie in den folgenden Leitfäden:

Suchen Sie nach anderen Produkten?

Wenn Cloud Storage nicht die richtige Speicherlösung für Sie ist, finden Sie weitere Informationen zu den folgenden Speicherdiensten:

  • Google Cloud Managed Lustre: Speichern Sie Ihre Daten in einem leistungsstarken, vollständig verwalteten parallelen Dateisystem, das für KI- und HPC-Arbeitslasten optimiert ist.

  • Google Drive: Persönliche Dateien speichern, verwalten und teilen

  • Cloud Storage for Firebase: Daten für Ihre mobilen Anwendungen verwalten

  • Persistent Disk: Der virtuellen Maschine in Compute Engine Blockspeicher hinzufügen

  • Filestore: Dateispeicher für den Multiwriter-Zugriff auf Ihre GKE-Cluster hinzufügen.

  • Weitere Speicherdienste von kennenlernen Google.

Nächste Schritte