Cloud Storage

Mit Cloud Storage können Sie unstrukturierte Daten mit hoher Langlebigkeit und globaler Verfügbarkeit speichern, verwalten und abrufen. Sie können Cloud Storage verwenden, um Webinhalte zu verteilen, Datasets für Analyse- und Machine-Learning-Arbeitslasten zu speichern und Sicherungen für Compliance und Notfallwiederherstellung zu archivieren.

Funktionsweise von Cloud Storage

Cloud Storage ist ein skalierbarer und verwalteter Speicherdienst vonGoogle Cloud , mit dem Sie Daten als Objekte in Containern speichern können, die als Buckets bezeichnet werden.

Alle Buckets sind einem Projekt zugeordnet und Sie können Ihre Projekte in einer Organisation gruppieren. Nachdem Sie ein Projekt erstellt haben, können Sie Buckets erstellen, Objekte in Ihre Buckets hochladen und Objekte aus Ihren Buckets herunterladen. Sie können auch Berechtigungen erteilen, um Ihre Daten für von Ihnen angegebene Hauptkonten oder für jeden im öffentlichen Internet zugänglich zu machen. Mit Verzeichnisfunktionen können Sie Cloud Storage ähnlich wie eine Festplatte oder ein Network Attached Storage (NAS) verwenden: Mit Ordnern können Sie Objekte in einer Verzeichnisstruktur organisieren und mit verwalteten Ordnern können Sie die Zugriffssteuerung für Ihre Objekte vereinfachen.

Jedes Projekt, jeder Bucket, jedes Objekt, jeder Ordner und jeder verwaltete Ordner ist eine Ressource inGoogle Cloud, ebenso wie Compute Engine-Instanzen.

Die Google Cloud -Hierarchie

So kann die Cloud Storage-Struktur auf einen realen Fall angewendet werden:

  • Organisation: Ihr Unternehmen, Beispiel AG, erstellt eine Google Cloud-Organisation mit dem Namen exampleinc.org.

  • Projekt: Example Inc. erstellt mehrere Anwendungen, die jeweils einem Projekt zugeordnet sind. Jedes Projekt hat eigene Cloud Storage APIs und andere Ressourcen.

  • Bucket: Jedes Projekt kann mehrere Buckets enthalten. Buckets sind Container zum Speichern Ihrer Objekte. Sie können beispielsweise einen photos-Bucket für alle von Ihrer Anwendung erzeugten Bilddateien und einen separaten videos-Bucket erstellen. Cloud Storage bietet verschiedene Speicherklassen und Standorte für Ihre Buckets. So können Sie die Langlebigkeit und Verfügbarkeit Ihrer Daten an die Anforderungen Ihrer Arbeitslasten anpassen.

    Buckets dienen als primäre Datengrundlage im breiteren Google Cloud-Ökosystem. Sie können Ihre Buckets als Speicher-Backends für andereGoogle Cloud -Dienste wie AI Hypercomputer, Vertex AI und die Google Kubernetes Engine verbinden.

  • Objekt: Buckets enthalten Objekte, z. B. ein Bild namens puppy.png. Ein Objekt ist ein unveränderliches Datenelement, das aus einer Datei mit einem beliebigen Format besteht. Jeder Bucket kann im Wesentlichen unbegrenzte einzelne Objekte enthalten.

  • Ordner: Buckets mit aktiviertem hierarchischen Namespace können Ordner enthalten. Ordner ermöglichen ein echtes Dateisystem zum Speichern von Objekten, im Gegensatz zu einem simulierten Dateisystem. Sie können einen Ordner und alle darin enthaltenen Objekte in einem einzigen Vorgang atomar umbenennen.

  • Verwalteter Ordner: Jeder Bucket kann auch verwaltete Ordner enthalten, die zusätzlichen Zugriff über die für den Bucket festgelegten IAM-Berechtigungen hinaus gewähren oder widerrufen. Verwaltete Ordner verwenden keine echte Verzeichnisbaumstruktur. Ein verwalteter Ordner ist vielmehr ein Ressourcen-Overlay, das nur für die Berechtigungsprüfung verwendet wird.

Ressourcennamen

Jede Ressource hat einen eindeutigen Namen, durch den sie identifiziert werden kann, ähnlich wie ein Dateiname. Buckets haben einen Ressourcennamen im Format projects/_/buckets/BUCKET_NAME, wobei BUCKET_NAME die ID des Buckets ist. Objekte haben einen Ressourcennamen im Format projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, wobei OBJECT_NAME die ID des Objekts ist.

Die Kennung #NUMBER am Ende des Ressourcennamens weist auf eine bestimmte Generierung des Objekts hin. #0 ist eine spezielle Kennung für die zuletzt erstellte Version eines Objekts. Das Anfügen von #0 an einen Objektnamen ist nützlich, wenn dessen Ende ein String ist, der andernfalls als Generierungsnummer interpretiert würde.

Tools für Cloud Storage

Sie können mit den folgenden Tools mit Cloud Storage interagieren:

  • Google Cloud Console: Die Google Cloud Console bietet eine visuelle Benutzeroberfläche zur Verwaltung Ihrer Daten in einem Browser.

  • Google Cloud CLI: Über die gcloud CLI können Sie mit Cloud Storage über ein Terminal interagieren, das gcloud storage-Befehle nutzt.

  • Clientbibliotheken: Mit den Clientbibliotheken von Cloud Storage können Sie Ihre Daten in einer Ihrer bevorzugten Sprachen verwalten, einschließlich C++, C#, Go, Java, Node.js, PHP, Python und Ruby.

  • REST APIs: Verwalten Sie Ihre Daten mit der JSON oder der XML API.

  • Terraform: Terraform ist ein IaC-Tool (Infrastruktur als Code), mit dem Sie die Infrastruktur für Cloud Storage bereitstellen können. Weitere Informationen finden Sie unter Ressourcen mit Cloud Storage bereitstellen.

  • gRPC: Mit gRPC können Sie mit Cloud Storage interagieren. gRPC ist ein vonGoogle entwickeltes leistungsstarkes, universelles Open-Source-RPC-Framework, mit dem Sie Ihre Dienste mit Protokollzwischenspeichern definieren können.

  • Cloud Storage FUSE: Mit Cloud Storage FUSE können Sie Cloud Storage-Buckets in Ihrem lokalen Dateisystem bereitstellen. Auf diese Weise können Ihre Anwendungen mithilfe der Standardsemantik des Dateisystems aus einem Bucket lesen oder in einen Bucket schreiben.

  • GCSFS-Python-Bibliothek: GCSFS ist eine Python-Bibliothek, die eine Python-Dateisystemschnittstelle für Cloud Storage bereitstellt.

Anwendungsfälle und wichtige Funktionen

Cloud Storage bietet einen langlebigen, global verfügbaren Objektspeicher, der sich an eine Vielzahl von Unternehmensarbeitslasten anpassen lässt, von leistungsstarkem Training für künstliche Intelligenz (KI) und maschinelles Lernen (ML) bis hin zur Archivierung gemäß gesetzlichen Vorgaben.

Daten für KI/ML und Datenanalysen speichern und darauf zugreifen

Beschleunigen Sie Ihre KI/ML-Pipelines und analytischen Erkenntnisse mit einem Datendurchsatz mit hoher Leistung und niedriger Latenz, der für die Verarbeitung im großen Maßstab entwickelt wurde.

Funktion Funktion, Produkt oder Feature
Cloud Storage Rapid Hochleistungsspeicher, der zusammen mit Rechenleistung bereitgestellt wird, für Zugriff in weniger als einer Millisekunde und einen Gesamtdurchsatz von mehreren TB/s. Umfasst:
  • Rapid-Bucket: zonaler Objektspeicher in der Speicherklasse Rapid Storage, der für datenintensive KI/ML- und Analysearbeitslasten entwickelt wurde.
  • Rapid Cache: Vollständig verwalteter, SSD-gestützter zonaler Lesecache, der Kapazität und Bandbreite automatisch skaliert, um die Leseleistung zu beschleunigen.
Hierarchischer Namespace Organisiert Daten in einer logischen Verzeichnisstruktur mit atomaren Ordner-Vorgängen und bis zu achtmal höheren anfänglichen Limits für Abfragen pro Sekunde als Buckets ohne hierarchischen Namespace. Der hierarchische Namespace kann nur beim Erstellen des Buckets aktiviert werden und nicht für einen vorhandenen Bucket.
Cloud Storage FUSE Stellt Buckets in Ihrem lokalen Dateisystem bereit, sodass Ihre Anwendungen mithilfe der Standardsemantik des Dateisystems aus einem Bucket lesen oder in einen Bucket schreiben können.

Weitere Informationen zur Leistungsoptimierung finden Sie unter Speicher für KI/ML und Datenanalyse optimieren.

Datensicherheit und Compliance

Schützen Sie Ihre Assets und erfüllen Sie globale regulatorische Standards mit integrierter Verschlüsselung, Zugriffssteuerungen und unveränderlichen Richtlinien zur Datenaufbewahrung.

Sicherheitsebene Funktion, Produkt oder Feature
Zugriffssteuerung Erzwingen Sie den Zugriff mit den geringsten Berechtigungen und beschränken Sie den Traffic auf vertrauenswürdige Netzwerke. Zu den Produkten und Funktionen gehören:
  • Identity and Access Management: Autorisieren Sie bestimmte Nutzer, Gruppen oder Dienstkonten, um über rollenbasierte Zugriffssteuerungen Aktionen für Cloud Storage-Ressourcen auszuführen.
  • Einheitlicher Zugriff auf Bucket-Ebene: Vereinheitlichen Sie die Zugriffssteuerung für Ihre Cloud Storage-Ressourcen, indem Sie Access Control Lists (ACLs) auf Objektebene deaktivieren und ausschließlich IAM-Richtlinien auf Bucket-Ebene verwenden.
  • IP-Filterung für Buckets: Beschränken Sie den Zugriff auf einen Bucket anhand der Quell-IP-Adresse der Anfrage und schützen Sie Ihre Daten vor unbefugtem Zugriff von bestimmten IP-Adressen oder Virtual Private Clouds (VPCs).
Datenverschlüsselung Verschlüsseln Sie ruhende Daten und Daten bei der Übertragung. Zu den Produkten und Funktionen gehören:
  • VonGoogleverwaltete Schlüssel: Verschlüsseln Sie Ihre inaktiven Cloud Storage-Daten standardmäßig automatisch mit serverseitigen Schlüsseln, die gehören und von Googleverwaltet werden.
  • CMEK (Cloud KMS): Sie können die Rotationszeitpläne, Zugriffsberechtigungen und Lebenszyklen Ihrer Verschlüsselungsschlüssel steuern, um Ihre Cloud Storage-Ressourcen zu schützen.
  • CSEK: Sichern Sie Ihre inaktiven Cloud Storage-Daten, indem Sie bei jeder einzelnen API-Anfrage Ihre eigenen kryptografischen Schlüssel angeben, anstatt Ihr Schlüsselmaterial zu speichern oder wiederherzustellen. Google
Datenaufbewahrung und Unveränderlichkeit Verhindern Sie versehentliches Löschen und erfüllen Sie Compliance-Anforderungen. Zu den Produkten und Funktionen gehören:
  • Bucket-Sperre: Legen Sie durch Angeben einer Aufbewahrungsrichtlinie für den Bucket fest, wie lange Objekte in Buckets aufbewahrt werden müssen, um gesetzliche und Compliance-Anforderungen an die Datenaufbewahrung zu erfüllen.
  • Objektaufbewahrung: Sie können die Lebensdauer einzelner Objekte steuern, indem Sie ein unveränderliches Ablaufdatum für die Aufbewahrung auf bestimmte Objekte anwenden. Dadurch wird verhindert, dass sie vor Ablauf dieses Zeitraums gelöscht oder ersetzt werden.
  • Objektversionsverwaltung: Sie können historische Kopien Ihrer Daten aufbewahren, indem Sie überschriebene oder gelöschte Live-Objekte automatisch als nicht aktuelle Versionen archivieren. So können Sie jederzeit frühere Objektzustände wiederherstellen.
  • Vorläufiges Löschen: Verhindern Sie den dauerhaften Verlust von Daten durch versehentliches oder böswilliges Löschen, indem Sie kürzlich gelöschte Objekte und Buckets aufbewahren. Standardmäßig aktiviert Cloud Storage die Funktion „Vorläufiges Löschen“ für alle Buckets mit einer Aufbewahrungsdauer von sieben Tagen.

Sicherung, Notfallwiederherstellung und Geschäftskontinuität

Schützen Sie Ihr Unternehmen mit multiregionaler Verfügbarkeit und schneller regionsübergreifender Replikation vor Datenverlust, Notfällen und regionalen Ausfällen.

Funktion, Produkt oder Feature Beschreibung
Dual-Regionen und Multiregionen Daten werden automatisch über geografisch getrennte Google Cloud Regionen hinweg repliziert, um eine Verfügbarkeit von 99,99% zu erreichen.
Turboreplikation Replizieren Sie 100% der neu geschriebenen Objekte zwischen Dual-Region-Paaren innerhalb von 15 Minuten.
Objektversionsverwaltung und vorläufiges Löschen Behalten Sie frühere Iterationen und kürzlich gelöschte Objekte für ein Rollback nach versehentlichem Überschreiben oder Ransomware-Ereignissen bei.

Kostenoptimierung und Verwaltung des Datenlebenszyklus

Reduzieren Sie die Speicherkosten über den gesamten Datenlebenszyklus, indem Sie die Zugriffshäufigkeit an kostengünstige Speicherstufen anpassen.

Speicherklasse, Produkt oder Funktion Beschreibung
Speicherklassen Wählen Sie je nach Häufigkeit des Datenzugriffs zwischen Standard Storage, Nearline Storage, Coldline Storage, Archive Storage und Rapid Storage.
Autoclass Objekte werden basierend auf Objektzugriffsmustern automatisch zwischen Speicherklassen verschoben.
Verwaltung des Objektlebenszyklus Objekte mithilfe von benutzerdefinierten regelbasierten Richtlinien löschen oder umstellen.

Inhaltsverteilung und Webbereitstellung

Digitale Assets, Downloads und Mediendateien weltweit mit niedriger Latenz und Hochverfügbarkeit verteilen.

Funktion, Produkt oder Feature Beschreibung
Cloud CDN und Cloud Load Balancing Statische Assets an den globalen Edge-Standorten von Googlefür eine Webbereitstellung mit extrem niedriger Latenz im Cache speichern.
Signierte URLs Zeitlich begrenzten Lese- oder Schreibzugriff auf private Objekte gewähren, ohne dass Google -Anmeldedaten erforderlich sind.
Hosting statischer Websites Stellen Sie statische HTML-, CSS-, JavaScript- und Medien-Assets direkt aus einem öffentlichen Bucket bereit.

Datenmigration und ereignisgesteuerte Aufnahme

Optimieren Sie die Übertragung externer Daten in Google Cloud und lösen Sie beim Hochladen von Objekten automatisierte Verarbeitungsworkflows aus.

Integration Beschreibung
Storage Transfer Service Verwaltete, umfangreiche Übertragung von Onlinedaten aus Amazon S3, Microsoft Azure Blob Storage, HTTP-Quellen oder lokalem Speicher.
Transfer Appliance Robuste Hardware-Appliances, mit denen bis zu Hunderte Petabyte an Offlinedaten an Google Cloudgesendet werden können.
Eventarc und Pub/Sub Echtzeit-Ereignisbenachrichtigungen bei der Erstellung, Löschung oder Aktualisierung von Metadaten ausgeben, um Cloud Functions- oder Cloud Run-Dienste auszulösen.

Datenspeicher analysieren und verwalten

Gewinnen Sie Einblicke in Ihre gespeicherten Daten und verwalten Sie sie in großem Umfang in Ihrer Cloud Storage-Umgebung.

Funktion, Produkt oder Feature Beschreibung
Storage Intelligence Verschaffen Sie sich einen Überblick über Ihre Speicherumgebung, um Kosten zu optimieren und Data-Governance-Richtlinien durchzusetzen.
Storage Intelligence-Berater Sie können gespeicherte Daten überwachen und umsetzbare Erkenntnisse erhalten, um Kosten zu optimieren, die Leistung zu verbessern und die Sicherheit zu erhöhen.
Objektkontext-Anreicherung (Vorabversion) Generieren Sie mithilfe von Modellen für maschinelles Lernen strukturierte Metadaten für Ihre unstrukturierten Bilder und PDF-Dokumente.
Storage Insights-Datasets Indexe Ihrer Bucket- und Objektmetadaten in BigQuery abfragen und analysieren.
Storage-Batchvorgänge Führen Sie Bulk-Vorgänge wie das Löschen von Objekten, das Aktualisieren von Metadaten oder das Anwenden von Aufbewahrungsrichtlinien für Millionen oder Milliarden von Objekten aus.
Verschieben von Buckets Verschieben Sie einen vorhandenen Bucket und seine Daten an einen neuen Standort, wobei der Bucket-Name und die Objektmetadaten mit minimaler Ausfallzeit beibehalten werden.

Kurzanleitungen

Die Grundlagen zur Verwendung von Cloud Storage finden Sie in den folgenden Leitfäden:

Suchen Sie nach anderen Produkten?

Wenn Cloud Storage nicht die richtige Speicherlösung für Sie ist, finden Sie hier weitere Informationen zu den folgenden Speicherdiensten:

Nächste Schritte