Einführung in Data Governance in BigQuery

Mit den integrierten Governance-Funktionen in BigQuery können Sie Daten und KI-Assets im gesamten Datenlebenszyklus erkennen, verwalten, überwachen und steuern. Datenteams können Datasets kuratieren, Metadaten anreichern, die Qualität im Blick behalten und Compliance-Richtlinien durchsetzen, während sie Assets im großen Maßstab sicher freigeben.

Diese Funktionen werden von Knowledge Catalog unterstützt, einer universellen, immer aktiven Kontext-Engine, die technische Metadaten und Geschäftssemantik in Ihrem gesamten Datenbestand verwendet, um einen selbstlernenden Kontextgraphen für nachgelagerte Anwendungen und Datenanalysten zu erstellen.

Datenerkennung

BigQuery erkennt Daten im gesamten Unternehmen in Google Cloud, unabhängig davon, ob sich die Daten in BigQuery, Spanner, Cloud SQL, Pub/Sub oder Cloud Storage befinden. Die Metadaten werden automatisch extrahiert und in Knowledge Catalog gespeichert. Sie können beispielsweise Metadaten für strukturierte und unstrukturierte Daten aus Cloud Storage extrahieren und automatisch abfragebereite BigLake-Tabellen in großem Umfang erstellen. So können Sie Analysen mit einer Open-Source-Engine ohne Datenduplizierung durchführen.

Sie können auch Metadaten aus Drittanbieter-Datenquellen mithilfe von benutzerdefinierten Connectors extrahieren und katalogisieren.

BigQuery bietet die folgenden Funktionen zur Datenerkennung:

  • Suche: Projekt- und organisationsübergreifend nach Daten- und KI-Ressourcen suchen. In BigQuery in der Google Cloud Console können Sie die semantische Suche (Vorabversion) verwenden, um Ressourcen in Alltagssprache zu suchen. Sie können Ressourcen auch mithilfe der Stichwortsuche in Knowledge Catalog finden.
  • Automatische Erkennung von Cloud Storage-Daten. Daten in Cloud Storage-Buckets scannen, um Metadaten zu extrahieren und dann zu katalogisieren. Bei der automatischen Erkennung werden Tabellen für strukturierte und unstrukturierte Daten erstellt.
  • Metadatenimport. Metadaten im großen Maßstab aus Drittanbietersystemen in Knowledge Catalog importieren. Sie können benutzerdefinierte Connectors erstellen, um Daten aus Ihren Datenquellen zu extrahieren, und dann Pipelines für verwaltete Verbindungen ausführen, die den Workflow für den Metadatenimport orchestrieren.
  • Metadatenexport. Metadaten in großem Umfang aus Knowledge Catalog exportieren. Sie können die exportierten Metadaten mit BigQuery analysieren oder die Metadaten in benutzerdefinierte Anwendungen oder programmatische Verarbeitungsworkflows einbinden.

Kuratierung und Data Stewardship

Um die Auffindbarkeit und Nutzbarkeit von Daten zu verbessern, können Data Stewards und Administratoren BigQuery verwenden, um Metadaten zu prüfen, zu aktualisieren und zu analysieren. Mit den BigQuery-Funktionen für Datenkuratierung und -verwaltung können Sie dafür sorgen, dass Ihre Daten korrekt, konsistent und mit den Richtlinien Ihrer Organisation konform sind.

BigQuery bietet die folgenden Funktionen für die Datenkuratierung und das Data Stewardship:

  • Unternehmensglossar. Verbessern Sie Kontext, Zusammenarbeit und Suche, indem Sie die Terminologie Ihrer Organisation in einem Glossar definieren. Identifizieren Sie Data Stewards für die Begriffe und hängen Sie Begriffe an Daten-Asset-Felder an.
  • Dateneinblicke. Gemini verwendet Metadaten, um Fragen in natürlicher Sprache zu Ihrer Tabelle und die SQL-Abfragen zu generieren, mit denen sie beantwortet werden können. Mit diesen Dateneinblicken können Sie Muster erkennen, die Datenqualität bewerten und statistische Analysen durchführen.
  • Datenprofilerstellung. Identifizieren Sie allgemeine statistische Merkmale der Spalten in BigQuery-Tabellen, um Ihre Daten besser zu verstehen und zu analysieren.
  • Datenqualität. Definieren und führen Sie Datenqualitätsprüfungen für Tabellen in BigQuery und Cloud Storage aus und wenden Sie regelmäßige und fortlaufende Datenkontrollen in BigQuery-Umgebungen an.
  • Data Lineage. Verfolgen Sie, wie Daten durch Ihre Systeme fließen: woher sie kommen, wohin sie weitergeleitet werden und welche Änderungen an ihnen vorgenommen werden. BigQuery unterstützt die Datenherkunft auf Tabellen- und Spaltenebene.

Nächste Schritte für Kuratierung und Data Stewardship

In der folgenden Tabelle werden die nächsten Schritte beschrieben, mit denen Sie mehr über die Funktionen zur Kuratierung und Data Stewardship erfahren können:

Erfahrungsstufe Lernpfad
Neue Cloud-Nutzer
  • Führen Sie einen Datenprofil-Scan durch, um Statistiken zu Ihren Daten zu erhalten, einschließlich der Limits oder Durchschnittswerte.
Erfahrene Cloud-Nutzer

Sicherheit und Zugriffssteuerung

Die Zugriffsverwaltung ist der Prozess des Definierens, Durchsetzens und Überwachens der Regeln und Richtlinien, die den Zugriff auf Daten steuern. Die Zugriffsverwaltung sorgt dafür, dass nur Personen auf Daten zugreifen können, die dazu berechtigt sind.

BigQuery bietet die folgenden Sicherheits- und Zugriffssteuerungsfunktionen:

  • Identity and Access Management (IAM) Mit IAM können Sie steuern, wer Zugriff auf Ihre BigQuery-Ressourcen wie Projekte, Datasets, Tabellen und Ansichten hat. Sie können Nutzern, Gruppen und Dienstkonten IAM-Rollen zuweisen. Diese Rollen definieren, was sie mit Ihren Ressourcen tun können.
  • Zugriffssteuerungen auf Spaltenebene und Zugriffssteuerungen auf Zeilenebene Mit Zugriffssteuerungen auf Spalten- und Zeilenebene können Sie den Zugriff auf bestimmte Spalten und Zeilen in einer Tabelle basierend auf Nutzerattributen oder Datenwerten einschränken. Mit dieser Steuerung können Sie detaillierten Zugriff implementieren und so sensible Daten vor unbefugtem Zugriff schützen.
  • Datenübertragungsverwaltung Mit VPC Service Controls können Sie Perimeter um Ressourcen von Google Clouderstellen und den Zugriff auf diese Ressourcen gemäß den Richtlinien Ihrer Organisation steuern.
  • Audit-Logs. Audit-Logs enthalten detaillierte Informationen zu Nutzeraktivitäten und Systemereignissen in Ihrer Organisation. Anhand dieser Protokolle können Sie Richtlinien zur Data Governance durchsetzen und potenzielle Sicherheitsrisiken erkennen.
  • Datenmaskierung. Mit der Datenmaskierung können Sie sensible Daten in einer Tabelle verbergen und gleichzeitig autorisierten Nutzern den Zugriff auf die umgebenden Daten erlauben. Durch die Datenmaskierung können auch Daten, die sensiblen Datenmustern entsprechen, verschleiert werden, um eine versehentliche Offenlegung von Daten zu verhindern.
  • Verschlüsselung. BigQuery verschlüsselt automatisch alle inaktiven Daten und alle Daten, die übertragen werden. Dabei können Sie die Verschlüsselungseinstellungen an Ihre speziellen Anforderungen anpassen.

Nächste Schritte für Sicherheit und Zugriffssteuerung

In der folgenden Tabelle werden die nächsten Schritte beschrieben, mit denen Sie mehr über die Funktionen zur Zugriffssteuerung erfahren können:

Erfahrungsstufe Lernpfad
Neue Cloud-Nutzer
Erfahrene Cloud-Nutzer
  • Wenn Sie Ihre Berechtigungen flexibler und detaillierter verwalten möchten, können Sie benutzerdefinierte Rollen erstellen, die Ihren Anforderungen entsprechen.
  • Fügen Sie Zeilen und Spaltensteuerelemente hinzu, um den Zugriff auf bestimmte Zeilen und Spalten in Ihren Tabellen zu steuern.
  • Richten Sie einen Zugriffsperimeter um Ihre Google Cloud-Ressourcen ein, indem Sie VPC Service Controls einrichten.
  • Fügen Sie Ihrer Tabelle Datenmaskierung auf Spaltenebene hinzu, um die Weitergabe von Informationen innerhalb Ihrer Organisation zu erleichtern, ohne sensible Daten preiszugeben.
  • Mit Sensitive Data Protection können Sie Ihre Daten auf vertrauliche und riskante Informationen wie personenidentifizierbare Informationen, Finanzdaten und Gesundheitsdaten scannen.

Weitergegebene Daten und Statistiken

Mit BigQuery können Sie Daten und Statistiken in großem Umfang innerhalb und außerhalb von Organisationsgrenzen freigeben. Es bietet ein robustes Sicherheits- und Datenschutz-Framework über eine integrierte Datenaustauschplattform. Mit der BigQuery-Freigabe können Sie eine Datenbibliothek finden, darauf zugreifen und nutzen, die von einer großen Auswahl an Datenanbietern zusammengestellt wurde.

BigQuery bietet die folgenden Freigabefunktionen:

  • Mehr als nur Daten teilen Sie können eine Vielzahl von Daten und KI-Assets freigeben, z. B. BigQuery-Datasets, Tabellen, Ansichten, Echtzeitstreams mit Pub/Sub-Themen, gespeicherte SQL-Prozeduren und BigQuery ML-Modelle.
  • Auf Google-Datasets zugreifen. Erweitern Sie Ihre Analyse- und ML-Initiativen mit Google-Datasets aus Suchtrends, DeepMind WeatherNext-Modellen, der Google Maps Platform, der Google Earth Engine und mehr.
  • In Data-Governance-Prinzipien einbinden. Daten-Inhaber behalten die Kontrolle über ihre Daten und können Regeln oder Richtlinien definieren und konfigurieren, um den Zugriff und die Nutzung einzuschränken.
  • Live-Datenfreigabe ohne Kopieren. Daten werden direkt freigegeben, ohne dass eine Integration, Datenverschiebung oder Replikation erforderlich ist. So wird sichergestellt, dass die Analyse auf den neuesten Informationen basiert. Erstellte verknüpfte Datasets sind ein Live-Verweis auf das freigegebene Asset.
  • Sicherheitsstatus verbessern: Sie können Zugriffssteuerungen verwenden, um die Überdimensionierung des Zugriffs zu reduzieren, einschließlich der integrierten Unterstützung für VPC Service Controls.
  • Sichtbarkeit mit Messwerten zur Anbieternutzung erhöhen. Daten-Publisher können die Nutzung freigegebener Assets aufrufen und überwachen, z. B. die Anzahl der ausgeführten Jobs, die insgesamt gescannten Byte und die Abonnenten für jede Organisation.
  • Mit Data-Clean-Rooms gemeinsam an sensiblen Daten arbeiten. Data-Clean-Rooms bieten eine sicherheitsoptimierte Umgebung, in der mehrere Parteien ihre Daten-Assets freigeben, zusammenführen und analysieren können, ohne die zugrunde liegenden Daten zu verschieben oder weiterzugeben.
  • Auf BigQuery basierend. Sie können die Skalierbarkeit und die enormen Verarbeitungskapazitäten von BigQuery nutzen, um umfangreiche Zusammenarbeit zu ermöglichen.

Nächste Schritte für die Freigabe

In der folgenden Tabelle werden die nächsten Schritte beschrieben, mit denen Sie mehr über die Freigabefunktionen erfahren können:

Erfahrungsstufe Lernpfad
Neue Cloud-Nutzer
  • Exchanges und Einträge erstellen und verwalten, um Daten innerhalb oder außerhalb Ihrer Organisation freizugeben.
Erfahrene Cloud-Nutzer

Nächste Schritte