Einführung in Cloud Data Fusion: Console

Auf dieser Seite wird die Cloud Data Fusion Console vorgestellt, die auch als Steuerungsebene bezeichnet wird. Sie besteht aus einer Reihe von API Vorgängen und einer Google Cloud Console-Oberfläche, mit der Sie eine Cloud Data Fusion-Instanz verwalten können. Mit der Console können Sie beispielsweise eine Instanz erstellen, löschen, neu starten oder aktualisieren.

Hinweis

Übersicht über die Cloud Data Fusion Console

In den folgenden Abschnitten werden wichtige Aspekte der Console beschrieben.

Instanzen

Eine Instanz ist eine eindeutige Bereitstellung von Cloud Data Fusion. Wenn Sie Cloud Data Fusion verwenden möchten, erstellen Sie eine Instanz in der Google Cloud Console. Sie können mehrere Cloud Data Fusion-Instanzen in einem einzelnen Google Cloud Projekt erstellen. Sie können für jede Instanz eine Google Cloud Region angeben. Jede Instanz ist eine eindeutige, unabhängige Cloud Data Fusion-Bereitstellung, die eine Reihe von Diensten für die Verwaltung des Pipelinelebenszyklus, die Orchestrierung, Koordinierung und die Metadatenverwaltung enthält. Diese Dienste werden mit lang laufenden Ressourcen in einem Mandantenprojekt ausgeführt.

Berücksichtigen Sie beim Erstellen der Instanz die folgenden Optionen.

Version

Sie erstellen die Instanz in einer der folgenden Cloud Data Fusion-Editionen: Developer, Basic oder Enterprise. Wählen Sie die Edition anhand der folgenden Kriterien aus:

  • Kosten
  • Limits für die Parallelität bei der Pipelineausführung
  • Verfügbarkeit der rollenbasierten Zugriffssteuerung (Role-Based Access Control, RBAC)

Die Editionen sind für die folgenden Anwendungsfälle vorgesehen:

Cloud Data Fusion-Edition Anwendungsfall
Developer Edition Für Entwicklung, Tests oder kleine Integrationen
Basic Edition Für die Produktion mit moderaten Anforderungen
Enterprise Edition Für umfangreiche, geschäftskritische Datenpipelines mit RBAC

Öffentliche oder private Instanz

Entscheiden Sie je nach Ihren Anforderungen, ob Sie eine öffentliche oder eine private Instanz benötigen. Die wichtigsten Unterschiede zwischen privaten und öffentlichen Instanzen in Cloud Data Fusion sind die Netzwerkkonnektivität und die Sicherheit:

Cloud Data Fusion-Instanztyp Verhalten
Öffentliche Instanz
  • Netzwerkkonnektivität: verwendet öffentliche IP-Adressen, um eine Verbindung zum Internet herzustellen.
  • Datenzugriff: greift direkt auf Datenquellen im öffentlichen Internet zu.
Weitere Informationen finden Sie unter Öffentliche Instanz erstellen.
Private Instanz
  • Netzwerkkonnektivität: verwendet private IP-Adressen in einem VPC-Netzwerk (Virtual Private Cloud).
  • Datenzugriff: erfordert vorkonfigurierte Verbindungen, um auf Datenquellen zuzugreifen. Die folgenden Verbindungen werden unterstützt:
    • Lokale Datenquellen, die über VPN oder Cloud Interconnect verbunden sind.
    • Andere Google Cloud Dienste, die privat in derselben VPC ausgeführt werden.

Autorisierung und Dienstkonto

Cloud Data Fusion hat in der Regel zwei Dienstkonten:

Dienstkonto für die Designzeit
Dieses von Google verwaltete Dienstkonto, der sogenannte Cloud Data Fusion API-Dienst-Agent, wird im Mandantenprojekt von Cloud Data Fusion verwendet, um auf Ressourcen des Kundenprojekts zuzugreifen.
Dienstkonto für die Ausführungszeit
Dies ist das Compute Engine-Standarddienstkonto, das von Cloud Data Fusion erstellt wird, um Jobs bereitzustellen, die auf andere Google Cloud Ressourcen zugreifen. Standardmäßig wird es einer VM des Managed Service for Apache Spark-Clusters hinzugefügt, damit Cloud Data Fusion während der Ausführung einer Pipeline auf Managed Service for Apache Spark-Ressourcen zugreifen kann.

Weitere Informationen finden Sie unter Dienstkonten in Cloud Data Fusion.

Logging und Monitoring

Cloud Logging und Cloud Monitoring sind entscheidend, um Einblicke in den Zustand und die Leistung Ihrer Cloud Data Fusion-Pipelines zu erhalten. Sie aktivieren Logging und Monitoring nur, wenn Sie die Cloud Data Fusion-Instanz erstellen.

Wenn Sie Logging und Monitoring aktivieren, können Sie Cloud Data Fusion-Pipelinelogs in der Google Cloud Console auf der Loganzeige Seite ansehen.

Monitoring bietet integrierte Dashboards für Cloud Data Fusion. Sie können auch benutzerdefinierte Dashboards erstellen, um bestimmte Messwerte zu beobachten.

Herkunftseinbindung in Knowledge Catalog

Cloud Data Fusion bietet eine Einbindung in Knowledge Catalog für die Herkunft. Weitere Informationen finden Sie unter Herkunft in Knowledge Catalog ansehen.

Verschlüsselung

Kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) ermöglichen die Verschlüsselung inaktiver Daten mit einem Schlüssel, den Sie über Cloud Key Management Service verwalten können. CMEK bietet Nutzern die Kontrolle über die Daten, die in Google Cloud interne Ressourcen in Mandantenprojekte und über Daten, die von Cloud Data Fusion-Pipelines geschrieben werden. Weitere Informationen finden Sie unter Kundenverwaltete Datenverschlüsselung.

Berechtigungen mit rollenbasierter Zugriffssteuerung (RBAC) verwalten

Mit Cloud Data Fusion können Sie die Zugriffssteuerung mit Identity and Access Management (IAM) verwalten.

Für detaillierte Berechtigungen für Aktionen, die in Cloud Data Fusion ausgeführt werden, z. B. Studio-Vorgänge, verwenden Sie RBAC. Weitere Informationen finden Sie in der Übersicht über RBAC.

Versionsupgrades

Cloud Data Fusion hat Versionen. Sie können eine Instanz in der Cloud Data Fusion Console auf eine neuere Version aktualisieren. Weitere Informationen finden Sie unter Versionierung in Cloud Data Fusion.

Nächste Schritte