Einführung in Cloud Data Fusion: Console

Mit der Cloud Data Fusion Console, auch Steuerungsebene, genannt, können Sie eine Cloud Data Fusion-Instanz über eine Reihe von API-Vorgängen und eine Google Cloud Console Oberfläche verwalten. Sie können beispielsweise eine Instanz erstellen, löschen, neu starten oder aktualisieren.

Hinweis

Übersicht über die Cloud Data Fusion Console

In den folgenden Abschnitten werden wichtige Aspekte der Console beschrieben.

Instanzen

Eine Instanz ist eine eindeutige Bereitstellung von Cloud Data Fusion. Wenn Sie Cloud Data Fusion verwenden möchten, erstellen Sie eine Instanz in der Google Cloud Console. Sie können in einem einzelnen Google Cloud Projekt mehrere Cloud Data Fusion-Instanzen erstellen. Sie können für jede Instanz eine Google Cloud Region angeben. Jede Instanz ist eine eindeutige, unabhängige Cloud Data Fusion-Bereitstellung, die eine Reihe von Diensten enthält, die das Lebenszyklusmanagement, die Orchestrierung, die Koordination und die Metadatenverwaltung von Pipelines übernehmen. Diese Dienste werden mit zeitaufwendigen Ressourcen in einem Mandantenprojektausgeführt.

Berücksichtigen Sie beim Erstellen der Instanz die folgenden Optionen.

Version

Sie erstellen die Instanz in einer der folgenden Cloud Data Fusion-Versionen: Developer, Basic oder Enterprise. Wählen Sie die Version anhand der folgenden Kriterien aus:

  • Kosten
  • Limits für die Parallelität bei der Pipelineausführung
  • Verfügbarkeit der rollenbasierten Zugriffssteuerung (Role-Based Access Control, RBAC)

Die Versionen sind für die folgenden Anwendungsfälle vorgesehen:

Cloud Data Fusion-Version Anwendungsfall
Developer-Version Für Entwicklung, Tests oder kleine Integrationen
Basic Edition Für die Produktion mit moderaten Anforderungen
Enterprise-Version Für umfangreiche, geschäftskritische Datenpipelines mit RBAC

Öffentliche oder private Instanz

Je nach Ihren Anforderungen müssen Sie entscheiden, ob Sie eine öffentliche oder eine private Instanz benötigen. Die wichtigsten Unterschiede zwischen privaten und öffentlichen Instanzen in Cloud Data Fusion sind die Netzwerkkonnektivität und die Sicherheit:

Cloud Data Fusion-Instanztyp Verhalten
Öffentliche Instanz
  • Netzwerkkonnektivität: verwendet öffentliche IP-Adressen, um eine Verbindung zum Internet herzustellen.
  • Datenzugriff: greift direkt auf Datenquellen im öffentlichen Internet zu.
Weitere Informationen finden Sie unter Öffentliche Instanz erstellen.
Private Instanz
  • Network Connectivity: verwendet private IP-Adressen in einem VPC-Netzwerk (Virtual Private Cloud).
  • Datenzugriff: erfordert vorkonfigurierte Verbindungen, um auf Datenquellen zuzugreifen. Die folgenden Verbindungen werden unterstützt:
    • Lokale Datenquellen, die über VPN oder Cloud Interconnect verbunden sind.
    • Andere Google Cloud Dienste, die privat in derselben VPC ausgeführt werden.

Autorisierung und Dienstkonto

Cloud Data Fusion hat in der Regel zwei Dienstkonten:

Dienstkonto für die Designzeit
Dieses von Google verwaltete Dienstkonto, der Cloud Data Fusion API Service Agent, wird im Mandantenprojekt von Cloud Data Fusion verwendet, um auf Ressourcen des Kundenprojekts zuzugreifen.
Dienstkonto für die Ausführungszeit
Dies ist das standardmäßige Compute Engine-Dienstkonto, das Cloud Data Fusion erstellt, um Jobs bereitzustellen, die auf andere Google Cloud Ressourcen zugreifen. Standardmäßig wird es an eine VM des Managed Service for Apache Spark-Clusters angehängt, damit Cloud Data Fusion während der Ausführung einer Pipeline auf Managed Service for Apache Spark-Ressourcen zugreifen kann.

Weitere Informationen finden Sie unter Dienstkonten in Cloud Data Fusion.

Logging und Monitoring

Cloud Logging und Cloud Monitoring sind entscheidend, um Einblicke in den Zustand und die Leistung Ihrer Cloud Data Fusion-Pipelines zu erhalten. Sie aktivieren Logging und Monitoring nur, wenn Sie die Cloud Data Fusion-Instanz erstellen.

Wenn Sie Logging und Monitoring aktivieren, können Sie Cloud Data Fusion-Pipeline-Logs in der Google Cloud Console auf der Seite **Log-Viewer** ansehen.

Monitoring bietet integrierte Dashboards für Cloud Data Fusion. Sie können auch benutzerdefinierte Dashboards erstellen, um bestimmte Messwerte zu beobachten.

Herkunftseinbindung in Knowledge Catalog

Cloud Data Fusion bietet eine Einbindung in Knowledge Catalog für die Herkunft. Weitere Informationen finden Sie unter Herkunft in Knowledge Catalog ansehen.

Verschlüsselung

Mit kundenverwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK) können Sie inaktive Daten mit einem Schlüssel verschlüsseln, den Sie über Cloud Key Management Service verwalten können. CMEK bietet Nutzern die Kontrolle über die Daten, die in Google Cloud interne Ressourcen in Mandantenprojekten und über die Daten, die von Cloud Data Fusion-Pipelines geschrieben werden. Weitere Informationen finden Sie unter Kundenverwaltete Datenverschlüsselung.

Berechtigungen mit rollenbasierter Zugriffssteuerung (RBAC) verwalten

Mit Cloud Data Fusion können Sie die Zugriffssteuerung mit Identity and Access Management (IAM) verwalten.

Für detaillierte Berechtigungen für Aktionen, die in Cloud Data Fusion ausgeführt werden, z. B. Studio-Vorgänge, verwenden Sie RBAC. Weitere Informationen finden Sie in der RBAC-Übersicht.

Versionsupgrades

Cloud Data Fusion hat Versionen. Sie können eine Instanz in der Cloud Data Fusion Console auf eine neuere Version aktualisieren. Weitere Informationen finden Sie unter Versionierung in Cloud Data Fusion.

Nächste Schritte