Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Einführung in die Cloud Data Fusion-Netzwerke

Mit Cloud Data Fusion können Sie von öffentlichen oder privaten Instanzen aus in Design- und Ausführungsumgebungen für Pipelines eine Verbindung zu Ihren Datenquellen herstellen.

Hinweis

Für die Verwendung von Netzwerken in Cloud Data Fusion sind grundlegende Kenntnisse der folgenden Themen erforderlich:

Mandantenprojekt

Cloud Data Fusion erstellt ein Mandantenprojekt, das die Ressourcen und Dienste enthält, die zum Verwalten von Pipelines in Ihrem Namen erforderlich sind. Dies ist beispielsweise der Fall, wenn Pipelines in den Managed Service for Apache Spark-Clustern ausgeführt werden, die sich in Ihrem Kundenprojekt befinden.

Das Mandantenprojekt ist für Sie nicht direkt sichtbar. Wenn Sie jedoch eine private Instanz erstellen, verwenden Sie den Namen des Projekts, um VPC-Peering einzurichten. Jede private Instanz im Mandantenprojekt hat ein eigenes VPC-Netzwerk und -Subnetz.

Das Projekt kann mehrere Cloud Data Fusion-Instanzen haben. Sie verwalten die Ressourcen und Dienste, die es enthält, wenn Sie in der Cloud Data Fusion-UI oder der Google Cloud CLI auf eine Instanz zugreifen.
Weitere Informationen finden Sie in der Dokumentation zu Service Infrastructure unter Mandantenprojekte.

Kundenprojekt

Der Kunde erstellt und besitzt dieses Projekt. Standardmäßig erstellt Cloud Data Fusion in diesem Projekt einen sitzungsspezifischen Managed Service for Apache Spark-Cluster, um Ihre Pipelines auszuführen.

Cloud Data Fusion-Instanz

Eine Cloud Data Fusion-Instanz ist eine eindeutige Bereitstellung von Cloud Data Fusion, in der Sie Pipelines entwerfen und ausführen. Sie können mehrere Instanzen in einem einzelnen Projekt erstellen und die Google Cloud Region angeben, in der die Cloud Data Fusion Instanzen erstellt werden sollen. Je nach Ihren Anforderungen und Kostenbeschränkungen können Sie eine Instanz erstellen, die die Developer, Basic oder Enterprise Edition von Cloud Data Fusion verwendet. Jede Instanz enthält eine eindeutige, unabhängige Cloud Data Fusion Bereitstellung mit einer Reihe von Diensten, die das Lebenszyklusmanagement, die Orchestrierung, die Koordination und die Metadatenverwaltung von Pipelines übernehmen. Diese Dienste werden mit langlebigen Ressourcen in einem Mandantenprojekt ausgeführt.

Netzwerkdiagramm

Die folgenden Diagramme zeigen die Verbindungen, wenn Sie Datenpipelines erstellen, mit denen Daten aus verschiedenen lokalen und Cloud-Datenquellen extrahiert, transformiert, zusammengeführt, aggregiert und geladen werden.

In den Diagrammen sehen Sie, wie Sie den ausgehenden Traffic in einer privaten Instanz steuern und eine Verbindung zu einer öffentlichen Quelle herstellen.

Pipelineentwurf und -ausführung

Cloud Data Fusion bietet eine Trennung von Design- und Ausführungsumgebungen, sodass Sie eine Pipeline einmal entwerfen und dann in mehreren Umgebungen ausführen können. Die Designumgebung befindet sich im Mandantenprojekt, während sich die Ausführungsumgebung in einem oder mehreren Kundenprojekten befindet.

Beispiel: Sie entwerfen Ihre Pipeline mit Cloud Data Fusion-Diensten wie Wrangler und Preview. Diese Dienste werden im Mandantenprojekt ausgeführt, wobei der Zugriff auf Daten durch die von Google verwaltete Rolle „Cloud Data Fusion Service Agent“ gesteuert wird. Anschließend führen Sie die Pipeline in Ihrem Kundenprojekt aus, damit sie Ihren Managed Service for Apache Spark-Cluster verwendet. Im Kundenprojekt steuert das Standarddienstkonto von Compute Engine den Zugriff auf Daten. Sie können Ihr Projekt so konfigurieren, dass ein benutzerdefiniertes Dienstkonto verwendet wird.

Weitere Informationen zum Konfigurieren von Dienstkonten finden Sie unter Cloud Data Fusion-Dienstkonten.

Designumgebung

Wenn Sie in Ihrem Kundenprojekt eine Cloud Data Fusion-Instanz erstellen, erstellt Cloud Data Fusion automatisch ein separates, von Google verwaltetes Mandantenprojekt, um die Dienste auszuführen, die zum Verwalten des Lebenszyklus von Pipelines und Metadaten, der Cloud Data Fusion-UI und von Designzeit-Tools wie Preview und Wrangler erforderlich sind.

DNS-Auflösung in Cloud Data Fusion

Wenn Sie die Daten, die Sie übertragen möchten, in der Designzeit-Umgebung bearbeiten und in der Vorschau ansehen möchten, verwenden Sie DNS-Peering (verfügbar ab Cloud Data Fusion 6.7.0) Google Cloud, um Domainnamen aufzulösen. So können Sie Domain- oder Hostnamen für Quellen und Senken verwenden, die Sie nicht so oft neu konfigurieren müssen wie IP-Adressen.

Die DNS-Auflösung wird in der Designzeit-Umgebung in Cloud Data Fusion empfohlen, wenn Sie Verbindungen testen und eine Vorschau von Pipelines ansehen, die Domainnamen von lokalen oder anderen Servern (z. B. Datenbanken oder FTP-Servern) in einem privaten VPC-Netzwerk verwenden.

Weitere Informationen finden Sie unter DNS-Peering und Cloud DNS-Weiterleitung.

Ausführungsumgebung

Nachdem Sie Ihre Pipeline in einer Instanz überprüft und bereitgestellt haben, wird sie entweder manuell oder nach einem Zeitplan bzw. einem Trigger für den Pipelinestatus ausgeführt.

Unabhängig davon, ob die Ausführungsumgebung von Cloud Data Fusion oder vom Kunden bereitgestellt und verwaltet wird, befindet sie sich in Ihrem Kundenprojekt.

Öffentliche Instanzen (Standard)

Am einfachsten stellen Sie eine Cloud Data Fusion-Instanz bereit, indem Sie eine öffentliche Instanz erstellen. Es dient als Ausgangspunkt und bietet Zugriff auf externe Endpunkte im öffentlichen Internet.

Eine öffentliche Instanz in Cloud Data Fusion verwendet das Standard-VPC-Netzwerk in Ihrem Projekt.

Das Standard-VPC-Netzwerk hat Folgendes:

Automatisch generierte Subnetze für jede Region
Tabellen weiterleiten
Firewallregeln für die Kommunikation zwischen Ihren Rechenressourcen

Netzwerke über Regionen hinweg

Wenn Sie ein neues Projekt erstellen, hat das Standard-VPC-Netzwerk den Vorteil, dass es ein Subnetz pro Region automatisch mit einem vordefinierten IP-Adressbereich befüllt, der als CIDR-Block ausgedrückt wird. Die IP-Adressbereiche beginnen mit 10.128.0.0/20, 10.132.0.0/20, in den Google Cloud globalen Regionen.

Damit Ihre Computing-Ressourcen regionenübergreifend miteinander verbunden sind, legt das Standard-VPC-Netzwerk die standardmäßigen lokalen Routen für jedes Subnetz fest. Durch das Einrichten der Standardroute zum Internet (0.0.0.0/0) erhalten Sie Zugriff auf das Internet und erfassen den nicht weitergeleiteten Netzwerktraffic.

Firewallregeln

Das Standard-VPC-Netzwerk bietet eine Reihe von Firewallregeln:

Standard	Beschreibung
`icmp` standardmäßig zulassen	`icmp`-Protokoll für Quelle `0.0.0.0/0` aktivieren
Intern standardmäßig zulassen	`tcp:0-65535`; `udp:0-65535`; `icmp` für Quelle `10.128.0.0/9` aktivieren, was die IP-Adressen von `10.128.0.1` bis `10.255.255.254` umfasst
Standardmäßig `rdp` zulassen	`tcp:3389` für Quelle `0.0.0.0/0` aktivieren
`ssh` standardmäßig zulassen	`tcp:22` für Quelle `0.0.0.0/0` aktivieren

Diese Standardeinstellungen für VPC-Netzwerk minimieren die Voraussetzungen für die Einrichtung von Cloud-Diensten, einschließlich Cloud Data Fusion. Aus Gründen der Netzwerksicherheit lassen Organisationen häufig nicht zu, dass das Standard-VPC-Netzwerk für Geschäftsabläufe verwendet wird. Ohne das Standard-VPC-Netzwerk können Sie keine öffentliche Cloud Data Fusion-Instanz erstellen. Erstellen Sie stattdessen eine private Instanz.

Das Standard-VPC-Netzwerk gewährt keinen offenen Zugriff auf Ressourcen. Stattdessen steuert Identity and Access Management (IAM) den Zugriff:

Für die Anmeldung bei Google Cloudist eine bestätigte Identität erforderlich.
Nach der Anmeldung benötigen Sie eine explizite Berechtigung (z. B. die Rolle „Betrachter“), um Google Cloud Dienste anzusehen.

Private Instanzen

Bei einigen Organisationen müssen alle ihre Produktionssysteme von öffentlichen IP-Adressen isoliert sein. Eine private Cloud Data Fusion-Instanz erfüllt diese Anforderung in allen Arten von VPC-Netzwerkeinstellungen.

Private Service Connect in Cloud Data Fusion

Cloud Data Fusion-Instanzen müssen möglicherweise eine Verbindung zu Ressourcen herstellen, die sich lokal, in Google Cloudoder bei anderen Cloud-Anbietern befinden. Wenn Sie Cloud Data Fusion mit internen IP-Adressen verwenden, werden Verbindungen zu externen Ressourcen über das VPC-Netzwerk in Ihrem Google Cloud Projekt hergestellt. Der Traffic über das Netzwerk läuft nicht über das öffentliche Internet. Wenn Cloud Data Fusion über VPC-Netzwerk-Peering Zugriff auf Ihre VPC erhält, gibt es Einschränkungen, die bei der Verwendung von großen Netzwerken deutlich werden.

Mit Private Service Connect-Schnittstellen stellt Cloud Data Fusion eine Verbindung zu Ihrer VPC her, ohne dass VPC-Netzwerk-Peering verwendet wird. Die Private Service Connect-Schnittstelle ist eine Art von Private Service Connect mit der Cloud Data Fusion private und sichere Verbindungen zu Nutzer-VPC-Netzwerken initiieren kann. Dies bietet nicht nur die Flexibilität und den einfachen Zugriff (wie VPC-Netzwerk-Peering), sondern auch die explizite Autorisierung und die nutzerseitige Steuerung, die Private Service Connect bietet. Weitere Informationen finden Sie unter Private Instanz mit Private Service Connect erstellen.

Zugriff auf Daten in Design- und Ausführungsumgebungen

In einer öffentlichen Instanz erfolgt die Netzwerkkommunikation über das offene Internet, was für kritische Umgebungen nicht empfohlen wird. Für den sicheren Zugriff auf Ihre Datenquellen führen Sie Ihre Pipelines immer von einer privaten Instanz in Ihrer Ausführungsumgebung aus.

Zugriff auf Quellen

Beim Zugriff auf Datenquellen, öffentliche und private Instanzen:

werden ausgehende Aufrufe an Google Cloud APIs über den privater Google-Zugriff ausgeführt.
wird über VPC-Peering mit einer Ausführungsumgebung (Managed Service for Apache Spark) kommuniziert.

In der folgenden Tabelle werden öffentliche und private Instanzen während des Entwurfs und der Ausführung für verschiedene Datenquellen verglichen:

Datenquelle	Öffentliche Cloud Data Fusion-Instanz (Entwicklungszeit)	Öffentlicher Cloud Data Fusion Managed Service for Apache Spark (Ausführung)	Private Cloud Data Fusion-Instanz (Entwicklungszeit)	Privater Cloud Data Fusion Managed Service for Apache Spark (Ausführung)
Google Cloud Quelle (nachdem Sie Berechtigungen erteilt und Firewall regeln festgelegt haben)
Lokale Quelle (nach dem Einrichten von VPN/Interconnect, Gewähren von Berechtigungen und Festlegen von Firewallregeln)
Öffentliche Internetquelle (nachdem Sie Berechtigungen erteilt und Firewall Regeln festgelegt haben)