Private Instanz mit Private Service Connect erstellen

Auf dieser Seite wird beschrieben, wie Sie Private Service Connect in Cloud Data Fusion konfigurieren.

Private Service Connect in Cloud Data Fusion

Cloud Data Fusion-Instanzen müssen möglicherweise eine Verbindung zu Ressourcen herstellen, die sich lokal, auf Google Cloudoder bei anderen Cloud-Anbietern befinden. Wenn Sie Cloud Data Fusion mit internen IP-Adressen verwenden, werden Verbindungen zu externen Ressourcen über ein VPC-Netzwerk (Virtual Private Cloud) in IhremGoogle Cloud -Projekt hergestellt. Traffic über das Netzwerk wird nicht über das öffentliche Internet geleitet. Wenn Cloud Data Fusion über VPC-Peering Zugriff auf Ihr VPC-Netzwerk erhält, gibt es Einschränkungen, die bei der Verwendung von großen Netzwerken deutlich werden.

Über Private Service Connect-Schnittstellen stellt Cloud Data Fusion eine Verbindung zu Ihrer VPC her, ohne dass VPC-Peering erforderlich ist. Eine Private Service Connect-Schnittstelle ist eine Art Private Service Connect, mit der Cloud Data Fusion private und sichere Verbindungen zu Nutzer-VPC-Netzwerken initiieren kann. Dies bietet nicht nur die Flexibilität und den einfachen Zugriff (wie VPC-Peering), sondern auch die explizite Autorisierung und die clientseitige Steuerung, die Private Service Connect bietet.

Das folgende Diagramm zeigt, wie die Private Service Connect-Schnittstelle in Cloud Data Fusion bereitgestellt wird:

Bereitstellung der Private Service Connect-Schnittstelle.

Abbildung 1. Bereitstellung der Private Service Connect-Schnittstelle

Beschreibung von Abbildung 1:

  • Die virtuellen Maschinen (VMs), auf denen Cloud Data Fusion ausgeführt wird, werden in einem Mandantenprojekt von Google gehostet. Für den Zugriff auf Ressourcen in der Kunden-VPC verwenden Cloud Data Fusion-VMs die IP-Adresse, die von der Private Service Connect-Netzwerkschnittstelle aus dem Subnetz des Kunden zugewiesen wird. Dieses Subnetz wird dem Netzwerk-Attachment hinzugefügt, das von Cloud Data Fusion verwendet wird.

  • IP-Pakete, die von der Private Service Connect-Schnittstelle stammen, werden ähnlich wie Pakete von einer VM im selben Subnetz behandelt. Mit dieser Konfiguration kann Cloud Data Fusion direkt auf Ressourcen in der Kunden-VPC oder einer Peer-VPC zugreifen, ohne dass ein Proxy erforderlich ist.

  • Internetressourcen sind zugänglich, wenn Cloud NAT in der Kunden-VPC aktiviert ist. Lokale Ressourcen sind über eine Interconnect-Verbindung erreichbar.

  • Sie können Firewallregeln implementieren, um eingehenden oder ausgehenden Traffic über Private Service Connect zu verwalten.

Hauptvorteile

Die wichtigsten Vorteile der Verwendung von Cloud Data Fusion mit Private Service Connect sind:

  • Bessere Kontrolle des IP-Adressbereichs: Sie steuern die IP-Adressen, die Cloud Data Fusion verwendet, um eine Verbindung zu Ihrem Netzwerk herzustellen. Sie wählen die Subnetze aus, aus denen die IP-Adressen Cloud Data Fusion zugewiesen werden. Der gesamte Traffic von Cloud Data Fusion hat eine Quell-IP-Adresse aus Ihrem konfigurierten Subnetz.

    Mit Private Service Connect sind keine reservierten IP-Adressen aus einer Kunden-VPC mehr erforderlich. Für VPC-Peering ist ein /22-CIDR-Block (1.024 IP-Adressen) pro Cloud Data Fusion-Instanz erforderlich.

  • Verbesserte Sicherheit und Isolation: Durch die Konfiguration einer Netzwerkverbindung können Sie steuern, welche Dienste auf Ihr Netzwerk zugreifen können.

  • Vereinfachte Einrichtung von Cloud Data Fusion-Instanzen: Erstellen Sie pro Kunden-VPC nur einmal eine Netzwerkverbindung. Sie müssen keine Proxy-VMs verwenden, um eine Verbindung zu Ressourcen im Internet, zu VPCs mit Peering oder zu lokalen Ressourcen herzustellen.

Wichtige Konzepte

In diesem Abschnitt werden die Konzepte von Private Service Connect in Cloud Data Fusion erläutert.

Netzwerkanhang

Ein Netzwerkanhang ist eine regionale Ressource, mit der Cloud Data Fusion dazu autorisiert wird, Netzwerkverbindungen privat zu verwenden und herzustellen, um auf Ressourcen in Ihrer VPC zuzugreifen. Weitere Informationen finden Sie unter Netzwerkanhänge.

Freigegebene VPC

Im Folgenden finden Sie einen Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebene VPC:

  • Das Netzwerk- oder Infrastrukturteam ist für die Subnetze in einem Hostprojekt verantwortlich. So können die Anwendungsteams diese Subnetze aus ihrem Dienstprojekt verwenden.

  • Die Anwendungsteams sind für die Netzwerkanhänge in einem Dienstprojekt verantwortlich. Mit der Netzwerkverbindung wird festgelegt, welche Cloud Data Fusion-Mandantenprojekte eine Verbindung zu den mit der Netzwerkverbindung verknüpften Subnetzen herstellen können.

Sie können einen Netzwerk-Anhang in einem Dienstprojekt erstellen. Die in einer Netzwerkverbindung verwendeten Subnetze können sich nur im Hostprojekt befinden.

Das folgende Diagramm veranschaulicht diesen Anwendungsfall:

Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebene VPC

Abbildung 2. Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebene VPC

Beschreibung von Abbildung 2:

  • Der Netzwerkanhang ist im Dienstprojekt vorhanden. Die Netzwerkverbindung verwendet ein Subnetz, das zu einer freigegebene VPC im Hostprojekt gehört.

  • Die Cloud Data Fusion-Instanz ist im Dienstprojekt vorhanden und verwendet den Netzwerk-Anhang aus dem Dienstprojekt, um eine private Verbindung herzustellen.

  • Der Cloud Data Fusion-Instanz werden IP-Adressen aus dem Subnetz im freigegebene VPC zugewiesen.

Hinweise

  • Private Service Connect ist nur in Cloud Data Fusion Version 6.10.0 und höher verfügbar.

  • Sie können Private Service Connect nur aktivieren, wenn Sie eine neue Cloud Data Fusion-Instanz erstellen. Sie können die vorhandenen Instanzen nicht migrieren, um Private Service Connect zu verwenden.

Preise

Für eingehenden und ausgehenden Traffic über Private Service Connect fallen Gebühren an. Weitere Informationen finden Sie unter Private Service Connect-Preise.

Erforderliche Rollen und Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen (Identity and Access Management) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Cloud Data Fusion-Instanz und eines Netzwerkanhangs benötigen:

Bitten Sie Ihren Administrator, dem Cloud Data Fusion-Dienst-Agent (im Format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) die folgenden IAM-Rollen für Ihr Projekt zu gewähren, damit Cloud Data Fusion die erforderlichen Berechtigungen zum Validieren der Netzwerkkonfiguration hat:

  • Für die VPC, die dem Netzwerk-Attachment zugeordnet ist: Compute-Netzwerkbetrachter (roles/compute.networkViewer)

  • Damit Cloud Data Fusion das Mandantenprojekt der Liste der akzeptierten Producer der Netzwerkverbindung hinzufügen kann:

    • compute.networkAttachments.get
    • compute.networkAttachments.update
    • compute.networkAttachments.list

    Die restriktivste Rolle mit diesen Berechtigungen ist die Rolle Compute-Netzwerkadministrator (roles/compute.networkAdmin). Diese Berechtigungen sind Teil der Rolle Cloud Data Fusion API Service Agent (Cloud Data Fusion API-Dienst-Agent) (roles/datafusion.serviceAgent), die dem Cloud Data Fusion-Dienst-Agent automatisch gewährt wird. Daher ist keine Aktion erforderlich, es sei denn, die Gewährung der Dienst-Agent-Rolle wurde explizit entfernt.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu den Optionen für die Zugriffssteuerung in Cloud Data Fusion finden Sie unter Zugriffssteuerung mit IAM.

VPC- oder freigegebene VPC-Netzwerk erstellen

Sie müssen ein VPC-Netzwerk oder ein gemeinsam genutztes VPC-Netzwerk erstellt haben.

Private Service Connect konfigurieren

Wenn Sie Private Service Connect in Cloud Data Fusion konfigurieren möchten, müssen Sie zuerst einen Netzwerk-Anhang und dann eine Cloud Data Fusion-Instanz mit Private Service Connect erstellen.

Netzwerkanhang erstellen

Der Netzwerkanhang bietet eine Reihe von Subnetzwerken. So erstellen Sie eine Netzwerkverbindung:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Netzwerk-Anhänge auf:

    Zu den Netzwerkanhängen

  2. Klicken Sie auf Netzwerkanhang erstellen.

  3. Geben Sie im Feld Name einen Namen für Ihr Netzwerkanhang ein.

  4. Wählen Sie in der Liste Netzwerk ein VPC- oder ein freigegebene VPC-Netzwerk aus.

  5. Wählen Sie in der Liste Region eine Google Cloud Region aus. Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.

  6. Wählen Sie in der Liste Subnetzwerk einen Subnetzwerkbereich aus.

  7. Wählen Sie unter Verbindungseinstellung die Option Verbindungen für ausgewählte Projekte akzeptieren aus.

    Cloud Data Fusion fügt das Cloud Data Fusion-Mandantenprojekt automatisch der Liste Akzeptierte Projekte hinzu, wenn Sie die Cloud Data Fusion-Instanz erstellen.

  8. Fügen Sie keine Akzeptierten Projekte oder Abgelehnten Projekte hinzu.

  9. Klicken Sie auf Netzwerkanhang erstellen.

    Netzwerkanhang erstellen

gcloud

  1. Erstellen Sie ein oder mehrere Subnetzwerke. Beispiel:

    gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGION

    Für die Netzwerkverbindung werden diese Subnetze in den folgenden Schritten verwendet.

  2. Erstellen Sie eine Netzwerkanhangressource in derselben Region wie die Cloud Data Fusion-Instanz, wobei die Eigenschaft connection-preference auf ACCEPT_MANUAL festgelegt ist:

    gcloud compute network-attachments create NAME
--region=REGION
--connection-preference=ACCEPT_MANUAL
--subnets=SUBNET

    Ersetzen Sie Folgendes:

    • NAME: der Name des Netzwerkanhangs.
    • REGION: der Name der Google Cloud Region. Diese Region muss mit der Region der Cloud Data Fusion-Instanz übereinstimmen.
    • SUBNET: Name des Subnetzes

    Die Ausgabe dieses Befehls ist eine Netzwerk-Anhang-URL im folgenden Format:

    projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.

    Notieren Sie sich diese URL, da Cloud Data Fusion sie für die Verbindung benötigt.

REST API

  1. Erstellen Sie ein Subnetz.

  2. Netzwerkanhang erstellen:

    alias authtoken="gcloud auth print-access-token"
NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME
REGION=REGION
SUBNET=SUBNET
PROJECT_ID=PROJECT_ID

read -r -d '' BODY << EOM
{
  "name": "$NETWORK_ATTACHMENT_NAME",
  "description": "Network attachment for private Cloud Data Fusion",
  "connectionPreference": "ACCEPT_MANUAL",
  "subnetworks": [
    "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET"
  ]
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"

    Ersetzen Sie Folgendes:

    • NETWORK_ATTACHMENT_NAME: Der Name des Netzwerkanhangs.
    • REGION: der Name der Google Cloud Region. Diese Region muss mit der Region der Cloud Data Fusion-Instanz übereinstimmen.
    • SUBNET: Name des Subnetzes
    • PROJECT_ID: die Projekt-ID.

Erstellen Sie eine Cloud Data Fusion-Instanz.

Cloud Data Fusion verwendet einen /25-CIDR-Block (128 IPs) für Ressourcen im Mandantenprojekt. Das wird als nicht erreichbarer oder reservierter Bereich bezeichnet. Sie können dieselben IP-Adressen in VPCs verwenden, aber Cloud Data Fusion-VMs können mit diesem Bereich keine Verbindung zu Ihren Ressourcen herstellen.

In den meisten Fällen ist dies kein Problem, da der nicht erreichbare CIDR-Block standardmäßig in einem Bereich liegt, der nicht RFC 1918 entspricht (240.0.0.0/8). Wenn Sie den nicht erreichbaren Bereich steuern möchten, lesen Sie den Abschnitt Erweiterte Konfigurationen.

So erstellen Sie eine Cloud Data Fusion-Instanz mit aktiviertem Private Service Connect:

Console

  1. Rufen Sie in der Google Cloud Console die Cloud Data Fusion-Seite Instanzen auf und klicken Sie auf Instanz erstellen.

    Instanz erstellen

  2. Geben Sie im Feld Instanzname einen Namen für die neue Instanz ein.

  3. Geben Sie im Feld Beschreibung eine Beschreibung für Ihre Instanz ein.

  4. Wählen Sie in der Liste Region die Google Cloud Region aus, in der Sie die Instanz erstellen möchten.

  5. Wählen Sie in der Liste Version die Option 6.10 oder höher aus.

  6. Wählen Sie eine Ausgabe aus Weitere Informationen zu den Preisen für die verschiedenen Editionen finden Sie in der Preisübersicht für Cloud Data Fusion.

  7. Maximieren Sie Erweiterte Optionen und gehen Sie so vor:

    1. Wählen Sie Private IP-Adresse aktivieren aus.

    2. Wählen Sie Private Service Connect als Verbindungstyp aus.

    3. Wählen Sie im Abschnitt Netzwerkanhang den Netzwerkanhang aus, den Sie unter Netzwerkanhang erstellen erstellt haben.

  8. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

    Cloud Data Fusion-Instanz mit Private Service Connect erstellen

REST API

Führen Sie dazu diesen Befehl aus:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "networkAttachment": "$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ersetzen Sie Folgendes:

  • EDITION: die Cloud Data Fusion-Version – BASIC, DEVELOPER oder ENTERPRISE.
  • PROJECT_ID: die Projekt-ID.
  • REGION: der Name der Google Cloud Region. Diese Region muss mit der Region der Cloud Data Fusion-Instanz übereinstimmen.
  • INSTANCE_ID: Die ID Ihrer Instanz.
  • NETWORK_ATTACHMENT_ID: die ID Ihres Netzwerkanhangs.

Erweiterte Konfigurationen

Wenn Sie die gemeinsame Nutzung von Subnetzen aktivieren möchten, können Sie mehreren Cloud Data Fusion-Instanzen denselben Netzwerkanhang bereitstellen. Wenn Sie dagegen ein Subnetz für eine bestimmte Cloud Data Fusion-Instanz reservieren möchten, müssen Sie einen bestimmten Netzwerkanhang für die Cloud Data Fusion-Instanz angeben.

Empfohlen: Wenn Sie eine einheitliche Firewallrichtlinie auf alle Cloud Data Fusion-Instanzen anwenden möchten, verwenden Sie dieselbe Netzwerkverbindung.

Wenn Sie den /25-CIDR-Block steuern möchten, der von Cloud Data Fusion nicht erreichbar ist, geben Sie beim Erstellen der Instanz das Attribut unreachableCidrBlock an. Beispiel:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "unreachableCidrBlock": "$UNREACHABLE_RANGE",
      "networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ersetzen Sie Folgendes:

  • EDITION: die Cloud Data Fusion-Version – BASIC, DEVELOPER oder ENTERPRISE.
  • PROJECT_ID: die Projekt-ID.
  • REGION: der Name der Google Cloud Region. Diese Region muss mit der Region der Cloud Data Fusion-Instanz übereinstimmen.
  • INSTANCE_ID: Die ID Ihrer Instanz.
  • NETWORK_ATTACHMENT_ID: die ID Ihres Netzwerkanhangs.
  • UNREACHABLE_RANGE: Der nicht erreichbare Bereich, z. B. 10.0.0.0/25.

Sicherheit

In diesem Abschnitt wird die Sicherheit zwischen Cloud Data Fusion und Nutzern beschrieben.

Cloud Data Fusion-Sicherheit für Verbraucher

Private Service Connect-Schnittstellen unterstützen Egress-Firewallregeln, um zu steuern, worauf Cloud Data Fusion in Ihrer VPC zugreifen kann. Weitere Informationen finden Sie unter Eingehenden Traffic von Produzenten zu Verbrauchern begrenzen.

Sicherheit für Cloud Data Fusion-Nutzer

Cloud Data Fusion-VMs mit Private Service Connect-Schnittstelle blockieren jeden Traffic, der aus Ihrer VPC stammt und kein Antwortpaket ist.

Schritte für Anwendungsfälle für Verbindungen

In den folgenden Abschnitten werden Anwendungsfälle für private Instanzen beschrieben, die sich auf Verbindungen beziehen.

Privaten Google-Zugriff aktivieren

Damit über interne IP-Adressen auf Ressourcen zugegriffen werden kann, muss Cloud Data Fusion die Dataproc-Cluster erstellen und die Datenpipelines in einem Subnetz mit privater Google-Zugriff ausführen. Sie müssen den privater Google-Zugriff für das Subnetz aktivieren, das die Dataproc-Cluster enthält.

  • Wenn in der Region, in der die Dataproc-Cluster gestartet werden, nur ein Subnetz vorhanden ist, wird der Cluster in diesem Subnetz gestartet.

  • Wenn in einer Region mehrere Subnetze vorhanden sind, müssen Sie Cloud Data Fusion so konfigurieren, dass das Subnetz mit privater Google-Zugriff zum Starten von Dataproc-Clustern ausgewählt wird.

Informationen zum Aktivieren des privater Google-Zugriff für das Subnetz finden Sie unter Privaten Google-Zugriff konfigurieren.

Optional: DNS-Peering aktivieren

Aktivieren Sie DNS-Peering in den folgenden Fällen:

  • Wenn Cloud Data Fusion über Hostnamen und nicht über IP-Adressen eine Verbindung zu Systemen herstellt
  • Wenn das Zielsystem hinter einem Load-Balancer bereitgestellt wird, wie es bei einigen SAP-Bereitstellungen der Fall ist