YouTube Studio-Verwaltung verwalten

Auf dieser Seite werden die Verwaltungsfunktionen beschrieben, die Cloud Data Fusion Studio zum Verwalten von Konfigurationen bietet. Cloud Data Fusion folgt einer Hierarchie, in der jede Instanz mehrere Namespaces haben kann. Im Cloud Data Fusion Studio können Administratoren alle Namespaces zentral oder einzeln verwalten. Cloud Data Fusion Studio bietet die folgenden System- und Namespace-Steuerelemente.

Systemverwaltung

Wenn Sie in Cloud Data Fusion Studio auf Systemadministrator klicken, werden die folgenden Tabs angezeigt:

  • Tab Verwaltung: Hier können Sie den Systemstatus verschiedener Cloud Data Fusion-Dienste ansehen. Sie können sich auch Logs für die einzelnen Dienste ansehen.

  • Auf dem Tab Konfiguration können Sie die folgenden Steuerelemente erstellen, ansehen und bearbeiten:

Provisioner sind für das Erstellen, Initialisieren und Zerstören der Cloud-Umgebung verantwortlich, in der Pipelines ausgeführt werden. Jeder Provisioner stellt eine Reihe von Konfigurationen bereit, mit denen gesteuert wird, welcher Clustertyp erstellt und gelöscht wird. Mit unterschiedlichen Provisionern werden unterschiedliche Arten von Clustern erstellt.

Jedes Rechenprofil hat einen Bereich: System oder Nutzer. Sie können ein System-Rechenprofil für alle Namespaces darunter verwenden. Nutzer-Compute-Profile sind in einem Namespace vorhanden und nur Pipelines in diesem Namespace können die Nutzer-Compute-Profile verwenden.

Auf dem Tab Konfigurationen des Systemadministrators können Sie ein System-Compute-Profil erstellen, das auf alle Namespaces angewendet wird. Cloud Data Fusion weist ein Standard-Compute-Profil zu.

Wenn Sie ein Compute-Profil erstellen, wählen Sie den Provisioner aus, mit dem das Profil die Cloud-Laufzeitdetails erstellt und konfiguriert.

Systemeinstellungen

Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Ebenen in Cloud Data Fusion angewendet werden, einschließlich des Systems selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelner Programme in Pipelines. Mit Einstellungen können Sie Standardwerte für häufig verwendete Konfigurationen festlegen. Diese Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wodurch sich sich wiederholende Konfigurationsaufgaben reduzieren. Weitere Informationen finden Sie unter Makros, Einstellungen und Laufzeitargumente verwalten.

Aktion für HTTP-Aufruf

Mit der Aktion „HTTP-Aufruf“ auf der Seite Systemadministrator können Sie direkt über die Cloud Data Fusion Studio-Oberfläche mit der API von Cloud Data Fusion oder möglicherweise mit anderen Google Cloud Dienst-APIs interagieren. Wenn Sie jedoch Datenverarbeitungspipelines mit externen Datenquellen erstellen möchten, verwenden Sie stattdessen das HTTP-Plug-in und den HTTP-Aufruf-Executor in Ihren Pipelines, um eine umfassendere Lösung zu erhalten. Sie unterscheidet sich geringfügig von der Aktion „HTTP-Aufruf“, die zugrunde liegenden Konzepte sind jedoch ähnlich.

Konfigurationen und Anwendungsfälle

Die Aktion für HTTP-Aufrufe wird hauptsächlich für Verwaltungsaufgaben oder Konfigurationszwecke in Cloud Data Fusion verwendet. Damit können Sie direkt über Cloud Data Fusion Studio mit der Cloud Data Fusion API oder anderen Google Cloud Diensten interagieren, die eine HTTP-API bereitstellen.

Konfigurationen

Sie können die folgenden Details für einen HTTP-Aufruf definieren:

  • URL: Der Zielendpunkt des Webservices, den Sie aufrufen möchten.
  • Methode: Die zu verwendende HTTP-Methode, z. B. GET, POST oder PUT.
  • Optional: Header: Alle benutzerdefinierten Header, die für die Anfrage erforderlich sind.
  • Optional: Body: Daten, die im Anfragetext gesendet werden sollen, z. B. für POST- und PUT-Aufrufe.

Anschließend können Sie den definierten HTTP-Aufruf ausführen und die Antwort des Webdienstes in Cloud Data Fusion Studio ansehen.

Anwendungsfälle
  • Cloud Data Fusion API-Aufrufe testen Mit der Aktion „HTTP-Aufruf“ können Sie Cloud Data Fusion API-Funktionen direkt über die Weboberfläche testen oder untersuchen. Diese Aktion kann hilfreich sein, um das API-Verhalten zu verstehen oder potenzielle Probleme zu beheben.
  • Namespaces verwalten (erweitert) Es gibt zwar eine spezielle Benutzeroberfläche für die Namespace-Verwaltung, aber die Aktion für HTTP-Aufrufe kann für erweiterte Aufgaben verwendet werden, indem direkt Aufrufe an die Cloud Data Fusion API zum Erstellen, Löschen oder Konfigurieren von Namespaces gesendet werden.
  • Interaktion mit anderen Google Cloud Diensten (eingeschränkt): Wenn andere Google Cloud Dienste, die Sie verwenden, eine öffentlich dokumentierte HTTP-API haben, können Sie mit der Aktion „HTTP-Aufruf“ mit diesen Diensten interagieren. Dies ist jedoch ein ungewöhnlicher Anwendungsfall.
Was Sie bedenken sollten
  • Sicherheit: Seien Sie vorsichtig, wenn Sie die Aktion für HTTP-Aufrufe verwenden, insbesondere bei sensiblen Daten oder Cloud Data Fusion API-Aufrufen, die sich auf Ihre Umgebung auswirken könnten. Machen Sie sich mit den Auswirkungen jedes API-Aufrufs vertraut, bevor Sie ihn ausführen.
  • Einschränkungen: Die Aktion „HTTP-Aufruf“ ist in erster Linie für administrative Aufgaben und Testzwecke vorgesehen. Es ist nicht für die Erstellung komplexer Datenverarbeitungspipelines konzipiert, die die Datenbearbeitung in Cloud Data Fusion umfassen.
  • Alternative für Pipelines: Wenn Sie externe Datenquellen oder Dienste in Ihre Datenpipelines einbinden möchten, verwenden Sie das HTTP-Plug-in und den zugehörigen HTTP-Aufrufausführer in Ihren Pipelinedefinitionen. So lassen sich HTTP-Interaktionen in Ihren Datenverarbeitungsworkflows robuster und kontrollierter verwalten.

Namespace-Verwaltung

Wenn Sie in Cloud Data Fusion Studio auf Namespace-Administrator klicken, können Sie die Konfigurationen für den jeweiligen Namespace verwalten. Für jeden Namespace können Sie die folgenden Aspekte definieren:

  • Compute-Profile: Die in Namespace-Administrator eingerichteten Profile sind Nutzer-Compute-Profile. Nur Pipelines in diesem Namespace können diese Nutzer-Compute-Profile verwenden. Weitere Informationen finden Sie unter Compute-Profile verwalten.
  • Einstellungen: Auf Namespace-Ebene definierte Einstellungen gelten für den Namespace, Anwendungen (mit Pipelines) und einzelne Programme in Pipelines. Weitere Informationen finden Sie unter Makros, Einstellungen und Laufzeitargumente verwalten.
  • Verbindungen: Mit Cloud Data Fusion können Sie Verbindungen zu Quellen und Senken in Datenpipelines wiederverwenden. Sie können Verbindungen auf der Seite „Namespace-Administrator“ hinzufügen. Weitere Informationen finden Sie unter Verbindungen erstellen und verwalten.
  • Treiber: Für einige Plug-ins in Cloud Data Fusion muss ein JDBC-Treiber dem Namespace hinzugefügt werden. Bevor Sie beispielsweise eine Pipeline mit einem MySQL-Batchquellen-Plug-in ausführen können, müssen Sie dem Namespace den unterstützten MySQL-Treiber hinzufügen. Sie können JDBC-Treiber auf der Seite „Namespace Admin“ oder direkt über den Hub in einen Namespace hochladen oder daraus entfernen. Weitere Informationen finden Sie unter Plug-in-Treiber.
  • Versionsverwaltung: Um den Entwicklungsprozess bereitgestellter Pipelines effizient zu verwalten, können Sie mit der Versionsverwaltung einen Namespace mit dem Repository Ihres Versionsverwaltungssystems verbinden. Weitere Informationen finden Sie unter Pipelines mit der Quellcodeverwaltung verwalten.
  • Dienstkonto: Um den Zugriff auf Google Cloud Ressourcen zu steuern, verwenden Namespaces in Cloud Data Fusion standardmäßig den Cloud Data Fusion API-Dienst-Agent.

Zur besseren Datenisolation können Sie jedem Namespace ein benutzerdefiniertes IAM-Dienstkonto (Identity and Access Management) zuordnen, das als „Dienstkonto pro Namespace“ bezeichnet wird. Mit dem benutzerdefinierten IAM-Dienstkonto, das für verschiedene Namespaces unterschiedlich sein kann, können Sie den Zugriff auf Google Cloud Ressourcen zwischen Namespaces für Pipeline-Designzeitvorgänge in Cloud Data Fusion steuern, z. B. Pipeline-Vorschau, Wrangler und Pipeline-Validierung. Weitere Informationen finden Sie unter Zugriffssteuerung mit Namespace-Dienstkonto.

Nächste Schritte