Übersicht über Dataproc Hub

Dataproc Hub und von Nutzern verwaltete Vertex AI Workbench-Notebooks wurden verworfen. Am 30. Januar 2025 wird die Unterstützung für nutzerverwaltete Notebooks eingestellt und die Möglichkeit zum Erstellen von nutzerverwalteten Notebookinstanzen wird entfernt. Alternative Notebooklösungen finden Sie unter: Google Cloud

• Install Jupyter-Komponente im Managed Service for Apache Spark-Cluster installieren.
• Vertex AI Workbench-Instanz mit aktiviertem Managed Service for Apache Spark erstellen.

Mit Dataproc Hub können Sie Vertex AI Workbench und Managed Service for Apache Spark nutzen, um interaktive ML- und Datenverarbeitungsaufgaben mit Jupyter-Notebooks und der Hadoop- und Spark-Umgebung auszuführen.

Dataproc Hub-Notebooks sind von Administratoren zusammengestellte Notebooks für einzelne Nutzer, die in einem Managed Service for Apache Spark JupyterLab-Cluster ausgeführt werden, der im Projekt des Nutzers erstellt wurde.

• Dataproc Hub nutzt JupyterHub für folgende Aufgaben:

  • Sorgen Sie für mehr Konsistenz in der gesamten Organisation, indem Sie Administratoren die Möglichkeit bieten, ausgewählte Listen mit Notebookvorlagen für verschiedene Datengruppen und ML-Nutzer zu erstellen.
  • Beschleunigen Sie die Erstellung von Notebooks, indem Sie Daten und ML-Nutzern vorkonfigurierte Umgebungen bereitstellen, die ihren Software- und Hardwareanforderungen entsprechen.

• Dataproc Hub bietet separate Schnittstellen für Administratoren und Nutzer:

  • Administratoren verwenden die Dataproc→Workbench→Nutzerverwaltete Notebooks Seite in der Google Cloud console, um Dataproc Hub Instanzen zu erstellen. Jede Hub-Instanz enthält eine Reihe von vordefinierten Notebookumgebungen, die von YAML-Clusterkonfigurationsdateien definiert werden.
  • Daten- und ML-Nutzer verwenden die Notebooks→Instanzen UI in der Google Cloud console, um eine vordefinierte Notebookumgebung auszuwählen, um einen Notebook-Server in ihrem Managed Service for Apache Spark-Cluster zu erzeugen.
    • Nutzer ohne Konsolenzugriff können auf die Dataproc Hub-Instanz zugreifen, um mithilfe der Dataproc Hub-Instanz-URL, die vom Administrator bereitgestellt wurde, einen Managed Service for Apache Spark-Cluster zu erstellen.
      Wenn die Organisation keine separaten Notebook-Administrations- und Nutzerrollen definiert und implementiert, können Nutzer die Jupyter-Komponente auf ihrem Cluster installieren, anstatt Dataproc Hub zur Konfiguration und zum Generieren eines Jupyter-Notebook-Clusters zu verwenden.

• Anwendungsfälle für Dataproc Hub:

  • Daten- und ML-Nutzer sind in Gruppen mit gemeinsamen Software- und Hardwareanforderungen organisiert. Nutzer können in mehreren Gruppen platziert werden.
  • Eingeschränkter Zugriff auf die Managed Service for Apache Spark-Konsole: Nutzer haben in der Google Cloud Konsole keinen Zugriff auf Managed Service for Apache Spark.

• Features von Dataproc Hub:

  • Vordefinierte Nutzerumgebungen
  • Cluster- und Notebook-Isolierung: Die Mitglieder einer Gruppe erhalten keinen einfachen Zugriff auf Cluster und Notebooks von Mitgliedern in anderen Gruppen

Weitere Informationen

• Administratoren: Dataproc Hub konfigurieren
• Nutzer: Dataproc Hub verwenden