Daten aus externen Iceberg-Katalogen mit Dataflow in ein grenzenloses Lakehouse importieren

In Ihrem Anwendungsfall müssen Sie möglicherweise eine externe IRC-Tabelle (Iceberg REST Catalog) mit einer vorhandenen Lakehouse-Tabelle verbinden. Mit der Job-Builder-UI von Dataflow können Sie eine Pipeline erstellen, mit der Sie Ihre externen Open-Source-Iceberg-Katalogtabellen mit Low-Code oder No-Code in Lakehouse migrieren. So können Sie Daten in einem einheitlichen, von Lakehouse verwalteten Iceberg-Format für die Analyse mit verschiedenen Engines konsolidieren.

Verwenden Sie die folgenden Verbindungsdetails, um Daten aus externen Iceberg-Katalogen zu importieren.

Nachdem Sie die Tabelle importiert haben, können Sie regelmäßig Änderungsdaten importieren, um die Quelltabelle mit der Lakehouse-Tabelle zu synchronisieren. Weitere Informationen finden Sie unter Apache Iceberg-CDC-Daten (Change Data Capture) mit Dataflow in ein grenzenloses Lakehouse migrieren.

Hinweis

Für den Import von Daten benötigen Sie Folgendes:

  1. Verbindungsinformationen für den externen Iceberg-REST-Katalog. Beispiele: Katalognamen, Namespace, Tabellennamen, Konto-URI und Rolle für den Zugriff auf den Katalog.
  2. Ein Lakehouse Iceberg-Katalog, ein Namespace und eine Tabelle, in die die Daten importiert werden sollen.

Unterstützung und Einschränkungen

Beim Importieren von Daten aus externen Iceberg-Katalogen in Lakehouse mit Dataflow gelten die folgenden Einschränkungen:

  • Mit dieser Funktion können Daten aus extern verfügbaren Iceberg-Anbietern, die IRC (Iceberg Rest Catalog) unterstützen, in Lakehouse gelesen werden. Andere Iceberg-Katalogtypen werden nicht unterstützt.
  • Diese Funktion unterstützt Batch- und Streamingpipelines.

Externe Iceberg-Katalogtabelle importieren

So importieren Sie eine externe Iceberg-Katalogtabelle in Lakehouse:

  1. Rufen Sie in der Google Cloud Console die Seite Lakehouse-Laufzeitkatalog auf.

    Zum Lakehouse-Laufzeitkatalog

  2. Wählen Sie den Katalog, den Namespace und die Tabelle aus, in die Sie Daten importieren möchten.

  3. Klicken Sie auf der Seite Tabellendetails auf Tabelle importieren und wählen Sie dann Aus Apache Iceberg REST-Katalog (Batch) aus.

    Die Dataflow-Seite Job Builder wird geöffnet.

  4. Im Abschnitt Quellen:

    1. Klicken Sie zum Erweitern des Quellbereichs Iceberg-Tabelle auf den Erweiterungspfeil .

    2. Geben Sie im Feld Iceberg-Tabelle die Kennung der Apache Iceberg-Tabelle ein.

    3. Geben Sie im Feld Katalogname den Namen des Katalogs ein.

    4. Geben Sie im Feld Filter den zu verwendenden Iceberg-Filter ein. Beispiel: id > 5

    5. Optional: Wenn Sie Änderungen an Spalten der Quelltabelle angeben möchten, verwenden Sie die Bereiche Spalten beibehalten oder Spalten entfernen.

    6. Wählen Sie im Abschnitt Katalogeigenschaften in der Liste Katalogtyp den Katalogtyp aus.

    7. Geben Sie im Feld Katalog-URI den URI des Katalogs ein. Beispiel: http://localhost:8181

    8. Geben Sie im Feld Warehouse-Name den Katalognamen ein.

      Bei einigen externen Iceberg-REST-Kataloganbietern wird das Warehouse abstrahiert und der Katalogname als Warehouse-Name angegeben.

    9. Wählen Sie in der Liste Authentifizierungstyp den Authentifizierungstyp aus. Beispiel: OAUTH2.

  5. Optional: Fügen Sie im Bereich Transformationen Transformationen für die Quelldaten hinzu.

  6. Im Abschnitt Sink:

    1. Optional: Sehen Sie sich den Senkenbereich Lakehouse-Tabelle an. Die Informationen in diesem Bereich, z. B. die Lakehouse-Tabelle, der Katalognamen und der Warehouse-Speicherort, sind in der Regel bereits ausgefüllt.

  7. Klicken Sie im Bereich Dataflow-Optionen auf Job ausführen.

Nächste Schritte