Datenbank-Batchquelle

Auf dieser Seite finden Sie eine Anleitung zum Konfigurieren des Batch-Quell-Plug-ins für Datenbanken in Cloud Data Fusion.

Sie können diese generische Quelle immer dann verwenden, wenn Sie aus einer Datenbank lesen müssen. Sie können damit beispielsweise tägliche Snapshots einer generischen Datenbanktabelle erstellen und die Ausgabe in BigQuery schreiben.

Plug-in konfigurieren

  1. Rufen Sie die Cloud Data Fusion-Web-UI auf und klicken Sie auf Studio.
  2. Prüfen Sie, ob Datenpipeline – Batch (nicht Echtzeit) ausgewählt ist.
  3. Klicken Sie im Menü Quelle auf Datenbank.
  4. Wenn Sie das Plug-in konfigurieren möchten, bewegen Sie den Mauszeiger auf den Plug-in-Knoten und klicken Sie auf Attribute.

  5. Geben Sie die folgenden Eigenschaften ein. Weitere Informationen zu den einzelnen Attributen finden Sie unter Attribute.

    1. Geben Sie ein Label für den Datenbankknoten ein, z. B. database tables.

    2. Geben Sie die Verbindungsdetails ein. Sie können eine neue Einmalverbindung oder eine vorhandene, wiederverwendbare Verbindung einrichten.

      Neue Verbindung

      So fügen Sie der Datenbank eine einmalige Verbindung hinzu:

      1. Lassen Sie Verbindung verwenden deaktiviert.
      2. Geben Sie die folgenden Verbindungseigenschaften ein:
        1. Geben Sie im Feld für den Namen des JDBC-Treibers den Namen des Treibers ein, sofern vorhanden. Andernfalls lassen Sie Keine JDBC-Plug-ins ausgewählt.
        2. Geben Sie im Feld Verbindungsstring den JDBC-Verbindungsstring einschließlich des Datenbanknamens ein.
        3. Optional: Wenn für Ihre Datenbank eine Authentifizierung erforderlich ist, geben Sie den Nutzernamen und das Passwort für die Datenbank ein.
        4. Optional: Wenn für Ihren JDBC-Treiber zusätzliche Konfigurationen erforderlich sind, geben Sie im Feld Verbindungsargumente Schlüssel-Wert-Argumente für die Verbindung ein.

      Wiederverwendbare Verbindung

      So verwenden Sie eine vorhandene Verbindung wieder:

      1. Aktivieren Sie Verbindung verwenden.
      2. Klicken Sie auf Verbindungen durchsuchen.

      3. Wählen Sie die Verbindung aus.

      4. Optional: Wenn keine Verbindung vorhanden ist und Sie eine neue, wiederverwendbare Verbindung erstellen möchten, klicken Sie auf Verbindung hinzufügen und folgen Sie der Anleitung auf dem Tab Neue Verbindung auf dieser Seite.

    3. Optional: Wenn Sie die Verbindung testen möchten, klicken Sie auf Schema abrufen. Dieses Schema wird anstelle des Schemas verwendet, das von der Abfrage zurückgegeben wird. Es muss mit dem Schema übereinstimmen, das von der Abfrage zurückgegeben wird. Sie können jedoch Felder als „nullable“ kennzeichnen und es kann eine Teilmenge der Felder enthalten.

    4. Geben Sie im Feld Importabfrage eine SELECT-Abfrage zum Importieren von Daten aus der angegebenen Tabelle ein, z. B. select id, name, email, phone from users;.

    5. Optional: Geben Sie im Feld Begrenzungsabfrage die minimalen und maximalen Werte ein, die gelesen werden sollen, z. B. SELECT * FROM table WHERE $CONDITIONS.

    6. Optional: Geben Sie im Feld Feldname für Aufteilung den Namen des Felds ein, mit dem die Aufteilungen generiert werden.

    7. Optional: Geben Sie im Feld Anzahl der zu generierenden Splits eine Zahl ein, z. B. 2.

    8. Optional: Geben Sie im Feld Abrufgröße eine Zahl ein, z. B. 1000.

    9. Optional: Geben Sie Erweiterte Eigenschaften ein, z. B. um die Groß-/Kleinschreibung der Spaltennamen zu ändern.

  6. Optional: Klicken Sie auf Validieren und beheben Sie alle gefundenen Fehler.

  7. Klicken Sie auf Schließen. Die Eigenschaften werden gespeichert und Sie können Ihre Datenpipeline im Cloud Data Fusion Studio weiter erstellen.

Eigenschaften

Attribut Makro aktiviert Erforderlich Beschreibung
Label Nein Ja Der Name des Knotens in Ihrer Datenpipeline.
Verbindung verwenden Nein Nein Suchen Sie nach einer Verbindung zur Quelle. Wenn Verbindung verwenden ausgewählt ist, müssen Sie keine Anmeldedaten angeben.
Verbindung Ja Ja Name der zu verwendenden Verbindung. Dieses Feld wird angezeigt, wenn Verbindung verwenden ausgewählt ist. Datenbank- und Tabelleninformationen werden über die Verbindung bereitgestellt.
Name des JDBC-Treibers Ja Ja Der zu verwendende JDBC-Treiber.
Der Standardwert ist Keine JDBC-Plug-ins.
Verbindungsstring Ja Ja JDBC-Verbindungsstring, einschließlich des Datenbanknamens.
Nutzername Ja Nein Nutzeridentität für die Verbindung zur Datenbank. Für Datenbanken erforderlich, die eine Authentifizierung erfordern. Optional für Datenbanken, für die keine Authentifizierung erforderlich ist.
Passwort Ja Nein Das Passwort, das für die Verbindung zur angegebenen Datenbank verwendet werden soll. Erforderlich für Datenbanken, für die eine Authentifizierung erforderlich ist. Optional für Datenbanken, für die keine Authentifizierung erforderlich ist.
Verbindungsargumente Ja Nein Eine Liste beliebiger String-Tag/Wert-Paare als Verbindungsargumente. Für JDBC-Treiber, die eine zusätzliche Konfiguration erfordern, werden diese Argumente als Verbindungsargumente im folgenden Format an den JDBC-Treiber übergeben: key1=value1;key2=value.
Referenzname Nein Ja Ein Name, der diese Quelle eindeutig für die Datenverlaufskontrolle und das Annotieren von Metadaten identifiziert. Das ist in der Regel der Name der Tabelle oder Ansicht.
Schema abrufen Nein Nein Das Schema der Datensätze, die von der Quelle ausgegeben werden. Es wird anstelle des Schemas verwendet, das von der Abfrage zurückgegeben wird. Es muss mit dem Schema übereinstimmen, das von der Abfrage zurückgegeben wird. Sie können jedoch Felder als „nullable“ markieren und es kann eine Teilmenge der Felder enthalten.
Abfrage importieren Ja Ja Die SELECT-Abfrage zum Importieren von Daten aus der angegebenen Tabelle. Sie können eine beliebige Anzahl von Spalten zum Importieren angeben oder alle Spalten mit * importieren. Die Abfrage sollte den String $CONDITIONS enthalten. Beispiel: SELECT * FROM table WHERE $CONDITIONS. Der String $CONDITIONS wird durch die im Feld Bounding query angegebene Begrenzung des Felds splitBy ersetzt. Der String $CONDITIONS ist nicht erforderlich, wenn das Feld Anzahl der Aufteilungen auf 1 gesetzt ist.
Begrenzungsabfrage Ja Nein Die Begrenzungsabfrage, die das Minimum und Maximum der Werte aus der Aufteilungsspalte zurückgibt. Beispiel: SELECT MIN(id),MAX(id) FROM table. Nicht erforderlich, wenn die Anzahl der Splits auf 1 festgelegt ist.
Feldname für Aufschlüsselung Ja Nein Der Feldname, der zum Erstellen von Aufteilungen verwendet wird. Nicht erforderlich, wenn die Anzahl der zu generierenden Splits auf 1 festgelegt ist.
Anzahl der zu generierenden Splits Ja Nein Anzahl der zu generierenden Splits.
Der Standardwert ist 1.
Abrufgröße Ja Nein Die Anzahl der Zeilen, die pro Split gleichzeitig abgerufen werden sollen. Eine größere Abrufgröße kann zu einem schnelleren Import führen, allerdings auf Kosten einer höheren Arbeitsspeichernutzung.
Der Standardwert ist 1000.
Automatische Übertragung aktivieren Nein Nein Gibt an, ob für Abfragen, die von dieser Quelle ausgeführt werden, die automatische Übertragung aktiviert werden soll. Lassen Sie diese Einstellung auf False gesetzt, es sei denn, Sie verwenden einen JDBC-Treiber, der einen Fehler verursacht, wenn der Commit-Vorgang ausgeführt wird.
Der Standardwert ist False.
Schreibweise von Spaltennamen Ja Nein Legt die Groß-/Kleinschreibung der Spaltennamen fest, die von der Abfrage zurückgegeben werden. Sie können Groß- oder Kleinbuchstaben verwenden. Standardmäßig oder für jede andere Eingabe werden die Spaltennamen nicht geändert und die Groß- und Kleinschreibung, die von der Datenbank zurückgegeben wird, wird verwendet. Wenn Sie diese Property festlegen, wird die Groß-/Kleinschreibung von Spaltennamen in verschiedenen Datenbanken einheitlich gehandhabt. Dies kann jedoch zu Konflikten bei Spaltennamen führen, wenn mehrere Spaltennamen identisch sind, wenn die Groß-/Kleinschreibung ignoriert wird.
Der Standardwert ist Keine Änderung.
Ebene der Transaktionsisolation Ja Nein Die Transaktionsisolationsebene für Abfragen, die von dieser Senke ausgeführt werden. Weitere Informationen finden Sie unter setTransactionIsolation(). Der Phoenix-JDBC-Treiber löst eine Ausnahme aus, wenn in der Phoenix-Datenbank keine Transaktionen aktiviert sind und dieses Feld auf true gesetzt ist. Legen Sie für solche Treiber TRANSACTION_NONE für dieses Feld fest.
Der Standardwert ist TRANSACTION_SERIALIZABLE.
Zu ersetzendes Muster Nein Nein Das Muster, das im Feldnamen in der Tabelle ersetzt werden soll (wird in der Regel mit der Eigenschaft Ersetzen durch verwendet). Wenn die Eigenschaft Ersetzen durch nicht festgelegt ist, wird das Muster aus dem Feldnamen entfernt.
Ersetzen durch Nein Nein Die Zeichenfolge, die im Feldnamen in der Tabelle ersetzt wird. Sie müssen auch das Feld Zu ersetzendes Muster konfigurieren.
Ausgabeschema Nein Nein Gibt das ausgegebene Schema an. Nur Spalten, die im Schema definiert sind, werden in den Ausgabedatensatz aufgenommen.

Best Practices

Prüfen Sie, ob für Ihre Datenbank ein spezifischeres Plug-in verfügbar ist. Wenn Sie beispielsweise eine Oracle-Datenbankquelle haben, verwenden Sie stattdessen das Batchquellen-Plug-in für Oracle-Datenbanken, da es für die Verwendung mit dem Oracle-Schema konzipiert ist.

Nächste Schritte