Microsoft SQL Server-Daten in BigQuery laden

Hinweis: Wenn Sie Support benötigen oder Feedback zu dieser Funktion geben möchten, wenden Sie sich an dts-preview-support@google.com.

Sie können Daten aus Microsoft SQL Server in BigQuery laden. Verwenden Sie dazu den Connector BigQuery Data Transfer Service für Microsoft SQL Server. Der Microsoft SQL Server-Connector unterstützt das Laden von Daten aus Microsoft SQL Server-Instanzen, die in lokalen Umgebungen und bei anderen Cloud-Anbietern wie Cloud SQL, Amazon Web Services (AWS) oder Microsoft Azure gehostet werden. Mit dem BigQuery Data Transfer Service können Sie On-Demand- und wiederkehrende Datenübertragungsjobs erstellen, um Daten aus Ihrer Microsoft SQL Server-Instanz in BigQuery zu übertragen.

Beschränkungen

Für Microsoft SQL Server-Datenübertragungsjobs gelten die folgenden Einschränkungen:

  • Die Anzahl gleichzeitiger Verbindungen zu einer Microsoft SQL Server-Datenbank ist begrenzt. Daher ist auch die Anzahl der gleichzeitigen Übertragungen zu einer einzelnen Microsoft SQL Server-Datenbank begrenzt. Achten Sie darauf, dass die Anzahl der gleichzeitigen Übertragungsjobs geringer ist als die maximale Anzahl gleichzeitiger Verbindungen, die von der Microsoft SQL Server-Datenbank unterstützt werden.
  • Einige Microsoft SQL Server-Datentypen werden möglicherweise dem Typ STRING in BigQuery zugeordnet, um Datenverlust zu vermeiden. Bestimmte numerische Typen in Microsoft SQL Server, für die keine Genauigkeit und Skalierung definiert sind, werden beispielsweise möglicherweise STRING in BigQuery zugeordnet. Weitere Informationen finden Sie unter Datentypzuordnung.

Einschränkungen bei inkrementellen Übertragungen

Inkrementelle Microsoft SQL Server-Übertragungen unterliegen den folgenden Einschränkungen:

  • Sie können nur TIMESTAMP Spalten als Wasserzeichenspalten auswählen.
  • Die inkrementelle Aufnahme wird nur für Assets mit gültigen Wasserzeichenspalten unterstützt.
  • Die Werte in einer Wasserzeichenspalte müssen monoton ansteigen.
  • Bei inkrementellen Übertragungen können keine Löschvorgänge in der Quelltabelle synchronisiert werden.
  • Eine einzelne Übertragungskonfiguration kann nur die inkrementelle oder die vollständige Aufnahme unterstützen.
  • Sie können Objekte in der Liste asset nach dem ersten inkrementellen Import nicht mehr aktualisieren.
  • Sie können den Schreibmodus in einer Übertragungskonfiguration nach dem ersten inkrementellen Erfassungslauf nicht mehr ändern.
  • Nach dem ersten inkrementellen Import können Sie die Spalte für das Wasserzeichen oder den Primärschlüssel nicht mehr ändern.
  • Die BigQuery-Zieltabelle wird mit dem angegebenen Primärschlüssel geclustert und unterliegt den Beschränkungen für geclusterte Tabellen.
  • Wenn Sie eine vorhandene Übertragungskonfiguration zum ersten Mal in den inkrementellen Aufnahmemodus ändern, werden bei der ersten Datenübertragung nach dieser Änderung alle verfügbaren Daten aus Ihrer Datenquelle übertragen. Bei allen nachfolgenden inkrementellen Datenübertragungen werden nur die neuen und aktualisierten Zeilen aus Ihrer Datenquelle übertragen.
  • Wir empfehlen, Indexe für die Wasserzeichenspalte zu erstellen. Bei diesem Connector werden Wasserzeichenspalten für Filter bei inkrementellen Übertragungen verwendet. Das Indexieren dieser Spalten kann die Leistung verbessern.
  • Bei einer inkrementellen Übertragung müssen Sie die aktualisierte Datentypzuordnung verwenden.

Optionen für die Datenaufnahme

Im folgenden Abschnitt finden Sie Informationen zu den Optionen für die Datenerfassung, wenn Sie eine Microsoft SQL Server-Datenübertragung einrichten.

TLS-Konfiguration

Der Microsoft SQL Server-Connector unterstützt die Konfiguration für Transport Layer Security (TLS), um Ihre Datenübertragungen in BigQuery zu verschlüsseln. Der Microsoft SQL Server-Connector unterstützt die folgenden TLS-Konfigurationen:

  • Der Modus Daten verschlüsseln und Zertifizierungsstelle und Hostname bestätigen. In diesem Modus wird eine vollständige Validierung des Servers mit TLS über das TCPS-Protokoll durchgeführt. Sie verschlüsselt alle übertragenen Daten und prüft, ob das Zertifikat des Datenbankservers von einer vertrauenswürdigen Zertifizierungsstelle signiert wurde. In diesem Modus wird auch geprüft, ob der Hostname, zu dem Sie eine Verbindung herstellen, genau mit dem allgemeinen Namen (Common Name, CN) oder einem alternativen Antragstellernamen (Subject Alternative Name, SAN) im Zertifikat des Servers übereinstimmt. In diesem Modus wird verhindert, dass Angreifer ein gültiges Zertifikat für eine andere Domain verwenden, um sich als Ihr Datenbankserver auszugeben.

    Wenn Ihr Hostname nicht mit dem CN oder SAN des Zertifikats übereinstimmt, schlägt die Verbindung fehl. Sie müssen eine DNS-Auflösung konfigurieren, die dem Zertifikat entspricht, oder einen anderen Sicherheitsmodus verwenden. Verwenden Sie diesen Modus, um PITM-Angriffe (Person-in-the-Middle) zu verhindern.

  • Der Modus Daten verschlüsseln und nur Zertifizierungsstelle bestätigen. In diesem Modus werden alle Daten mit TLS über das TCPS-Protokoll verschlüsselt und es wird geprüft, ob das Zertifikat des Servers von einer Zertifizierungsstelle signiert ist, der der Client vertraut. In diesem Modus wird der Hostname des Servers jedoch nicht überprüft. In diesem Modus wird eine Verbindung hergestellt, solange das Zertifikat gültig ist und von einer vertrauenswürdigen Zertifizierungsstelle ausgestellt wurde. Dabei spielt es keine Rolle, ob der Hostname im Zertifikat mit dem Hostnamen übereinstimmt, zu dem Sie eine Verbindung herstellen.

    Verwenden Sie diesen Modus, wenn Sie sicherstellen möchten, dass Sie eine Verbindung zu einem Server herstellen, dessen Zertifikat von einer vertrauenswürdigen Zertifizierungsstelle signiert ist, der Hostname jedoch nicht überprüft werden kann oder Sie keine Kontrolle über die Hostname-Konfiguration haben.

  • Der Modus Nur Verschlüsselung. In diesem Modus werden alle Daten verschlüsselt, die zwischen dem Client und dem Server übertragen werden. Es wird keine Zertifikats- oder Hostname-Validierung durchgeführt.

    Dieser Modus bietet ein gewisses Maß an Sicherheit, da Daten während der Übertragung geschützt werden. Er kann jedoch anfällig für PITM-Angriffe sein.

    Verwenden Sie diesen Modus, wenn Sie sicherstellen müssen, dass alle Daten verschlüsselt sind, die Identität des Servers aber nicht überprüfen können oder möchten. Wir empfehlen, diesen Modus zu verwenden, wenn Sie mit privaten VPCs arbeiten.

  • Der Modus Keine Verschlüsselung oder Bestätigung. In diesem Modus werden keine Daten verschlüsselt und es werden keine Zertifikats- oder Hostnamenprüfungen durchgeführt. Alle Daten werden als Nur-Text gesendet.

    Wir empfehlen, diesen Modus nicht in einer Umgebung zu verwenden, in der vertrauliche Daten verarbeitet werden. Wir empfehlen, diesen Modus nur zu Testzwecken in einem isolierten Netzwerk zu verwenden, in dem Sicherheit kein Problem darstellt.

Zertifikat für vertrauenswürdigen Server (PEM)

Wenn Sie den Modus Daten verschlüsseln und CA und Hostname bestätigen oder Daten verschlüsseln und CA bestätigen verwenden, können Sie auch ein oder mehrere PEM-codierte Zertifikate angeben. Diese Zertifikate sind in einigen Szenarien erforderlich, in denen der BigQuery Data Transfer Service die Identität Ihres Datenbankservers während der TLS-Verbindung bestätigen muss:

  • Wenn Sie ein Zertifikat verwenden, das von einer privaten Zertifizierungsstelle in Ihrer Organisation signiert wurde, oder ein selbst signiertes Zertifikat, müssen Sie die vollständige Zertifikatskette oder das einzelne selbst signierte Zertifikat angeben. Dies ist für Zertifikate erforderlich, die von internen Zertifizierungsstellen verwalteter Cloud-Anbieterdienste wie Amazon Relational Database Service (RDS) ausgestellt werden.
  • Wenn das Zertifikat Ihres Datenbankservers von einer öffentlichen Zertifizierungsstelle signiert wurde (z. B. Let's Encrypt, DigiCert oder GlobalSign), müssen Sie kein Zertifikat angeben. Die Stammzertifikate für diese öffentlichen Zertifizierungsstellen sind vorinstalliert und werden vom BigQuery Data Transfer Service als vertrauenswürdig eingestuft.

Sie können PEM-codierte Zertifikate im Feld Trusted PEM Certificate (Vertrauenswürdiges PEM-Zertifikat) in der Übertragungskonfiguration angeben. Dabei gelten die folgenden Anforderungen:

  • Das Zertifikat muss eine gültige PEM-codierte Zertifikatskette sein.
  • Das Zertifikat muss vollständig korrekt sein. Fehlende Zertifikate in der Kette oder falsche Inhalte führen dazu, dass die TLS-Verbindung fehlschlägt.
  • Für ein einzelnes Zertifikat können Sie ein einzelnes, selbst signiertes Zertifikat vom Datenbankserver bereitstellen.
  • Für eine vollständige Zertifikatskette, die von einer privaten Zertifizierungsstelle ausgestellt wurde, müssen Sie die vollständige Vertrauenskette angeben. Dazu gehören das Zertifikat des Datenbankservers sowie alle Zwischen- und Stammzertifikate der Zertifizierungsstelle.

Vollständige oder inkrementelle Übertragungen

Sie können angeben, wie Daten in BigQuery geladen werden. Wählen Sie dazu beim Einrichten einer Microsoft SQL Server-Übertragung in der Übertragungskonfiguration entweder die Schreibeinstellung Vollständig oder Inkrementell aus. Inkrementelle Übertragungen werden in der Vorschau unterstützt.

Sie können eine vollständige Datenübertragung konfigurieren, um alle Daten aus Ihren Microsoft SQL Server-Datasets bei jeder Datenübertragung zu übertragen.

Alternativ können Sie eine inkrementelle Datenübertragung (Vorabversion) konfigurieren, um nur Daten zu übertragen, die sich seit der letzten Datenübertragung geändert haben. So müssen Sie nicht bei jeder Datenübertragung das gesamte Dataset laden. Wenn Sie für die Datenübertragung Inkrementell auswählen, müssen Sie entweder den Schreibmodus Anhängen oder Upsert angeben, um festzulegen, wie Daten während einer inkrementellen Datenübertragung in BigQuery geschrieben werden. In den folgenden Abschnitten werden die verfügbaren Schreibmodi beschrieben.

Anhängemodus

Im Anhängen-Schreibmodus werden nur neue Zeilen in die Zieltabelle eingefügt. Bei dieser Option werden übertragene Daten nur angehängt, ohne dass nach vorhandenen Datensätzen gesucht wird. Daher kann es in der Zieltabelle zu Datenduplizierungen kommen.

Wenn Sie den Modus „Append“ auswählen, müssen Sie eine Watermark-Spalte auswählen. Für den Microsoft SQL Server-Connector ist eine Wasserzeichenspalte erforderlich, um Änderungen in der Quelltabelle zu verfolgen.

Für Microsoft SQL Server-Übertragungen empfehlen wir, eine Spalte auszuwählen, die nur beim Erstellen des Datensatzes aktualisiert wird und sich bei nachfolgenden Aktualisierungen nicht ändert. Zum Beispiel die Spalte CREATED_AT.

Upsert-Schreibmodus

Im Upsert-Schreibmodus wird entweder eine Zeile aktualisiert oder eine neue Zeile in die Zieltabelle eingefügt, indem nach einem Primärschlüssel gesucht wird. Sie können einen Primärschlüssel angeben, damit der Microsoft SQL Server-Connector ermitteln kann, welche Änderungen erforderlich sind, um die Zieltabelle mit der Quelltabelle auf dem neuesten Stand zu halten. Wenn der angegebene Primärschlüssel während einer Datenübertragung in der BigQuery-Zieltabelle vorhanden ist, aktualisiert der Microsoft SQL Server-Connector diese Zeile mit neuen Daten aus der Quelltabelle. Wenn bei einer Datenübertragung kein Primärschlüssel vorhanden ist, fügt der Microsoft SQL Server-Connector eine neue Zeile ein.

Wenn Sie den Upsert-Modus auswählen, müssen Sie eine Watermark-Spalte und einen Primärschlüssel auswählen:

  • Für den Microsoft SQL Server-Connector ist eine Wasserzeichenspalte erforderlich, um Änderungen in der Quelltabelle zu verfolgen.
    • Wählen Sie eine Wasserzeichenspalte aus, die jedes Mal aktualisiert wird, wenn eine Zeile geändert wird. Wir empfehlen Spalten, die der Spalte UPDATED_AT oder LAST_MODIFIED ähneln.

  • Der Primärschlüssel kann aus einer oder mehreren Spalten in Ihrer Tabelle bestehen, die für den Microsoft SQL Server-Connector erforderlich sind, um zu ermitteln, ob eine Zeile eingefügt oder aktualisiert werden muss.

    Wählen Sie Spalten mit Nicht-Null-Werten aus, die in allen Zeilen der Tabelle eindeutig sind. Wir empfehlen Spalten mit systemgenerierten Kennungen, eindeutigen Referenzcodes (z. B. automatisch inkrementierenden IDs) oder unveränderlichen zeitbasierten Sequenz-IDs.

    Um potenziellen Datenverlust oder Datenbeschädigung zu vermeiden, müssen die von Ihnen ausgewählten Primärschlüsselspalten eindeutige Werte enthalten. Wenn Sie Zweifel an der Eindeutigkeit der ausgewählten Primärschlüsselspalte haben, empfehlen wir, stattdessen den Schreibmodus „Append“ zu verwenden.

Inkrementelles Aufnahmeverhalten

Wenn Sie Änderungen am Tabellenschema in Ihrer Datenquelle vornehmen, werden inkrementelle Datenübertragungen aus diesen Tabellen in BigQuery auf folgende Weise berücksichtigt:

Änderungen an der Datenquelle Inkrementelles Aufnahmeverhalten
Neue Spalte hinzufügen Der BigQuery-Zieltabelle wird eine neue Spalte hinzugefügt. Alle vorherigen Datensätze für diese Spalte haben Nullwerte.
Spalte löschen Die gelöschte Spalte verbleibt in der BigQuery-Zieltabelle. Neue Einträge in dieser gelöschten Spalte werden mit Nullwerten gefüllt.
Datentyp einer Spalte ändern Der Connector unterstützt nur Datentypkonvertierungen, die von der ALTER COLUMN-DDL-Anweisung unterstützt werden. Bei allen anderen Datentypkonvertierungen schlägt die Datenübertragung fehl.

Wenn Probleme auftreten, empfehlen wir, eine neue Übertragungskonfiguration zu erstellen.
Spalte umbenennen Die ursprüngliche Spalte bleibt in der BigQuery-Zieltabelle unverändert, während der Zieltabelle eine neue Spalte mit dem aktualisierten Namen hinzugefügt wird.

Hinweis

Bevor Sie eine Microsoft SQL Server-Datenübertragung planen können, müssen Sie die folgenden Voraussetzungen erfüllen.

Voraussetzungen für Microsoft SQL Server

Sie müssen ein Nutzerkonto in der Microsoft SQL Server-Datenbank erstellt haben. Weitere Informationen finden Sie unter Nutzer mit Anmeldedaten erstellen.

Voraussetzungen für BigQuery

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Microsoft SQL Server-Datenübertragung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer Microsoft SQL Server-Datenübertragung erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen einer Microsoft SQL Server-Datenübertragung erforderlich:

  • bigquery.transfers.update
  • bigquery.datasets.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Netzwerkkonfiguration

Sie müssen bestimmte Netzwerkkonfigurationen einrichten, wenn für die Microsoft SQL Server-Datenbankverbindung keine öffentliche IP-Adresse verfügbar ist. Weitere Informationen finden Sie in den folgenden Abschnitten:

Microsoft SQL Server-Datenübertragung einrichten

Wählen Sie eine der folgenden Optionen aus:

Console

  1. Rufen Sie die Seite Datenübertragungen auf.

    Zu „Datenübertragungen”

  2. Klicken Sie auf Übertragung erstellen.

  3. Wählen Sie im Abschnitt Quelltyp als Quelle die Option Microsoft SQL Server aus.

  4. Führen Sie im Abschnitt Details zur Datenquelle folgende Schritte aus:

    • Wählen Sie unter Netzwerkanhang einen vorhandenen Netzwerkanhang aus oder klicken Sie auf Netzwerkanhang erstellen.
    • Geben Sie unter Host den Hostnamen oder die IP-Adresse der Microsoft SQL Server-Datenbank ein.
    • Geben Sie als Portnummer die Portnummer für die Microsoft SQL Server-Datenbank ein.
    • Geben Sie unter Datenbankname den Namen der Microsoft SQL Server-Datenbank ein.
    • Geben Sie für Nutzername den Nutzernamen des Microsoft SQL Server-Nutzers ein, der die Verbindung zur Microsoft SQL Server-Datenbank herstellt.
    • Geben Sie für Kennwort das Passwort des Microsoft SQL Server-Nutzers ein, der die Verbindung zur Microsoft SQL Server-Datenbank herstellt.
    • Wählen Sie für TLS-Modus eine Option aus dem Menü aus. Weitere Informationen zu TLS-Modi finden Sie unter TLS-Konfiguration.
    • Geben Sie für Trusted PEM Certificate (Zertifikat für vertrauenswürdigen PEM) das öffentliche Zertifikat der Zertifizierungsstelle ein, die das TLS-Zertifikat des Datenbankservers ausgestellt hat. Weitere Informationen finden Sie unter Zertifikat für vertrauenswürdigen Serverzertifikat (PEM).
    • Wählen Sie für Legacy-Zuordnung aktivieren true (Standard) aus, um die Legacy-Datentypzuordnung zu verwenden. Wählen Sie false aus, um die aktualisierte Datentypzuordnung zu verwenden. Wenn Sie eine inkrementelle Übertragung vornehmen, muss dieser Wert false sein. Weitere Informationen zu den Aktualisierungen der Datentypzuordnung finden Sie unter 16. März 2027. Datenbankserver.
    • Wählen Sie für Aufnahmetyp die Option Vollständig oder Inkrementell aus.
    • Klicken Sie unter Zu übertragende Microsoft SQL Server-Objekte auf die Microsoft SQL Server-Tabelle oder geben Sie die Namen der für die Übertragung erforderlichen Tabellen manuell ein.

  5. Wählen Sie im Abschnitt Zieleinstellungen für Dataset das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben, oder klicken Sie auf Neues Dataset erstellen, um ein Dataset zu erstellen, das als Ziel-Dataset verwendet werden soll.

  6. Geben Sie im Abschnitt Konfigurationsname für Übertragung für Anzeigename einen Namen für die Übertragung ein. Der Name kann ein beliebiger Wert sein, anhand dessen Sie die Übertragung identifizieren können, falls Sie sie später ändern müssen.

  7. Führen Sie im Abschnitt Zeitplanoptionen folgende Schritte aus:

    • Wählen Sie eine Wiederholungshäufigkeit aus. Wenn Sie die Option Stunden, Tage (Standard), Wochen oder Monate auswählen, müssen Sie auch eine Häufigkeit angeben. Sie können auch die Option Benutzerdefiniert auswählen, um eine genauere Wiederholungshäufigkeit festzulegen. Wenn Sie die Option On-Demand auswählen, wird diese Datenübertragung nur ausgeführt, wenn Sie die Übertragung manuell auslösen.
    • Wählen Sie gegebenenfalls die Option Jetzt starten oder Zu festgelegter Zeit starten aus und geben Sie ein Startdatum und eine Laufzeit an.

  8. Optional: Gehen Sie im Abschnitt Benachrichtigungsoptionen so vor:

    • Klicken Sie zum Aktivieren von E‑Mail-Benachrichtigungen auf den Ein/Aus-Button E‑Mail-Benachrichtigungen. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E‑Mail-Benachrichtigung, wenn ein Übertragungsvorgang fehlschlägt.
    • Klicken Sie auf den Ein/Aus-Button Pub/Sub-Benachrichtigungen, um Pub/Sub-Ausführungsbenachrichtigungen für Ihre Übertragung zu konfigurieren. Sie können den Namen für das Thema auswählen oder auf Thema erstellen klicken, um eines zu erstellen.

  9. Optional: Wählen Sie im Abschnitt Erweiterte Optionen einen Verschlüsselungstyp für diese Übertragung aus. Sie können entweder einen Google-owned and Google-managed encryption keyoder einen vom Kunden verwalteten Cloud Key Management Service-Schlüssel auswählen. Weitere Informationen zu Verschlüsselungsschlüsseln finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK).

  10. Klicken Sie auf Speichern.

bq

Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an:

bq mk \
    --transfer_config \
    --project_id=PROJECT_ID \
    --data_source=DATA_SOURCE \
    --display_name=DISPLAY_NAME \
    --target_dataset=DATASET \
    --params='PARAMETERS'

Ersetzen Sie Folgendes:

  • PROJECT_ID (optional): Ihre Google Cloud Projekt-ID. Wenn das Flag --project_id nicht bereitgestellt wird, um ein bestimmtes Projekt anzugeben, wird das Standardprojekt verwendet.
  • DATA_SOURCE: Die Datenquelle, die sqlserver ist.
  • DISPLAY_NAME: Der Anzeigename für die Datenübertragungskonfiguration. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
  • DATASET: Das Ziel-Dataset für die Datenübertragungskonfiguration.

  • PARAMETERS: die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}'. Im Folgenden finden Sie die Parameter für eine Microsoft SQL Server-Übertragung:

    • connector.networkAttachment (optional): Name des Netzwerkanhangs, der eine Verbindung zur Microsoft SQL Server-Datenbank herstellen soll.
    • connector.database: der Name der Microsoft SQL Server-Datenbank.
    • connector.endpoint.host: der Hostname oder die IP-Adresse der Datenbank.
    • connector.endpoint.port: die Portnummer der Datenbank.
    • connector.authentication.username: Der Nutzername des Datenbanknutzers.
    • connector.authentication.password: Das Passwort des Datenbanknutzers.
    • connector.legacyMapping: Auf true (Standard) festgelegt, um die alte Datentypzuordnung zu verwenden. Legen Sie false fest, um die aktualisierte Datentypzuordnung zu verwenden. Wenn Sie eine inkrementelle Übertragung vornehmen, muss dieser Wert false sein. Weitere Informationen zu den Aktualisierungen der Datentypzuordnung finden Sie unter 16. März 2027.
    • connector.tls.mode: Geben Sie eine TLS-Konfiguration an, die für diese Übertragung verwendet werden soll:
      • ENCRYPT_VERIFY_CA_AND_HOST zum Verschlüsseln von Daten und zum Überprüfen von Zertifizierungsstelle und Hostname
      • ENCRYPT_VERIFY_CA zum Verschlüsseln von Daten und zum Überprüfen der Zertifizierungsstelle
      • ENCRYPT_VERIFY_NONE nur für die Datenverschlüsselung
      • DISABLE für keine Verschlüsselung oder Bestätigung
    • connector.tls.trustedServerCertificate: (optional) Geben Sie ein oder mehrere PEM-codierte Zertifikate an. Nur erforderlich, wenn der Wert von connector.tls.mode ENCRYPT_VERIFY_CA_AND_HOST oder ENCRYPT_VERIFY_CA ist.
    • ingestionType: Geben Sie entweder FULL oder INCREMENTAL an. Inkrementelle Übertragungen werden in der Vorschau unterstützt. Weitere Informationen finden Sie unter Vollständige oder inkrementelle Übertragungen.
    • writeMode: Geben Sie entweder WRITE_MODE_APPEND oder WRITE_MODE_UPSERT an.
    • watermarkColumns: Spalten in Ihrer Tabelle als Wasserzeichenspalten angeben. Dieses Feld ist für inkrementelle Übertragungen erforderlich.
    • primaryKeys: Spalten in Ihrer Tabelle als Primärschlüssel angeben. Dieses Feld ist für inkrementelle Übertragungen erforderlich.
    • assets: Eine Liste der Namen der Microsoft SQL Server-Tabellen, die im Rahmen der Übertragung aus der Microsoft SQL Server-Datenbank übertragen werden sollen.

Mit dem folgenden Befehl wird beispielsweise ein Microsoft SQL Server-Transfer namens My Transfer erstellt:

bq mk \
    --transfer_config
    --target_dataset=mydataset
    --data_source=sqlserver
    --display_name='My Transfer'
    --params='{"assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":"1520",
        "connector.networkAttachment":"projects/dev-project1/regions/us-central1/networkattachments/na1",
        "ingestionType":"incremental",
        "writeMode":"WRITE_MODE_APPEND",
        "watermarkColumns":["createdAt","createdAt"],
        "primaryKeys":[['dep_id'], ['report_by','report_title']],
        "connector.tls.mode": "ENCRYPT_VERIFY_CA_AND_HOST",
        "connector.tls.trustedServerCertificate": "PEM-encoded certificate"}'

Wenn Sie bei einer inkrementellen Übertragung mehrere Assets angeben, entsprechen die Werte der Felder watermarkColumns und primaryKeys der Position der Werte im Feld assets. Im folgenden Beispiel entspricht dep_id der Tabelle DB1/DEPARTMENT, während report_by und report_title der Tabelle DB1/EMPLOYEES entsprechen.

      "primaryKeys":[['dep_id'], ['report_by','report_title']],
      "assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],

Wenn Sie die Übertragungskonfiguration speichern, wird mit dem Microsoft SQL Server-Connector automatisch ein Übertragungsvorgang gemäß Ihrer Zeitplanoption ausgelöst. Bei jeder Übertragung werden mit dem Microsoft SQL Server-Connector alle verfügbaren Daten aus Microsoft SQL Server in BigQuery übertragen.

Wenn Sie eine Datenübertragung manuell außerhalb des regulären Zeitplans ausführen möchten, können Sie einen Backfill-Vorgang starten.

Datentypzuordnung

In der folgenden Tabelle werden Microsoft SQL Server-Datentypen den entsprechenden BigQuery-Datentypen zugeordnet:

Microsoft SQL Server-Datentyp BigQuery-Datentyp Aktualisierter BigQuery-Datentyp
tinyint INTEGER
smallint INTEGER
int INTEGER
bigint BIGNUMERIC
bit BOOLEAN
decimal BIGNUMERIC
numeric NUMERIC
money BIGNUMERIC
smallmoney BIGNUMERIC
float FLOAT
real FLOAT
date DATE
time TIME
datetime2 TIMESTAMP DATETIME
datetimeoffset TIMESTAMP
datetime TIMESTAMP DATETIME
smalldatetime TIMESTAMP DATETIME
char STRING
varchar STRING
text STRING
nchar STRING
nvarchar STRING
ntext STRING
binary BYTES
varbinary BYTES
image BYTES
geography STRING
geometry STRING
hierarchyid BYTES
rowversion BYTES
sql_variant BYTES
uniqueidentifier STRING
xml STRING
json STRING
vector STRING

Die Datentypen json und vector werden nur in Azure unterstützt.

Der JSON-Datentyp wird in Azure SQL-Datenbanken und verwalteten Azure SQL-Instanzen unterstützt, die mit der Update-Richtlinie „Immer aktuell“ konfiguriert sind. Der JSON-Datentyp wird in verwalteten Azure SQL-Instanzen, die mit der Microsoft SQL Server 2022-Aktualisierungsrichtlinie konfiguriert sind, nicht unterstützt.

In Microsoft SQL Server wird JSON als NVARCHAR(MAX) und nicht als JSON-Typ gespeichert. Wir empfehlen, CHECK (ISJSON(json_col) = 1) für die Validierung und JSON_VALUE() für Abfragen zu verwenden.

Microsoft SQL Server unterstützt keine Vektoren für den Datentyp vector. Wir empfehlen, Vektoren als JSON-Arrays in NVARCHAR(MAX) zu speichern und JSON_VALUE() für die Extraktion zu verwenden. Die Ähnlichkeit sollte manuell mit FLOAT berechnet werden.

Fehlerbehebung

Informationen zur Fehlerbehebung bei Datenübertragungen finden Sie unter Microsoft SQL Server-Übertragungsprobleme.

Preise

Während sich dieses Feature in der Vorschau befindet, fallen keine Kosten für die Übertragung von Microsoft SQL Server-Daten in BigQuery an.

Nächste Schritte