Stripe-Daten in BigQuery laden

Mit dem Stripe-Connector und dem BigQuery Data Transfer Service können Sie Daten von Stripe in BigQuery laden. Mit dem Stripe-Connector können Sie wiederkehrende Übertragungsjobs planen, mit denen Ihre neuesten Daten von Stripe in BigQuery übertragen werden.

Beschränkungen

Für Stripe-Datenübertragungen gelten die folgenden Einschränkungen:

  • Bei einer Stripe-Datenübertragung werden Währungen gemäß den Stripe-Untereinheiten geladen. Weitere Informationen finden Sie unter Untereinheiten in API-Beträgen.
  • Der Stripe-Connector überträgt nur vorab generierte Berichte für jedes Stripe-Konto. Der Stripe-Connector generiert keine neuen Berichte auf Grundlage neuer Stripe-Daten.
    • Wenn Sie aktuelle Berichte übertragen möchten, generieren Sie die Berichte manuell im Stripe-Dashboard, bevor Sie die Stripe-Datenübertragung starten.
    • Weitere Informationen finden Sie unter Stripe-Berichte.
  • Der Stripe-Connector unterstützt keine Webhook-basierten Ereignisse, Echtzeitaktualisierungen oder Stripe Sigma.
  • Bei Stripe-Datenübertragungen aus Stripe-Regionen, die sich in der Vorschau befinden, können Probleme auftreten:
    • Filteroptionen sind in Stripe-Vorschau-Regionen eingeschränkt oder nicht verfügbar.
    • Bedingte Datenübertragungen und Abfragen werden in Stripe-Vorschau-Regionen nicht unterstützt.
    • Beim Übertragen von Daten aus Stripe-Vorschau-Regionen kann es zu langen Laufzeiten bei der Datenübertragung kommen.
  • Der Stripe-Connector unterstützt einige Objekte mit dem Filter StartDate.
    • Das erforderliche Format für den Filter StartDate ist YYYY-MM-DD. Wenn kein Startdatum angegeben ist, verwendet der Connector standardmäßig das Datum drei Jahre vor dem aktuellen Datum. Wenn ein Datum vor dem 1. Januar 2011 angegeben wird, verwendet der Connector automatisch den 1. Januar 2011.
    • Eine Liste der unterstützten Objekte finden Sie unter Objekte mit Unterstützung für den Filter StartDate.
  • Eine einzelne Übertragungskonfiguration kann jeweils nur eine Datenübertragung unterstützen. Wenn eine zweite Datenübertragung geplant ist, bevor die erste abgeschlossen ist, wird nur die erste Datenübertragung abgeschlossen. Alle anderen Datenübertragungen, die sich mit der ersten Übertragung überschneiden, werden übersprungen.
    • Um übersprungene Übertragungen innerhalb einer einzelnen Übertragungskonfiguration zu vermeiden, empfehlen wir, die Zeit zwischen großen Datenübertragungen zu verlängern, indem Sie die Wiederholungshäufigkeit konfigurieren.

Hinweis

In den folgenden Abschnitten werden die Schritte beschrieben, die Sie vor dem Erstellen einer Stripe-Datenübertragung ausführen müssen.

Voraussetzungen für Stripe

  • Sie benötigen ein Stripe-Entwicklerkonto, um eine Stripe-Datenübertragung zu autorisieren. Informationen zum Registrieren eines Stripe-Kontos finden Sie unter Stripe-Registrierung.
  • Konfigurieren Sie Ihre Stripe-Plattformanwendung so:
    1. Rufen Sie im Stripe-Dashboard den Bereich Entwickler auf.
    2. Konfigurieren Sie unter Connect Ihre Plattform so, dass Standardkonten und Express-Konten unterstützt werden.
  • Zum Erstellen einer Stripe-Datenübertragung benötigen Sie die folgenden Informationen:
    • Notieren Sie sich Ihre Stripe-Konto-ID. Weitere Informationen finden Sie unter Konto erstellen.
    • Notieren Sie sich Ihren geheimen Schlüssel oder eingeschränkten Schlüssel. Weitere Informationen finden Sie unter API-Schlüssel.
  • Wenn Sie Daten von verknüpften Konten übertragen möchten, muss Ihre Plattform für Stripe Connect konfiguriert sein und Zugriff auf die erforderlichen Kontofunktionen haben. Weitere Informationen zu Stripe Connect finden Sie unter Plattformen und Marktplätze mit Stripe Connect.

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Übertragung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer Übertragung erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen einer Übertragung erforderlich:

  • bigquery.transfers.update für den Nutzer
  • bigquery.datasets.get für das Ziel-Dataset
  • bigquery.datasets.update für das Ziel-Dataset

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Voraussetzungen für BigQuery

Stripe-Kontotypen

Der Stripe-Connector unterstützt sowohl Stripe-Plattformkonten als auch verknüpfte Stripe-Konten. Weitere Informationen finden Sie unter Connect-Kontotypen.

Mit Plattformkonten verbinden

Wenn Sie eine Stripe-Datenübertragung nur von einem Plattformkonto ausführen möchten, gehen Sie beim Einrichten der Übertragungskonfiguration so vor:

  • Geben Sie im Feld Konto-ID die Plattformkonto-ID für das Plattformkonto ein.
  • Geben Sie im Feld Secret/API-Schlüssel den geheimen oder eingeschränkten Schlüssel für das Plattformkonto ein.
  • Wählen Sie für SyncAllConnectedAccounts die Option False aus.

Wenn Sie eine Stripe-Datenübertragung für mehrere Konten ausführen möchten, z. B. für ein Plattformkonto, das mit verknüpften Konten verknüpft ist, gehen Sie beim Einrichten der Übertragungskonfiguration so vor:

  • Geben Sie im Feld Konto-ID die Plattformkonto-ID für das Plattformkonto ein.
  • Geben Sie im Feld Secret/API-Schlüssel den geheimen oder eingeschränkten Schlüssel für das Plattformkonto ein.
  • Wählen Sie für SyncAllConnectedAccounts die Option True aus.

Mit verknüpften Konten verbinden

Verknüpfte Konten sind Stripe-Konten, die über Stripe Connect mit Stripe verknüpft sind.

Wenn Sie eine Stripe-Datenübertragung von einem verknüpften Konto ausführen möchten, gehen Sie beim Einrichten der Übertragungskonfiguration so vor:

  • Geben Sie im Feld Konto-ID die Plattformkonto-ID für das verknüpfte Konto ein.
  • Geben Sie im Feld Secret/API-Schlüssel den geheimen oder eingeschränkten Schlüssel für das Plattformkonto ein, mit dem das verknüpfte Konto verbunden ist.
  • Wählen Sie für SyncAllConnectedAccounts die Option False aus.

Stripe-Datenübertragung einrichten

Wenn Sie Stripe-Daten in BigQuery hinzufügen möchten, richten Sie eine Übertragungskonfiguration mit einer der folgenden Optionen ein:

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Datenübertragungen“ auf.

    Zu „Datenübertragungen”

  2. Klicken Sie auf Übertragung erstellen.

  3. Wählen Sie im Abschnitt Quelltyp für Quelle die Option Stripe aus.

  4. Führen Sie im Abschnitt Details zur Datenquelle folgende Schritte aus:

    • Geben Sie unter Plattform-/verknüpfte Konto-ID die Stripe-Konto-ID ein. Weitere Informationen finden Sie unter Voraussetzungen für Stripe.
    • Geben Sie unter Geheimer Stripe-Schlüssel den API-Schlüssel für das Stripe-Konto ein. Weitere Informationen finden Sie unter Voraussetzungen für Stripe.
    • Geben Sie unter Startdatum ein Datum im Format YYYY-MM-DD ein. Bei der Datenübertragung werden Stripe-Daten ab diesem Datum geladen.
    • Wählen Sie Alle verknüpften Konten synchronisieren aus, um alle verknüpften Konten zu synchronisieren.
    • Geben Sie unter Zu übertragende Stripe-Objekte die Namen der zu übertragenden Stripe-Objekte ein oder klicken Sie auf Durchsuchen und wählen Sie die Objekte aus, die Sie übertragen möchten.

  5. Wählen Sie im Abschnitt Zieleinstellungen für Dataset das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben.

  6. Geben Sie im Abschnitt Konfigurationsname für Übertragung für Anzeigename einen Namen für die Datenübertragung ein.

  7. Führen Sie im Abschnitt Zeitplanoptionen folgende Schritte aus:

    • Wählen Sie in der Liste Wiederholungshäufigkeit aus, wie oft diese Datenübertragung ausgeführt werden soll. Wenn Sie eine benutzerdefinierte Wiederholungshäufigkeit angeben möchten, wählen Sie Benutzerdefiniert aus. Wenn Sie On-Demand auswählen, wird diese Übertragung ausgeführt, wenn Sie die Übertragung manuell auslösen.
    • Wählen Sie gegebenenfalls Jetzt starten oder Zu festgelegter Zeit starten aus und geben Sie ein Startdatum und eine Laufzeit an.

  8. Optional: Gehen Sie im Abschnitt Benachrichtigungsoptionen so vor:

    • Klicken Sie zum Aktivieren von E-Mail-Benachrichtigungen auf den Ein/Aus-Button E-Mail-Benachrichtigung. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E-Mail-Benachrichtigung, wenn ein Übertragungsvorgang fehlschlägt.
    • Klicken Sie auf den Ein/Aus-Button Pub/Sub-Benachrichtigungen, um Pub/Sub-Benachrichtigungen über die Ausführung von Übertragungen notifications für diese Übertragung zu aktivieren. Sie können Ihren Themennamen auswählen oder auf Thema erstellen klicken, um eines zu erstellen.

  9. Klicken Sie auf Speichern.

bq

Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an.

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Wobei:

  • PROJECT_ID (optional): Ihre Google Cloud Projekt-ID. Wenn --project_id nicht bereitgestellt wird, um ein bestimmtes Projekt anzugeben, wird das Standardprojekt verwendet.
  • DATA_SOURCE. Die Datenquelle – stripe.
  • DISPLAY_NAME: Der Anzeigename für die Datenübertragungs konfiguration. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
  • DATASET: Das Ziel-Dataset für die Übertragungskonfiguration.

  • PARAMETERS: die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}'. Im Folgenden finden Sie die Parameter für eine Stripe-Datenübertragung:

    • assets: Eine Liste der Stripe-Objekte, die in diese Übertragung aufgenommen werden sollen.
    • connector.accountId: Die Stripe-Konto-ID.
    • connector.secretKey: Der API-Schlüssel für das Stripe-Konto.
    • connector.syncAllConnectedAccounts: Geben Sie true an, um alle verknüpften Konten zu synchronisieren.
    • connector.startDate: Geben Sie ein Datum im Format YYYY-MM-DD ein. Bei der Datenübertragung werden Stripe-Daten ab diesem Datum geladen.

Mit dem folgenden Befehl wird beispielsweise eine Stripe-Datenübertragung im Standardprojekt mit allen erforderlichen Parametern erstellt:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=stripe \
      --display_name='My Transfer' \
      --params= ' {
  "assets" : [ "Customers" , "Accounts", "BalanceSummaryReport"] ,
  "connector.accountId" : "acct_000000000000",
  "connector.secretKey" : "sk_test_000000000",
  "connector.syncAllConnectedAccounts" : "true",
  "connector.startDate": "2025-05-20"
  }'

API

Verwenden Sie die projects.locations.transferConfigs.create Methode und geben Sie eine Instanz der TransferConfig Ressource an.

Wenn Sie die Übertragungskonfiguration speichern, löst der Stripe-Connector automatisch eine Übertragung gemäß Ihrer Zeitplanoption aus. Bei jeder Übertragung überträgt der Stripe-Connector alle verfügbaren Daten von Stripe in BigQuery.

Wenn Sie eine Datenübertragung außerhalb des regulären Zeitplans manuell ausführen möchten, können Sie einen Backfill-Vorgang starten.

Datentypzuordnung

In der folgenden Tabelle werden Stripe-Datentypen den entsprechenden BigQuery-Datentypen zugeordnet.

Stripe-Datentyp BigQuery-Datentyp Hinweise
String STRING
Dictionary STRING Wenn ein verschachteltes Objekt in BigQuery geladen wird, wird es in ein flaches Objekt konvertiert. Dieses flache Objekt wird dann als einzelner Literalstring in der Tabelle gespeichert.
Integer INT64
Double DOUBLE
Float FLOAT
Decimal BIGNUMERIC
BigInt (long) BIGNUMERIC
Boolean BOOL
Datetime TIMESTAMP
Unix timestamp TIMESTAMP

Objekte mit Unterstützung für den Filter StartDate

Die folgenden Stripe-Objekte unterstützen den Filter StartDate, mit dem Sie zeitbasierte Daten laden können:

  • Konten
  • ApplicationFees
  • BalanceTransactions
  • Karteninhaber
  • Gebühren
  • Gutscheine
  • Kunden
  • Einsprüche
  • EarlyFraudWarnings
  • Ereignisse
  • FileLinks
  • Dateien
  • InvoiceItems
  • Rechnungen
  • IssuingCards
  • IssuingDisputes
  • PaymentIntent
  • Auszahlungen
  • Tarife
  • Preise
  • Produkte
  • PromotionCodes
  • Erstattungen
  • Rezensionen
  • ShippingRates
  • Abos
  • TaxRates
  • TopUps
  • Übertragungen
  • ValueListItems
  • ValueLists

Fehler bei der Übertragungseinrichtung beheben

Wenn Sie Probleme beim Einrichten der Datenübertragung haben, finden Sie weitere Informationen unter Stripe-Übertragungsprobleme.

Preise

Während sich dieses Feature in der Vorschau befindet, fallen keine Kosten für die Übertragung von Stripe-Daten in BigQuery an, während sich dieses Feature in der Vorschaubefindet.

Nächste Schritte