Klaviyo 転送の概要
Klaviyo から BigQuery にデータを読み込むには、Klaviyo 用 BigQuery Data Transfer Service コネクタを使用します。BigQuery Data Transfer Service を使用すると、Klaviyo から BigQuery に最新のデータを追加する定期的な転送ジョブのスケジュールを設定できます。
Klaviyo 転送をスケジュール設定する方法については、BigQuery に Klaviyo データを読み込むをご覧ください。
制限事項
Klaviyo の増分転送には、次の制限があります。- ウォーターマーク列として選択できるのは
TIMESTAMP列のみです。 - 増分取り込みは、有効なウォーターマーク列があるアセットでのみサポートされます。
- ウォーターマーク列の値は単調に増加する必要があります。
- 増分転送では、ソーステーブルの削除オペレーションを同期できません。
- 1 つの転送構成でサポートできるのは、増分取り込みまたは完全取り込みのいずれかのみです。
- 最初の増分取り込みの実行後に、
assetリスト内のオブジェクトを更新することはできません。 - 最初の増分取り込みの実行後に、転送構成の書き込みモードを変更することはできません。
- 最初の増分取り込みの実行後に、ウォーターマーク列または主キーを変更することはできません。
- 宛先の BigQuery テーブルは、指定された主キーを使用してクラスタ化され、クラスタ化テーブルの制限が適用されます。
- 既存の転送構成を増分取り込みモードに初めて更新すると、その更新後の最初のデータ転送で、データソースから利用可能なすべてのデータが転送されます。それ以降の増分データ転送では、データソースの新しい行と更新された行のみが転送されます。
データの取り込みオプション
以降のセクションでは、Klaviyo データ転送の設定に使用するデータ取り込みオプションについて説明します。
完全転送または増分転送
Klaviyo 転送を設定するときに、転送構成で [完全] または [増分] の書き込み設定を選択することで、BigQuery へのデータの読み込み方法を指定できます。増分転送はプレビュー版でサポートされています。
完全データ転送を構成すると、データ転送のたびに Klaviyo データセットからすべてのデータが転送されます。または、増分データ転送([プレビュー](https://cloud.google.com/products#product-launch-stages))を構成して、データ転送ごとにデータセット全体を読み込むのではなく、最後のデータ転送以降に変更されたデータのみを転送することもできます。データ転送で [増分] を選択した場合は、[追加] または [Upsert] の書き込みモードを指定して、データの増分転送中に BigQuery にデータを書き込む方法を定義する必要があります。以降のセクションでは、使用可能な書き込みモードについて説明します。
[追加] 書き込みモード
追加書き込みモードでは、宛先テーブルに新しい行のみが挿入されます。このオプションでは、既存のレコードをチェックせずに転送されたデータが厳密に追加されるため、このモードでは宛先テーブルでデータが重複する可能性があります。
追加モードを選択した場合は、ウォーターマーク列を選択する必要があります。Klaviyo コネクタがソーステーブルの変更を追跡するには、ウォーターマーク列が必要です。
Klaviyo の転送では、レコードの作成時にのみ更新され、その後の更新では変更されない列(CREATED_AT 列など)を選択することをおすすめします。
[Upsert] 書き込みモード
Upsert 書き込みモードでは、主キーを確認して、宛先テーブルの行を更新するか、新しい行を挿入します。主キーを指定すると、Klaviyo コネクタは、宛先テーブルをソーステーブルと同期するために必要な変更を特定できます。データ転送中に指定された主キーが宛先 BigQuery テーブルに存在している場合、Klaviyo コネクタはソーステーブルの新しいデータでその行を更新します。データ転送中に主キーが存在していない場合、Klaviyo コネクタは新しい行を挿入します。
Upsert モードを選択する場合は、ウォーターマーク列と主キーを選択する必要があります。
- Klaviyo コネクタがソーステーブルの変更を追跡するには、ウォーターマーク列が必要です。
- 行が変更されるたびに更新されるウォーターマーク列を選択します。
UPDATED_AT列またはLAST_MODIFIED列に類似した列をおすすめします。
- 行が変更されるたびに更新されるウォーターマーク列を選択します。
主キーは、行の挿入または更新が必要かどうかを Klaviyo コネクタが判断するために必要なテーブルの 1 つ以上の列です。
テーブルのすべての行で一意の null 以外の値を含む列を選択します。システムが生成した識別子、一意の参照コード(自動増分式の ID など)、不変の時間ベースのシーケンス ID を含む列をおすすめします。
データの損失や破損を防ぐため、選択する主キー列には一意の値が必要です。選択した主キー列の一意性に疑問がある場合は、代わりに [追加] 書き込みモードを使用することをおすすめします。
データ型マッピング
次の表に、Klaviyo のデータ型と対応する BigQuery データ型のマッピングを示します。
| Klaviyo のデータ型 | BigQuery のデータ型 |
|---|---|
String |
STRING |
Text |
STRING |
Integer |
INTEGER |
Boolean |
BOOLEAN |
Date (YYYY-MM-DD HH:MM:SS) |
TIMESTAMP |
List |
ARRAY |
料金
この機能のプレビュー版では、Klaviyo データを BigQuery に転送する際に費用は発生しません。
次のステップ
- BigQuery Data Transfer Service の概要については、BigQuery Data Transfer Service とはをご覧ください。