BigQuery 資料移轉服務簡介
BigQuery 資料移轉服務可讓您自動執行排定的代管資料移轉作業,將資料移轉至 BigQuery。設定資料移轉作業後,BigQuery 資料移轉服務會定期自動將資料載入 BigQuery。您也可以主動執行資料補充作業,以填補任何中斷或缺漏、複製資料集,以及執行排定的查詢。您無法使用 BigQuery 資料移轉服務將資料從 BigQuery 移轉出去。
如要設定及管理移轉作業,可以使用 Google Cloud 控制台、bq 指令列工具或 BigQuery 資料移轉服務 API。「Pipelines & Connections」(管道與連線) 頁面也提供簡化的工作流程 (預先發布版),可用於建立移轉作業。如要接收服務更新,請訂閱 BigQuery DTS 公告群組。
支援的資料來源
BigQuery 資料移轉服務支援從下列資料來源載入資料:
| 類別 | 資料來源 |
|---|---|
| 雲端儲存空間 | Amazon Simple Storage Service (Amazon S3) |
| 雲端儲存空間 | Azure Blob 儲存體 |
| 雲端儲存空間 | Cloud Storage |
| 資料庫和資料倉儲 | Amazon Redshift |
| 資料庫和資料倉儲 | Apache Hive metastore |
| 資料庫和資料倉儲 | Microsoft SQL Server (預先發布版) |
| 資料庫和資料倉儲 | MySQL |
| 資料庫和資料倉儲 | Oracle |
| 資料庫和資料倉儲 | PostgreSQL |
| 資料庫和資料倉儲 | Snowflake |
| 資料庫和資料倉儲 | Teradata |
| Google 服務 | Campaign Manager |
| Google 服務 | 購物比較服務 (CSS) 中心 (預先發布版) |
| Google 服務 | Display & Video 360 |
| Google 服務 | Google Ad Manager |
| Google 服務 | Google Ads |
| Google 服務 | Google Analytics 4 |
| Google 服務 | Google Merchant Center (預先發布版) |
| Google 服務 | Google Play |
| Google 服務 | Search Ads 360 |
| Google 服務 | YouTube 頻道 |
| Google 服務 | YouTube 內容擁有者 |
| 行銷平台 | Facebook 廣告 |
| 行銷平台 | HubSpot (預先發布版) |
| 行銷平台 | Klaviyo (預先發布版) |
| 行銷平台 | Mailchimp (預先發布版) |
| 付款平台 | PayPal (預先發布版) |
| 付款平台 | Shopify (預先發布版) |
| 付款平台 | Stripe (預先發布版) |
| SaaS 平台 | Salesforce |
| SaaS 平台 | Salesforce Marketing Cloud |
| SaaS 平台 | ServiceNow |
資料傳送服務等級目標注意事項
資料傳送服務等級目標適用於使用 BigQuery 資料移轉服務,從 Google Cloud內來源自動排定的資料移轉作業。
如果資料移轉作業涉及第三方或非Google Cloud 來源,這些來源的服務中斷可能會影響 BigQuery 資料移轉服務的效能。因此,資料傳送服務等級目標不適用於從非Google Cloud 來源移轉 BigQuery 資料移轉服務資料。
支援的地區
與 BigQuery 相同,BigQuery 資料移轉服務也是多區域資源,並提供許多額外的單一區域。
建立目的地資料集來儲存 BigQuery 資料移轉服務移轉的資料時,您要指定 BigQuery 資料集的地區。設定移轉作業時,移轉設定本身會設為與目的地資料集相同的位置。BigQuery 資料移轉服務會在與目的地資料集相同的位置處理及暫存資料。
BigQuery 資料移轉服務支援從任何資料儲存區域,將資料移轉至目的地資料集所在的任何位置。
如要進一步瞭解 BigQuery 資料移轉服務的移轉作業和區域相容性,請參閱「資料集位置和移轉作業」。如要瞭解 BigQuery 支援的區域,請參閱「資料集位置」。
使用預留運算單元移轉資料
只有在專案、資料夾或組織指派給具有下列任一工作類型的預留項目時,BigQuery 資料移轉服務觸發的工作才會使用預留項目運算單元:
- 使用
QUERY查詢工作 - 使用
PIPELINE載入工作
定價
如要瞭解 BigQuery 資料移轉服務的定價,請參閱「定價」頁面。
資料移轉至 BigQuery 後,適用標準 BigQuery 儲存空間和查詢定價。
配額
如要瞭解 BigQuery 資料移轉服務配額,請參閱「配額與限制」頁面。
排解移轉設定問題
如要瞭解如何解決 BigQuery 資料移轉服務的問題,請參閱「排解移轉設定問題」。
後續步驟
- 如要瞭解如何建立移轉作業,請參閱資料來源的說明文件。