使用「管道與連線」頁面建立資料整合工作流程
控制台中的 BigQuery「管道和連線」頁面提供 BigQuery 專屬的導覽式設定工作流程,適用於 BigQuery 資料移轉服務、Datastream 和 Pub/Sub 等服務,可簡化資料整合工作。
您可以使用「管道與連線」頁面執行下列工作:
- 載入資料。按照引導指示,找出並載入支援資料來源的資料。
- 排定資料工作。排定資料處理工作,讓系統自動執行,包括排定查詢、筆記本、資料準備和管道。
- 資料轉換:建立管道和資料準備作業,執行清理、建立資料結構和準備資料等作業,方便分析及製作報表。
- 建立資料來源連線。連線至外部資料來源、運算執行階段和 AI 服務,以便存取資料及從遠端執行作業。
建立工作後,您可以在「管道與連線」頁面集中管理及監控資產。您可以在清單檢視畫面中查看資產狀態,並透過詳細監控頁面查看各項已設定資產的作業指標,例如排定的查詢、管道、轉移作業、連線、串流和訂閱項目。
營運指標包括 BigQuery 資料移轉服務執行記錄、Pub/Sub 訂閱項目的處理量和延遲時間,以及 Datastream 管道的資料更新間隔和事件計數。
監控頁面也提供疑難排解資訊,例如 BigQuery 資料移轉服務執行作業的記錄,以及 Datastream 物件狀態。
選擇加入或退出
在試用期間,您可以選擇是否使用「管道與連線」頁面。
選擇啟用
如要選擇使用「Pipelines & Connections」頁面,請按照下列步驟操作:
前往 Google Cloud 控制台。
在 Google Cloud 控制台工具列中,按一下 「導覽選單」。
依序點選「解決方案」> 所有產品。
在「數據分析」部分,點選「BigQuery」。
BigQuery Studio 頁面隨即開啟。
如要展開導覽選單,請按一下「切換 BigQuery 導覽選單」。
在導覽選單中,按一下下列其中一個選項:
- 資料移轉
- 已排定的查詢
- 排程
前往整合式管道和連線橫幅。
按一下「啟用」。
選擇啟用後,現有的「資料移轉」、「排程」和「排定的查詢」頁面會由「管道和連線」頁面取代。
停用
如要停用統一的「管道與連線」頁面,請按照下列步驟操作:
在「管道與連線」頁面中,按一下統一管道與連線橫幅中的「停用」。
系統會開啟意見回饋對話方塊,提供停用原因的意見回饋,例如缺少功能或有錯誤。
按一下「傳送」,然後點選「關閉」。
提交表單後,導覽選單會恢復使用個別的「資料移轉」Data transfers、「排程」Scheduling和「已排定查詢時間」Scheduled queries頁面。
建立資料整合資產
如要建立資產 (例如排程查詢、資料移轉和外部連線),請按照下列步驟操作:
前往「管道與連線」頁面。
點選「建立」。
在資訊卡中點選要建立的素材資源選項:
如要使用導覽式工作流程,從其中一個支援的資料來源新增資料,請在「載入資料」資訊卡中,按一下「新增資料」。
如要排定查詢、筆記本、資料準備或管道的執行時間,請在「排定資料工作」資訊卡中按一下「排定」,然後選擇適當的選項。
如要建立轉換管道或準備資料,請在「轉換資料」資訊卡中按一下「建立」,然後選擇適當的選項。
如要建立外部資料來源的連線,請在「外部連線」資訊卡中,按一下「建立連線」。
監控資產
建立資產後,您可以查看及監控資產。
前往「管道與連線」頁面。
如要查看連線詳細資料,請按一下「連線」分頁標籤。
如要監控管道,請按一下「管道」分頁標籤。您可以在這個頁面查看管道的狀態、類型和執行記錄等詳細資料。
如要查看管道的詳細資料,請按一下「顯示名稱」欄中的連結。
後續步驟
- 瞭解如何在 BigQuery 中建立 Dataform 管道。
- 瞭解如何排程管道。
- 瞭解如何排定查詢。
- 瞭解 BigQuery 資料移轉服務移轉作業。