使用「管道與連線」頁面建立資料整合工作流程

控制台中的 BigQuery「管道和連線」頁面提供 BigQuery 專屬的導覽式設定工作流程,適用於 BigQuery 資料移轉服務、Datastream 和 Pub/Sub 等服務,可簡化資料整合工作。

您可以使用「管道與連線」頁面執行下列工作:

  • 載入資料。按照引導指示,找出並載入支援資料來源的資料。
  • 排定資料工作。排定資料處理工作,讓系統自動執行,包括排定查詢、筆記本、資料準備和管道。
  • 資料轉換:建立管道和資料準備作業,執行清理、建立資料結構和準備資料等作業,方便分析及製作報表。
  • 建立資料來源連線。連線至外部資料來源、運算執行階段和 AI 服務,以便存取資料及從遠端執行作業。

建立工作後,您可以在「管道與連線」頁面集中管理及監控資產。您可以在清單檢視畫面中查看資產狀態,並透過詳細監控頁面查看各項已設定資產的作業指標,例如排定的查詢、管道、轉移作業、連線、串流和訂閱項目。

營運指標包括 BigQuery 資料移轉服務執行記錄、Pub/Sub 訂閱項目的處理量和延遲時間,以及 Datastream 管道的資料更新間隔和事件計數。

監控頁面也提供疑難排解資訊,例如 BigQuery 資料移轉服務執行作業的記錄,以及 Datastream 物件狀態。

選擇加入或退出

在試用期間,您可以選擇是否使用「管道與連線」頁面。

選擇啟用

如要選擇使用「Pipelines & Connections」頁面,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台。

    前往控制台

  2. 在 Google Cloud 控制台工具列中,按一下 「導覽選單」

  3. 依序點選「解決方案」> 所有產品

  4. 在「數據分析」部分,點選「BigQuery」

    BigQuery Studio 頁面隨即開啟。

  5. 如要展開導覽選單,請按一下「切換 BigQuery 導覽選單」

    BigQuery 導覽選單。

  6. 在導覽選單中,按一下下列其中一個選項:

    • 資料移轉
    • 已排定的查詢
    • 排程
  7. 前往整合式管道和連線橫幅。

    使用者介面中的「整合式管道和連線」橫幅

  8. 按一下「啟用」

    選擇啟用後,現有的「資料移轉」、「排程」和「排定的查詢」頁面會由「管道和連線」頁面取代。

停用

如要停用統一的「管道與連線」頁面,請按照下列步驟操作:

  1. 在「管道與連線」頁面中,按一下統一管道與連線橫幅中的「停用」

  2. 系統會開啟意見回饋對話方塊,提供停用原因的意見回饋,例如缺少功能或有錯誤。

  3. 按一下「傳送」,然後點選「關閉」

    提交表單後,導覽選單會恢復使用個別的「資料移轉」Data transfers、「排程」Scheduling和「已排定查詢時間」Scheduled queries頁面。

建立資料整合資產

如要建立資產 (例如排程查詢、資料移轉和外部連線),請按照下列步驟操作:

  1. 前往「管道與連線」頁面。

    前往「管道與連線」

  2. 點選「建立」

  3. 在資訊卡中點選要建立的素材資源選項:

    1. 如要使用導覽式工作流程,從其中一個支援的資料來源新增資料,請在「載入資料」資訊卡中,按一下「新增資料」

    2. 如要排定查詢、筆記本、資料準備或管道的執行時間,請在「排定資料工作」資訊卡中按一下「排定」,然後選擇適當的選項。

    3. 如要建立轉換管道或準備資料,請在「轉換資料」資訊卡中按一下「建立」,然後選擇適當的選項。

    4. 如要建立外部資料來源的連線,請在「外部連線」資訊卡中,按一下「建立連線」

監控資產

建立資產後,您可以查看及監控資產。

  1. 前往「管道與連線」頁面。

    前往「管道與連線」

  2. 如要查看連線詳細資料,請按一下「連線」分頁標籤。

  3. 如要監控管道,請按一下「管道」分頁標籤。您可以在這個頁面查看管道的狀態、類型和執行記錄等詳細資料。

  4. 如要查看管道的詳細資料,請按一下「顯示名稱」欄中的連結。

後續步驟