使用“流水线和连接”页面创建数据集成工作流
您可以使用 BigQuery 的流水线和连接页面，直接在Google Cloud 控制台中管理和简化数据集成任务。本页面针对 BigQuery Data Transfer Service、Datastream 和 Pub/Sub 等服务提供了引导式、特定于 BigQuery 的配置工作流。
您可以使用流水线和连接页面执行以下任务：
- 加载数据。利用向导式体验，查找和加载来自受支持数据源的数据。
- 安排数据任务。安排数据处理任务自动运行，包括安排查询、笔记本、数据准备和流水线。
- 转换数据。创建流水线和数据准备，以执行清理、设计数据结构和准备数据等操作，以便进行分析和报告。
- 创建与数据源的连接。连接到外部数据源、计算运行时和 AI 服务，以进行数据访问和远程执行。
设置流水线和连接页面后，该页面会显示数据集成资产的状态并提供运营指标，从而集中管理和监控这些资产。
选择启用或停用
在预览版期间，您可以选择启用或停用流水线和连接页面。
选择启用
如需选择使用流水线和连接页面，请按以下步骤操作：
前往 Google Cloud 控制台。
在 Google Cloud 控制台工具栏中，点击 导航菜单。
依次点击解决方案 > 所有产品。
在分析部分，点击 BigQuery。
系统会打开 BigQuery Studio 页面。
如需控制 BigQuery 导航菜单，请执行以下操作之一：
如需展开导航菜单，请将指针悬停在
图标上，然后点击 left_panel_open 切换 BigQuery 导航菜单。如需收起导航菜单，请点击 left_panel_close 切换 BigQuery 导航菜单。
在导航菜单中，点击以下选项之一：
- 数据转移
- 计划查询
- 时间安排
前往统一的流水线和连接横幅。
点击选择启用。
选择启用后，现有的数据转移、调度和预定查询页面会被流水线和连接页面取代。
选择停用
如需选择不使用统一的流水线和连接页面，请按以下步骤操作：
在流水线和连接页面上，点击统一的流水线和连接横幅中的选择停用。
系统会打开一个反馈对话框。提供反馈，说明您选择停用该功能的原因，例如缺少功能或存在 bug。
点击发送，然后点击关闭。
提交表单后，导航菜单会恢复为使用单独的数据传输、安排和预定查询页面。
创建数据集成资产
如需创建预定查询、数据传输和外部连接等资源，请执行以下操作：
前往流水线和连接页面。
点击创建。
对于要创建的素材资源，请点击卡片中的相应选项：
如需使用引导式工作流程添加来自某个受支持数据源的数据，请在加载数据卡片中点击添加数据。
如需安排查询、笔记本、数据准备或流水线，请在安排数据任务卡片中点击安排，然后选择相应选项。
如需创建转换流水线或准备数据，请在转换数据卡片中点击创建，然后选择相应选项。
如需创建与外部数据源的连接，请在外部连接卡片中点击创建连接。
监控资产
创建资产后，您可以查看和监控这些资产。流水线和连接页面中提供的运营指标包括 BigQuery Data Transfer Service 运行历史记录、Pub/Sub 订阅的吞吐量和延迟时间，以及 Datastream 流水线的数据新鲜度和事件计数。您还可以找到问题排查信息，例如 BigQuery Data Transfer Service 运行的日志和 Datastream 对象状态。
前往流水线和连接页面。
如需查看有关连接的详细信息，请点击连接标签页。
如需监控流水线，请点击流水线标签页。您可以使用此页面查看流水线的状态、类型和运行历史记录等详细信息。
如需查看流水线的详细信息，请点击显示名称列中的链接。
后续步骤
- 了解如何在 BigQuery 中创建 Dataform 流水线。
- 了解如何安排流水线。
- 了解如何安排查询。
- 了解 BigQuery Data Transfer Service 转移。