使用“流水线和连接”页面创建数据集成工作流
控制台中的 BigQuery 流水线和连接 页面为 BigQuery Data Transfer Service、Datastream 和 Pub/Sub 等服务提供引导式、特定于 BigQuery 的配置工作流，从而简化您的数据集成任务。
您可以使用流水线和连接 页面执行以下任务：
- 加载数据 。利用引导式体验，查找和加载来自受支持数据源的数据。
- 安排数据任务 。安排数据处理任务自动运行，包括计划查询、笔记本、数据准备和流水线。
- 转换数据 。创建流水线和数据准备，以执行清理、结构化和准备数据等操作，以便进行分析和报告。
- 创建与数据源的连接 。连接到外部数据源、计算运行时和 AI 服务，以进行数据访问权限和远程执行。
创建任务后，您可以在流水线和连接 页面上集中管理和监控资产。您可以在列表视图中查看资产的状态，还可以使用详细的监控页面查看每个已配置资产（例如计划查询、流水线、转移作业、连接、流和订阅）的运营指标。
运营指标包括 BigQuery Data Transfer Service 运行历史记录、Pub/Sub 订阅的吞吐量和延迟时间，以及 Datastream 流水线的数据新鲜度和事件计数。
监控页面还包含问题排查信息，例如 BigQuery Data Transfer Service 运行的日志和 Datastream 对象状态。
选择启用或停用
在预览期间，您可以选择启用或停用流水线和连接 页面。
选择启用
如需选择启用流水线和连接 页面，请按以下步骤操作：
前往 Google Cloud 控制台。
在 Google Cloud 控制台工具栏中，点击 导航菜单。
点击解决方案 > 所有商品。
在分析 部分，点击 BigQuery 。
系统会打开 BigQuery Studio 页面。
如需展开导航菜单，请点击 切换 BigQuery 导航菜单。
在导航菜单中，点击以下选项之一：
- 数据转移作业
- 计划查询
- 时间安排
前往统一的流水线和连接横幅。
点击选择启用 。
选择启用后，现有的数据转移作业、时间安排和 计划查询页面会被流水线和连接 页面取代。
选择停用
如需选择停用统一的流水线和连接 页面，请按以下步骤操作：
在流水线和连接 页面上，点击统一的流水线和连接横幅中的选择停用 。
系统会打开一个反馈对话框。请提供反馈，说明您选择停用的原因，例如缺少功能或存在 bug。
依次点击发送 和关闭。
提交表单后，导航菜单会恢复为使用 单独的数据传输、时间安排和计划查询 页面。
创建数据集成资产
如需创建计划查询、数据转移作业和外部连接等资产，请执行以下操作：
前往流水线和连接 页面。
点击创建 。
对于要创建的资产，请点击卡片中的相应选项：
如需使用引导式工作流从受支持的数据源之一添加数据，请在加载数据 卡片中点击添加数据 。
如需安排查询、笔记本、数据准备或流水线，请在 安排数据任务 卡片中点击安排 ，然后选择 相应的选项。
如需创建转换流水线或数据准备，请在 转换数据 卡片中点击创建 ，然后选择 相应的选项。
如需创建与外部数据源的连接，请在外部连接 卡片中点击创建连接 。
监控资产
创建资产后，您可以查看和监控它们。
前往流水线和连接 页面。
如需查看有关连接的详细信息，请点击连接 标签页。
如需监控流水线，请点击流水线 标签页。您可以使用此页面查看流水线的状态、类型和运行历史记录等详细信息。
如需查看流水线的详细信息，请在显示名称 列中点击相应链接。
后续步骤
- 了解如何在 BigQuery 中创建 Dataform 流水线。
- 了解如何安排流水线。
- 了解如何安排查询。
- 了解 BigQuery Data Transfer Service 转移作业。