Cloud Data Fusion 简介：控制台

本页面介绍了 Cloud Data Fusion：控制台，也称为控制平面。 它是一组 API 操作 和一个 Google Cloud 控制台界面， 可让您管理 Cloud Data Fusion 实例。例如，您可以使用控制台创建、删除、重启或更新实例。

准备工作

Cloud Data Fusion：控制台概览

以下各部分介绍了控制台的重要方面。

实例

实例是 Cloud Data Fusion 的唯一部署。 如需开始使用 Cloud Data Fusion，请在 Google Cloud 控制台中创建实例。 您可以在单个 Google Cloud 项目中创建多个 Cloud Data Fusion 实例。您可以为每个 实例指定一个 Google Cloud 区域。每个实例都是一个唯一且独立的 Cloud Data Fusion 部署，其中包含一组服务，用于处理流水线生命周期管理、编排、协调和元数据管理。这些服务 使用租户项目中的 长时间运行资源运行。

创建实例时，请考虑以下选项。

版本

您可以在以下任一 Cloud Data Fusion 版本中创建实例： 开发者版、基本版或企业版。 请根据以下条件选择版本：

  • 费用
  • 流水线执行的并发限制
  • 基于角色的访问权限控制 (RBAC) 的可用性

这些版本适用于以下使用场景：

Cloud Data Fusion 版本 使用场景
开发者版 适用于开发、测试或小规模集成
基本版 适用于有中等需求的生产环境
企业版 适用于具有 RBAC 的大规模关键任务数据流水线

公开实例或专用实例

根据您的要求，确定是否需要公开实例或专用实例。Cloud Data Fusion 中专用实例和公开实例之间的主要区别在于网络连接和安全性：

Cloud Data Fusion 实例类型 行为
公开实例
  • 网络连接：使用公共 IP 地址连接到互联网。
  • 数据访问：直接访问公共互联网上的数据源。
如需了解详情，请参阅创建公开实例。
专用实例
  • 网络连接：在虚拟私有云 (VPC) 网络中使用专用 IP 地址 。
  • 数据访问权限：需要预先配置的连接才能访问数据源。支持以下连接：
    • 通过 VPN 或 Cloud Interconnect 连接的本地数据源。
    • 在同一 VPC 中以私密方式运行的其他 Google Cloud 服务。

授权和服务帐号

Cloud Data Fusion 通常有两个服务账号：

设计时服务帐号
此 Google 代管式服务账号称为 Cloud Data Fusion API Service Agent，用于在 Cloud Data Fusion 的租户项目中访问客户项目资源。
执行时服务帐号
这是 Cloud Data Fusion 创建的默认 Compute Engine 服务帐号，用于部署访问其他 Google Cloud 资源的作业。默认情况下，它会挂接到 Managed Service for Apache Spark 集群虚拟机，以使 Cloud Data Fusion 在流水线运行期间能够访问 Managed Service for Apache Spark 资源。

如需了解详情，请参阅 Cloud Data Fusion 中的服务账号。

日志记录和监控

Cloud Logging 和 Cloud Monitoring 对于深入了解 Cloud Data Fusion 流水线的运行状况和性能至关重要。您只能在创建 Cloud Data Fusion 实例时启用日志记录和监控。

启用日志记录和监控后，您可以在 控制台的 Google Cloud 日志查看器页面中查看 Cloud Data Fusion 流水线日志。

Monitoring 为 Cloud Data Fusion 提供内置信息中心。您还可以创建自定义信息中心来监控特定指标。

与 Knowledge Catalog 的沿袭集成

Cloud Data Fusion 提供与 Knowledge Catalog 的集成，以实现沿袭。如需了解详情，请参阅在 Knowledge Catalog 中查看沿袭。

加密

借助客户管理的加密密钥 (CMEK)，您可以使用自己能够通过 Cloud Key Management Service 控制的密钥对静态数据进行加密。CMEK 让用户可以控制写入到租户项目中的内部资源的数据以及由 Cloud Data Fusion 流水线写入的数据。 Google Cloud 如需了解详情，请参阅 客户管理的数据加密。

使用基于角色的访问权限控制 (RBAC) 管理权限

Cloud Data Fusion 可让您使用 Identity and Access Management (IAM) 进行控制。

如需为 Cloud Data Fusion 中执行的操作（Studio 操作）设置精细权限，请使用 RBAC。如需了解详情，请参阅 RBAC 概览。

版本升级

Cloud Data Fusion 有多个版本。您可以在 Cloud Data Fusion 控制台中将实例升级到更高版本。如需了解详情，请参阅 Cloud Data Fusion 中的版本控制。

后续步骤