插件概览

借助 Cloud Data Fusion 插件,您可以在数据流水线中将数据从来源移动到接收器并进行管理。每个阶段(称为节点)都包含一个可自定义的模块,用于扩展工作流功能。在 Cloud Data Fusion 网页界面中,您可以在 Studio 页面上访问默认插件,在 Hub 中浏览其他集成,或探索所有 Cloud Data Fusion 插件。

网页界面中的插件。

插件类型

插件分为以下几类:

  • 来源
  • 转换
  • Analytics
  • 接收器
  • 条件和操作
  • 错误处理程序和提醒

来源

来源插件连接到数据库、文件或实时流,流水线从中读取数据。您可以使用网页界面为数据流水线设置来源,因此无需担心对底层连接进行编码。

转换

转换插件会在从来源注入数据后更改数据。例如,您可以克隆记录、将文件格式更改为 JSON,或使用 Javascript 插件创建自定义转换。

Analytics

Analytics 插件执行聚合,例如联接来自不同来源的数据,以及运行分析和机器学习操作。

接收器

接收器插件将数据写入资源,例如 Cloud Storage、BigQuery、Spanner、关系型数据库、文件系统和大型机。您可以使用 Cloud Data Fusion 网页界面或 REST API 查询写入接收器的数据。

条件和操作

使用条件和操作插件来安排在工作流期间执行的定时操作,这些操作不会直接操纵工作流中的数据。例如:

  • 使用 Database 插件安排在流水线结束时运行的数据库命令。
  • 使用 File Move 插件触发在 Cloud Storage 中移动文件的操作。

错误处理程序和提醒

当阶段遇到 null 值、逻辑错误或其他错误来源时,您可以使用错误处理程序插件来捕获错误。使用这些插件在转换或 Analytics 插件之后查找输出中的错误。您可以将错误写入数据库以进行分析。

后续步骤