借助 Cloud Data Fusion 插件,您可以在数据流水线中将数据从来源移动到接收器并进行管理。每个阶段(称为节点)都包含一个可自定义的模块,用于扩展工作流功能。在 Cloud Data Fusion 网页界面中,您可以在 Studio 页面上访问默认插件,在 Hub 中浏览其他集成,或探索所有 Cloud Data Fusion 插件。
插件类型
插件分为以下几类:
- 来源
- 转换
- Analytics
- 接收器
- 条件和操作
- 错误处理程序和提醒
来源
来源插件连接到数据库、文件或实时流,流水线从中读取数据。您可以使用网页界面为数据流水线设置来源,因此无需担心对底层连接进行编码。
转换
转换插件会在从来源注入数据后更改数据。例如,您可以克隆记录、将文件格式更改为 JSON,或使用 Javascript 插件创建自定义转换。
Analytics
Analytics 插件执行聚合,例如联接来自不同来源的数据,以及运行分析和机器学习操作。
接收器
接收器插件将数据写入资源,例如 Cloud Storage、BigQuery、Spanner、关系型数据库、文件系统和大型机。您可以使用 Cloud Data Fusion 网页界面或 REST API 查询写入接收器的数据。
条件和操作
使用条件和操作插件来安排在工作流期间执行的定时操作,这些操作不会直接操纵工作流中的数据。例如:
- 使用 Database 插件安排在流水线结束时运行的数据库命令。
- 使用 File Move 插件触发在 Cloud Storage 中移动文件的操作。
错误处理程序和提醒
当阶段遇到 null 值、逻辑错误或其他错误来源时,您可以使用错误处理程序插件来捕获错误。使用这些插件在转换或 Analytics 插件之后查找输出中的错误。您可以将错误写入数据库以进行分析。