本页介绍了在 Cloud Data Fusion 中使用 Salesforce 批量来源时提高性能的最佳实践。
使用 PK 分块提升性能
主键分块会将大型数据集拆分成较小的数据集或分块。
在 Salesforce Batch Source 插件中启用主键分块具有以下优势:
- 它可以提高性能,尤其是对于大型数据集
- 减少服务器的负载
- 提高可伸缩性
如需使用主键分块,请按以下步骤操作:
- 前往 Cloud Data Fusion 网页界面,然后在 Studio 页面上打开您的数据流水线。
- 可选:如果您尚未在流水线中添加 Salesforce 节点,请添加一个:
- 在来源菜单中,点击 Salesforce。Salesforce 节点会显示在您的流水线中。如果您在 Studio 页面上没有看到 Salesforce 来源,请从 Cloud Data Fusion Hub 部署 Salesforce 插件。
- 如需配置该来源,请前往 Salesforce 节点,然后点击属性。
- 开启启用 PK 分块。
- 在分块大小字段中,输入每个分块中的记录数。默认值为
100000
条记录。最多250000
条记录。 - 点击验证。
使用 SObject 查询过滤条件或 SOQL 查询
如需减少 Salesforce 中的 API 调用次数,请使用 SObject 查询过滤条件或 SOQL 查询检索记录。
SObject 查询过滤条件:在 Salesforce 插件属性的 SObject 名称字段中配置过滤条件。如需了解详情,请参阅配置插件。
SOQL 查询:在 Salesforce 插件属性的 SOQL 查询字段中配置查询。如需了解详情,请参阅 Salesforce 来源的 SOQL 查询。
后续步骤
- 了解如何在 Cloud Data Fusion 中配置 Salesforce 批量来源。
- 完整学习 Salesforce 插件教程。