将 Cloud Storage 数据 Feed 升级到 v2 连接器框架

支持的服务:

为了提高数据注入流水线的可靠性、可伸缩性和性能,我们将 Cloud Storage 数据 Feed 升级到新的 v2 连接器框架。这个新框架使用 Google Cloud Storage Transfer Service (STS)

v2 连接器框架的优势

升级到 v2 连接器框架后,您的数据 Feed 将获得显著改进,包括:

  • 轮询效率更高:从 AWS 等来源进行轮询时,效率大幅提高。
  • 可靠性和安全性更高:实时来源凭据验证可确保您拥有安全可靠的连接。
  • 支持的身份更多:内置支持 AWS 联合身份。

迁移时间表

我们将针对以下旧版连接器停用 v1 连接器框架:Cloud Storage、Amazon S3、Amazon SQS 和 Azure Blob Storage。

请注意以下关键里程碑:

  • 2026 年 10 月 1 日 - 停止支持:v1 Feed 不再获得任何更新,仅提供尽力支持。我们强烈建议您在此日期之前进行迁移并采取行动,以便 Google 迁移您的 Feed,避免中断。
  • 2027 年 3 月 15 日 - 永久停用:旧版连接器将终止服务。在此日期之后,仍在使用 v1 连接器的任何数据 Feed 都将停止运行,并返回错误消息。

自动迁移和所需操作

为了方便您顺利过渡,我们为所有使用旧版 v1 连接器的活跃数据 Feed 提供自动迁移服务。

根据您的来源类型,您必须采取以下操作,以确保自动迁移成功:

  • Cloud Storage:按照向服务账号授予访问权限文档中的说明,向新服务帐号授予特定权限。
  • Amazon S3:如果您的环境使用 IP 许可名单,则必须将 STS IP 范围 添加到存储桶政策。按照步骤为 Amazon S3 启用 STS 访问权限
  • Amazon SQS:迁移仅支持包含来自单个 Amazon S3 存储桶的消息的 SQS 队列。如果您的队列收到来自多个存储桶的消息,请为每个存储桶创建一个单独的 Feed。验证您的 SQS 队列是否配置正确,以及 SQS 队列和 Amazon S3 存储桶的访问凭据是否相同。
  • Microsoft Azure:如果您使用防火墙或虚拟网络,请按照Azure STS 访问说明允许STS IP 范围
  • 失败的 Feed:检查您当前的 Feed,并修复因凭据不正确而失败的 Feed,以便它们能够成功迁移。

安全性和可靠性

自动迁移过程旨在防止数据丢失。迁移功能具有严格的内置防护措施。在迁移窗口的短暂时间内,预计只会出现极少量的数据重复。

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。