Dataflow SQL

Dataflow 已停止支持 Dataflow SQL。 这是一项重大变更。

  • 自 2024 年 7 月 31 日起，您将无法在Google Cloud 控制台中访问 Dataflow SQL。
  • 自 2025 年 1 月 31 日起，您将无法在 Google Cloud CLI 中使用 Dataflow SQL。

替代方案：Beam SQL

Beam SQL 可让您使用 SQL 语句查询有界限和无界限 PCollections。如果您在使用 Apache Beam 笔记本，则可以使用 IPython 自定义魔法命令 beam_sql 来加速流水线开发。

Beam SQL 提供与 Dataflow SQL 类似的功能，使用 SQL 语句查询 PCollections。

迁移

我们建议您尽快开始将 Dataflow SQL 查询迁移到 Beam SQL。

改用 Beam SQL 是一项重大更改，会影响任何 Dataflow SQL 作业或查询。您需要重新构建这些作业和查询。

进行此更改后，您将无法创建新的 Dataflow SQL 作业。不过，此更改不会影响已在运行的 Dataflow SQL 作业。

如需了解如何在 Beam SQL 中创建查询，请参阅 Beam SQL 和 beam_sql 魔法命令以及 Beam SQL 概览。