SDK 版本支援狀態

本頁面列出 Apache Beam SDK 和 Dataflow SDK 版本的 Dataflow 支援狀態:

如需在專案中安裝或升級 SDK 版本的操作說明,請參閱「安裝或更新 Apache Beam SDK」。

Apache Beam SDK 支援等級定義

以下是 Apache Beam SDK 的 Dataflow 支援等級:

  • 支援:Dataflow 支援 Apache Beam SDK 版本,從發布日期到淘汰日期為止。
  • 已淘汰:SDK 版本淘汰後,仍可與 Dataflow 搭配使用,但日後可能會停用。在 SDK 版本停用前,我們會通知客戶,並給予時間升級環境。如果提交工作的要求來自已淘汰的 SDK 版本,系統會顯示警告訊息。建議您將使用已淘汰 SDK 版本的環境更新至支援的版本,但已淘汰的 SDK 版本仍可與 Dataflow 搭配使用。
  • 已停用:已停用的 SDK 版本無法再與 Dataflow 搭配使用。如果提交工作要求時使用的 SDK 版本已停用,就會發生錯誤。如要搭配 Dataflow 使用 SDK,請務必將環境更新至未停用的 SDK 版本。建議您將 SDK 更新至支援的版本。SDK 版本很少會停用。在 SDK 版本停用前,我們會通知客戶,並給予時間升級環境。

上述定義不適用於從未支援的 SDK 或功能。

Apache Beam 2.x SDK

Apache Beam 是由社群發起的開放原始碼專案。Google 和 Google Cloud 是 Apache Beam 社群的一員,但我們不擁有該專案,也不控管發布程序。我們可能會代表 Dataflow 客戶,在 Apache Beam 程式碼集中提交錯誤或修補程式。我們無法視需求建立 Apache Beam 的修補程式或正式版本。如要進一步瞭解版本政策,請參閱 Apache Beam 政策頁面。

Dataflow 支援本頁所列 SDK 版本的特定 Apache Beam SDK 元件。這些元件已透過 Dataflow 進行全面測試。實驗功能不受支援。

如需異動資訊,請參閱 Apache Beam 版本資訊。

下表列出 Apache Beam 2.x SDK 的支援狀態,包括 Apache Beam Python SDK、Apache Beam Java SDK 和 Apache Beam Go SDK:

Java

SDK 版本 狀態 支援的元件 詳細資料
2.77.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2027 年 10 月 7 日淘汰。

2.76.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2027 年 8 月 31 日淘汰。

2.75.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2027 年 7 月 8 日淘汰。

已知問題:如果管道的 Cloud Storage 讀取工作負載中等或偏高,效能可能會降低。這個問題會影響 Apache Beam 2.74.0 和 2.75.0 版,並將在 2.76.0 版中修正。如要解決這個問題,請降級至 Apache Beam 2.73.0。請參閱 Apache Beam GitHub 問題 #39548。

2.74.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2027 年 6 月 2 日淘汰。

已知問題:如果管道的 Cloud Storage 讀取工作負載中等或偏高,效能可能會降低。這個問題會影響 Apache Beam 2.74.0 和 2.75.0 版,並將在 2.76.0 版中修正。如要解決這個問題,請降級至 Apache Beam 2.73.0。請參閱 Apache Beam GitHub 問題 #39548。

2.73.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2027 年 4 月 29 日淘汰。

2.72.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2027 年 3 月 30 日淘汰。

2.71.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2027 年 1 月 22 日淘汰。

2.70.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2026 年 12 月 16 日淘汰。

2.69.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

2026 年 10 月 28 日淘汰。

2.68.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

2026 年 9 月 22 日淘汰。

2.67.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2026 年 8 月 12 日淘汰。

2.66.0 支援 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

這個版本將於 2026 年 7 月 1 日淘汰。

2.65.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

2026 年 5 月 12 日淘汰。

2.64.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

將於 2026 年 3 月 31 日淘汰。

2.63.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

2026 年 2 月 18 日淘汰。

2.62.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

2026 年 1 月 21 日淘汰。

已知問題:在 Dataflow Streaming Appliance 工作中,如果鍵輸出的結果超過 180 MB,提交作業可能會失敗,並顯示 KeyCommitTooLargeException。這個錯誤會影響 2.60.x 至 2.62.x 版,修正程式將隨 2.63.0 版發布。如要解決這個問題,請降級至 Apache Beam 2.59.0、升級至 Apache Beam 2.63.0,或啟用 Streaming Engine。請參閱 Apache Beam GitHub 問題 #33588。

2.61.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

2025 年 11 月 25 日淘汰。

已知問題:在 Dataflow Streaming Appliance 工作中,如果金鑰輸出的結果超過 180 MB,提交作業可能會失敗,並顯示 KeyCommitTooLargeException。這個錯誤會影響 2.60.x 至 2.62.x 版,修正程式將隨 2.63.0 版發布。如要解決這個問題,請降級至 Apache Beam 2.59.0、升級至 Apache Beam 2.63.0,或啟用 Streaming Engine。請參閱 Apache Beam GitHub 問題 #33588。

2.60.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed

2025 年 10 月 17 日淘汰。

已知問題:在 Dataflow Streaming Appliance 工作中,如果金鑰輸出的結果超過 180 MB,提交作業可能會失敗,並顯示 KeyCommitTooLargeException。這個錯誤會影響 2.60.x 至 2.62.x 版,修正程式將隨 2.63.0 版發布。如要解決這個問題,請降級至 Apache Beam 2.59.0、升級至 Apache Beam 2.63.0,或啟用 Streaming Engine。請參閱 Apache Beam GitHub 問題 #33588。

2.59.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
2025 年 9 月 11 日淘汰。
2.58.1 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
2025 年 8 月 16 日淘汰。
2.58.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
2025 年 8 月 6 日淘汰。
2.57.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
2025 年 6 月 26 日淘汰。
2.56.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-iceberg
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
org.apache.beam:beam-sdks-java-managed
2025 年 5 月 1 日淘汰。
2.55.1 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2025 年 4 月 8 日淘汰。
2.55.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql

2025 年 3 月 25 日淘汰。

已知問題:跨語言管道中的 WriteToJson 轉換失敗,並顯示錯誤。如要解決這個問題,請升級至 Apache Beam 2.55.1。詳情請參閱問題 #30776:Beam YAML WriteToJson 失敗。

2.54.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2025 年 2 月 14 日淘汰。
2.53.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2025 年 1 月 4 日淘汰。
2.52.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 11 月 17 日淘汰。
2.51.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 10 月 12 日淘汰。
2.50.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 8 月 30 日淘汰。
2.49.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 7 月 17 日淘汰。
2.48.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 5 月 31 日淘汰。
2.47.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 5 月 10 日淘汰。
2.46.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 3 月 10 日淘汰。
2.45.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 2 月 15 日淘汰。
2.44.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2024 年 1 月 13 日淘汰。
2.43.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 11 月 17 日淘汰。
2.42.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 10 月 17 日淘汰。
2.41.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 8 月 23 日淘汰。
2.40.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 6 月 27 日淘汰。
2.39.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 5 月 25 日淘汰。
2.38.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 4 月 20 日淘汰。
2.37.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 3 月 4 日淘汰。
2.36.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2023 年 2 月 7 日淘汰。
2.35.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
2022 年 12 月 29 日淘汰。
2.34.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud 模組 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
2022 年 11 月 11 日淘汰。
2.33.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022 年 10 月 7 日淘汰。
2.32.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud org.apache.beam:beam-runners-google-cloud-dataflow-java 模組下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022 年 8 月 25 日淘汰。
2.31.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022 年 7 月 8 日淘汰。
2.30.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
2022 年 6 月 10 日淘汰。
2.29.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022 年 4 月 29 日淘汰。

已知問題:如果您使用可攜式執行工具,無論使用者 Java 版本為何,Dataflow 預設都會使用 Java 8 SDK 容器。如要解決 Java 11 的問題,您可以提供管道選項 `--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0`,藉此覆寫預設 SDK 映像檔。詳情請參閱 Apache Beam Issue Tracker。

2.28.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud org.apache.beam:beam-runners-google-cloud-dataflow-java 模組下的 I/O 連接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022 年 2 月 22 日淘汰。

2.27.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2022 年 1 月 7 日淘汰。

這個版本新增對 JDK 11 的支援。

2.26.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 12 月 11 日淘汰。

2.25.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 10 月 23 日淘汰。

2.24.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 9 月 18 日淘汰。

已知問題:如果您使用的計時器會重設,而不是設定後只觸發一次,請勿升級至 2.24.0。如果計時器在執行前觸發但重設,可能會導致浮水印保留洩漏,進而造成管道工作停滯。詳情請參閱 Apache Beam 問題追蹤工具。
2.23.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 7 月 29 日淘汰。

2.22.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 6 月 8 日淘汰。

2.21.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 5 月 27 日淘汰。

2.20.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 4 月 15 日淘汰。

2.19.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 2 月 4 日淘汰。

2.18.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 1 月 23 日淘汰。

2.17.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2021 年 1 月 6 日淘汰。

2.16.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 10 月 7 日淘汰。

2.15.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 8 月 23 日淘汰。

已知問題:
  • 使用結構定義功能 (包括 SQL 轉換) 的 Dataflow 使用者不應升級至 2.15.0,因為有已知問題。詳情請參閱 Apache Beam Issue Tracker。
2.14.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 8 月 1 日淘汰。

2.13.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 6 月 6 日淘汰。

這個版本新增對 JDK 9 和更新版本的實驗性支援。詳情請參閱 Apache Beam Issue Tracker。

2.12.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2020 年 4 月 25 日淘汰。

已知問題:
  • Dataflow 執行器的記錄設定有誤,可能導致所有記錄遺失。如要解決這個問題,請新增 slf4j-jdk14 至執行階段依附元件。
2.11.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2020 年 3 月 1 日起淘汰。

已知問題:
  • Dataflow 執行器的記錄設定有誤,可能導致所有記錄遺失。如要解決這個問題,請新增 slf4j-jdk14 至執行階段依附元件。
2.10.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2020 年 2 月 11 日起淘汰。

已知問題:
  • SDK 2.10.0 需要 gcsio 用戶端程式庫 1.9.13 版,這個版本有下列已知問題:

    如要解決這些問題,請升級至 SDK 2.11.0,或將 gcsio 用戶端程式庫版本覆寫為 1.9.16 以上版本。

  • Dataflow 執行器的記錄設定有誤,可能導致所有記錄遺失。如要解決這個問題,請新增 slf4j-jdk14 至執行階段依附元件。
2.9.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 12 月 13 日起淘汰。

已知問題:
  • 如果您啟用 Streaming Engine (Beta 版) 實驗,請勿升級至 SDK 2.9.0,因為有已知問題。如果選擇使用 SDK 2.9.0,必須一併設定 enable_conscrypt_security_provider 實驗性旗標來啟用 Conscrypt,而 Conscrypt 有已知的穩定性問題。
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.8.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 10 月 25 日起淘汰。

已知問題:
  • 管道可能會因 Conscrypt 程式庫的問題而停滯。如果您在 Stackdriver Logging 中看到錯誤,且堆疊追蹤包含 Conscrypt 相關呼叫,則可能受到這個問題影響。如要解決這個問題,請升級至 SDK 2.9.0 以上版本。
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.7.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 10 月 3 日起淘汰。

已知問題:
  • 管道可能會因 Conscrypt 程式庫的問題而停滯。如果您在 Stackdriver Logging 中看到錯誤,且堆疊追蹤包含 Conscrypt 相關呼叫,則可能受到這個問題影響。如要解決這個問題,請升級至 SDK 2.9.0 以上版本。
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並使用適當的副檔名 (例如 gzip 的 gz) 將壓縮檔案儲存在 Cloud Storage 中。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.6.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

2019 年 8 月 8 日起淘汰。

已知問題:
  • 管道可能會因 Conscrypt 程式庫的問題而停滯。如果您在 Stackdriver Logging 中看到錯誤,且堆疊追蹤包含 Conscrypt 相關呼叫,則可能受到這個問題影響。如要解決這個問題,請升級至 SDK 2.9.0 以上版本。
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.5.0 已淘汰 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 6 月 6 日起已淘汰。

已知問題:
  • 管道可能會因 Conscrypt 程式庫的問題而停滯。如果您在 Stackdriver Logging 中看到錯誤,且堆疊追蹤包含 Conscrypt 相關呼叫,則可能受到這個問題影響。如要解決這個問題,請升級至 SDK 2.9.0 以上版本。
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.4.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並使用適當的副檔名 (例如 gzip 的 gz) 將壓縮檔案儲存在 Cloud Storage 中。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.3.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並使用適當的副檔名 (例如 gzip 的 gz) 將壓縮檔案儲存在 Cloud Storage 中。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.2.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.1.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.0.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Apache Beam Java SDK 2.9.0 和較舊版本的使用者在讀取 Cloud Storage 中的檔案時,可能會碰到資料重複的情形。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。

Python

SDK 版本 狀態 支援的元件 詳細資料
2.77.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2027 年 10 月 7 日淘汰。

2.76.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2027 年 8 月 31 日淘汰。

2.75.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2027 年 7 月 8 日淘汰。

2.74.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2027 年 6 月 2 日淘汰。

2.73.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2027 年 4 月 29 日淘汰。

2.72.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2027 年 3 月 30 日淘汰。

2.71.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2027 年 1 月 22 日淘汰。

2.70.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2026 年 12 月 16 日淘汰。

2.69.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2026 年 10 月 28 日淘汰。

2.68.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2026 年 9 月 22 日淘汰。

2.67.0 支援 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

這個版本將於 2026 年 8 月 12 日淘汰。

2.66.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2026 年 10 月 1 日淘汰。

2.65.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2026 年 5 月 12 日淘汰。

2.64.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

將於 2026 年 3 月 31 日淘汰。

2.63.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2026 年 2 月 18 日淘汰。

2.62.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2026 年 1 月 21 日淘汰。

2.61.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 11 月 25 日淘汰。

2.60.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 10 月 17 日淘汰。

2.59.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 9 月 11 日淘汰。

2.58.1 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 8 月 16 日淘汰。

已知問題:如果管道直接或間接使用 GcsIO (例如透過 BigQueryIO) 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.58.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 8 月 6 日淘汰。

已知問題:如果管道直接或間接使用 GcsIO (例如透過 BigQueryIO) 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.57.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 6 月 26 日淘汰。

已知問題:如果管道直接或間接 (例如透過 BigQueryIO) 使用 GcsIO 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.56.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 5 月 1 日淘汰。

已知問題:如果管道直接或間接使用 GcsIO (例如透過 BigQueryIO) 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.55.1 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 4 月 8 日淘汰。

已知問題:使用這個 SDK 的 Python 管道有時可能會停滯。詳情請參閱 Apache Beam GitHub 問題 #30867。

已知問題:如果管道直接或間接使用 GcsIO (例如透過 BigQueryIO) 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.55.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 3 月 25 日淘汰。

已知問題:跨語言管道中的 WriteToJson 轉換失敗,並顯示錯誤。如要解決這個問題,請升級至 Apache Beam 2.55.1。詳情請參閱問題 #30776:Beam YAML WriteToJson 失敗。

已知問題:使用這個 SDK 的 Python 管道有時可能會停滯。詳情請參閱 Apache Beam GitHub 問題 #30867。

已知問題:如果管道直接或間接使用 GcsIO (例如透過 BigQueryIO) 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.54.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql、yaml
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 2 月 14 日淘汰。

已知問題:如果管道直接或間接使用 GcsIO (例如透過 BigQueryIO) 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.53.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 1 月 4 日淘汰。

已知問題:如果管道直接或間接使用 GcsIO (例如透過 BigQueryIO) 從 Cloud Storage 讀取資料,在 Apache Beam Python SDK 2.53.0 至 2.58.1 版中,可能會發生資料損毀。詳情請參閱 Apache Beam GitHub 問題 #32169。

2.52.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 11 月 17 日淘汰。

2.51.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 10 月 12 日淘汰。

2.50.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 8 月 30 日淘汰。

2.49.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 7 月 17 日淘汰。

2.48.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 5 月 31 日淘汰。

2.47.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 5 月 10 日淘汰。

2.46.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2025 年 3 月 10 日淘汰。

2.45.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 2 月 15 日淘汰。

2.44.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2024 年 1 月 13 日淘汰。

2.43.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 11 月 17 日淘汰。

2.42.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 10 月 17 日淘汰。

2.41.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 8 月 23 日淘汰。

2.40.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、ml.inference (不含 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 6 月 27 日淘汰。

2.39.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 5 月 25 日淘汰。

2.38.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 4 月 20 日淘汰。

2.37.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 3 月 4 日淘汰。

已知問題:
  • 如果使用 WriteToBigQuery,並將 ignore_unknown_columns 參數設為 true,系統會忽略參數值。這個問題已在 2.38.0 版中修正。 詳情請參閱 BEAM-14039。
2.36.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2023 年 2 月 7 日淘汰。

已知問題:
  • 如果使用 WriteToBigQuery,並將 ignore_unknown_columns 參數設為 true,系統會忽略參數值。這個問題已在 2.38.0 版中修正。 詳情請參閱 BEAM-14039。
2.35.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的連接器:ReadFromJdbc、WriteToJdbc。

2022 年 12 月 29 日淘汰。

2.34.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
apache_beam.io 模組下的檔案型來源和接收器及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 11 月 11 日淘汰。

2.33.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 10 月 7 日淘汰。

2.32.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 8 月 25 日淘汰。

2.31.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe (預先發布版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 7 月 8 日淘汰。

2.30.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe (預先發布版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 6 月 10 日淘汰。

2.29.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe (預先發布版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 4 月 29 日淘汰。

2.28.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe (預先發布版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下以檔案為基礎的來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 2 月 22 日淘汰。

2.27.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe (預先發布版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2022 年 1 月 7 日淘汰。

2.26.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、dataframe (預先發布版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2021 年 12 月 11 日淘汰。

2.25.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io 模組下的檔案型來源和接收器及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2021 年 10 月 23 日淘汰。

2.24.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io 模組下的檔案型來源和接收器及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2021 年 9 月 18 日淘汰。此外,Apache Beam SDK 2.24.0 版是最後一個支援 Python 2 和 Python 3.5 的版本。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解 Google Cloud上的 Python 2 支援,請參閱這個頁面。

2.23.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io 模組下的檔案型來源和接收器及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2021 年 7 月 29 日淘汰。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解上的 Python 2 支援 Google Cloud,請參閱這個頁面。

2.22.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:子模組 coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
apache_beam.io 模組下的檔案型來源和接收器及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器:bigquery、datastore、pubsub

2021 年 6 月 8 日淘汰。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解 Google Cloud上的 Python 2 支援,請參閱這個頁面。

2.21.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器

2021 年 5 月 27 日淘汰。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解 Google Cloud上的 Python 2 支援,請參閱這個頁面。

2.20.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器

2021 年 4 月 15 日淘汰。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解 Google Cloud上的 Python 2 支援,請參閱這個頁面。

2.19.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器

2021 年 2 月 4 日淘汰。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解 Google Cloud上的 Python 2 支援,請參閱這個頁面。

2.18.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器

2021 年 1 月 23 日淘汰。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解上的 Python 2 支援 Google Cloud,請參閱這個頁面。

2.17.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器

2021 年 1 月 6 日淘汰。

Dataflow 不再支援使用 Python 2 的管道。如要進一步瞭解 Google Cloud上的 Python 2 支援,請參閱這個頁面。

2.16.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器
2020 年 10 月 7 日淘汰。
2.15.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器
2020 年 8 月 23 日淘汰。
2.14.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器

2020 年 8 月 1 日淘汰。

已知問題:
  • 這個版本中加入的 MongoDB 來源有已知問題,可能會導致資料遺失。詳情請參閱 BEAM-7866 的相關說明。
2.13.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器
2020 年 6 月 6 日起淘汰。
2.12.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器
自 2020 年 4 月 25 日起淘汰。
2.11.0 已淘汰 apache_beam 模組下的核心 Python SDK 程式庫:coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 子模組
apache_beam.io 模組下的檔案型來源和接收器,以及相關模組:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
Google Cloud apache_beam.io.gcp 模組下的 I/O 連接器
自 2020 年 3 月 1 日起淘汰。
2.10.0 已淘汰 自 2020 年 2 月 11 日起淘汰。
2.9.0 已淘汰 2019 年 12 月 13 日起淘汰。
2.8.0 已淘汰 自 2019 年 10 月 25 日起淘汰。
2.7.0 已淘汰

自 2019 年 10 月 3 日起淘汰。

2.6.0 已淘汰 自 2019 年 8 月 8 日起淘汰。
2.5.0 已淘汰 自 2019 年 6 月 6 日起已淘汰。
2.4.0 已淘汰 2019 年 3 月 20 日起淘汰。
2.3.0 已淘汰 自 2019 年 1 月 30 日起已淘汰。
2.2.0 已淘汰 自 2018 年 12 月 2 日起已淘汰。
2.1.1
2.1.0
已淘汰 自 2018 年 8 月 23 日起已淘汰。
2.0.0 已淘汰 自 2018 年 5 月 17 日起已淘汰。

Go

SDK 版本 狀態 支援的元件 詳細資料
2.77.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2027 年 10 月 7 日淘汰。
2.76.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2027 年 8 月 31 日淘汰。
2.75.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2027 年 7 月 8 日淘汰。
2.74.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2027 年 6 月 2 日淘汰。
2.73.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2027 年 4 月 29 日淘汰。
2.72.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2027 年 3 月 30 日淘汰。
2.71.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2027 年 1 月 22 日淘汰。
2.70.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2026 年 12 月 16 日淘汰。
2.69.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2026 年 10 月 28 日淘汰。
2.68.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2026 年 9 月 22 日淘汰。
2.67.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2026 年 8 月 12 日淘汰。
2.66.0 支援 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
這個版本將於 2026 年 7 月 1 日淘汰。
2.65.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2026 年 5 月 12 日淘汰。
2.64.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
將於 2026 年 3 月 31 日淘汰。
2.63.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2026 年 2 月 18 日淘汰。
2.62.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2026 年 1 月 21 日淘汰。
2.61.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 11 月 25 日淘汰。
2.60.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 10 月 17 日淘汰。
2.59.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 9 月 11 日淘汰。
2.58.1 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 8 月 16 日淘汰。
2.58.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 8 月 6 日淘汰。
2.57.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 6 月 26 日淘汰。
2.56.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 5 月 1 日淘汰。
2.55.1 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 4 月 8 日淘汰。
2.55.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 3 月 25 日淘汰。
2.54.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 2 月 14 日淘汰。
2.53.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2025 年 1 月 4 日淘汰。
2.52.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 11 月 17 日淘汰。
2.51.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 10 月 12 日淘汰。
2.50.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 8 月 30 日淘汰。
2.49.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 7 月 17 日淘汰。
2.48.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 5 月 31 日淘汰。
2.47.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 5 月 10 日淘汰。
2.46.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 3 月 10 日淘汰。
2.45.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 2 月 15 日淘汰。
2.44.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2024 年 1 月 13 日淘汰。
2.43.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2023 年 11 月 17 日淘汰。
2.42.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2023 年 10 月 17 日淘汰。
2.41.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2023 年 8 月 23 日淘汰。
2.40.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2023 年 6 月 27 日淘汰。
2.39.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/xlang
2023 年 5 月 25 日淘汰。
2.38.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
2023 年 4 月 20 日淘汰。
2.37.0 已淘汰 下列目錄中的套件:
- Core Beam Go SDK 套件
- beam/transforms
- beam/io/textio
- beam/io/xlang
2023 年 3 月 4 日淘汰。

Dataflow 2.x SDK

下表列出 Dataflow 2.x SDK 的支援狀態,包括 Dataflow Java SDK 和 Dataflow Python SDK:

Java

如要瞭解異動資訊,請參閱 Dataflow SDK 2.x for Java 版本資訊。

SDK 版本 狀態 說明
2.5.0 已淘汰

自 2019 年 6 月 6 日起已淘汰。

已知問題:
  • 在特定情況下,Dataflow Java SDK 2.5.0 以下版本的使用者從 Cloud Storage 讀取檔案時,可能會遇到資料重複的問題。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.4.0 已停用

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Dataflow Java SDK 2.5.0 以下版本的使用者從 Cloud Storage 讀取檔案時,可能會遇到資料重複的問題。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.3.0 已停用

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Dataflow Java SDK 2.5.0 以下版本的使用者從 Cloud Storage 讀取檔案時,可能會遇到資料重複的問題。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.2.0 已停用

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Dataflow Java SDK 2.5.0 以下版本的使用者從 Cloud Storage 讀取檔案時,可能會遇到資料重複的問題。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.1.0 已停用

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Dataflow Java SDK 2.5.0 以下版本的使用者從 Cloud Storage 讀取檔案時,可能會遇到資料重複的問題。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.0.0 已停用

2020 年 8 月 12 日起停用。

由於停止支援 JSON-RPC 和全域 HTTP 批次端點,這個版本已停用。

已知問題:
  • 在特定情況下,Dataflow Java SDK 2.5.0 以下版本的使用者從 Cloud Storage 讀取檔案時,可能會遇到資料重複的問題。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
已停用

自 2018 年 2 月 28 日起已停用。

已知問題:
  • 在特定情況下,Dataflow Java SDK 2.5.0 以下版本的使用者從 Cloud Storage 讀取檔案時,可能會遇到資料重複的問題。只要符合下列所有條件,就有可能發生這類情形:
    • 您正在讀取內容編碼設為 gzip 的檔案,且檔案已由 Cloud Storage 動態解壓縮轉碼。
    • 解壓縮後的檔案大小超過 2.14 GB。
    • 輸入串流在讀取 2.14 GB 後發生錯誤 (且系統重新建立輸入串流)。
    如要解決這個問題,請不要設定 content-encoding 標頭,並將壓縮檔案儲存在 Cloud Storage 中,並加上適當的副檔名 (例如 gzip 的 gz)。如果是現有檔案,您可以使用 gcloud storage 指令更新內容編碼標頭和檔案名稱。

Python

如要瞭解異動資訊,請參閱 Python 適用的 Dataflow SDK 2.x 版本資訊。

SDK 版本 狀態 說明
2.5.0 已淘汰 自 2019 年 6 月 6 日起已淘汰。
2.4.0 已淘汰 自 2019 年 3 月 20 日起已淘汰。
2.3.0 已淘汰 自 2019 年 1 月 30 日起已淘汰。
2.2.0 已淘汰 自 2018 年 12 月 2 日起已淘汰。
2.1.1 已淘汰 自 2018 年 8 月 23 日起已淘汰。
修正 Python six 套件的相容性問題。
詳情請參閱版本資訊。
2.1.0 已淘汰 自 2018 年 8 月 23 日起已淘汰。
這個版本與 Python six 1.11.0 套件有相容性問題。
詳情請參閱版本資訊。
2.0.0 已淘汰 自 2018 年 5 月 17 日起已淘汰。
這個版本與 Python six 1.11.0 套件有相容性問題。
詳情請參閱版本資訊。
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
已停用 已自 2018 年 1 月 29 日起停用。
0.2.7 以下版本 已停用 自 2017 年 3 月 23 日起已停用。