Dataflow 用途

Dataflow 的設計宗旨是支援大規模的串流和批次管道。Dataflow 以開放原始碼的 Apache Beam 架構為基礎。

本頁面提供教學課程和用途範例的連結，協助您快速上手。

關於 Dataflow 關於 Apache Beam

資料遷移

本教學課程說明如何執行 Dataflow 範本，從 Managed Service for Apache Kafka 讀取資料，並將記錄寫入 BigQuery 資料表。
本教學課程說明如何執行 Dataflow 範本，從 Pub/Sub 讀取以 JSON 編碼的訊息，並將這些訊息寫入 BigQuery 資料表。

Dataflow ML

這本筆記本說明如何在 Apache Beam 管道中使用機器學習模型，並使用 RunInference 轉換。
這本筆記本說明如何使用 vLLM 和 GPU 執行機器學習推論。vLLM 是用於 LLM 推論和服務的程式庫。

其他資源

常見 Dataflow 用途的程式碼範例和技術參考指南連結。
在本教學課程中，您將建立管道，轉換來自 Pub/Sub 的電子商務資料，並將資料輸出至 BigQuery 和 Bigtable。
您可以在單一管道中執行高度平行工作負載，進而提升效率，並簡化工作流程管理。