探索 Dataflow ML 筆記本，將機器學習整合至 Apache Beam 管道。這些筆記本提供實用範例和指引，說明常見的機器學習工作流程。
請參閱下列資源：
- 預先處理機器學習模型資料：包括縮放資料、計算詞彙，以及使用
MLTransform準備資料等工作。 - 使用各種模型和架構執行推論作業：搭配 PyTorch、TensorFlow、scikit-learn、Hugging Face 模型、Gemma 模型和 Gemini Enterprise Agent Platform 使用
RunInference轉換，包括搭配 vLLM 在 GPU 上使用。 - 生成及管理嵌入：使用 Agent Platform 或 Hugging Face 建立文字嵌入，並將其擷取至 AlloyDB 和 BigQuery 等資料庫，以進行向量搜尋。
- 導入進階機器學習管道模式：包括在執行中的管道中自動重新整理模型、使用多個模型、建構集成模型，以及使用 BigQuery、Bigtable 和 Vertex AI 特徵儲存庫擴充資料。
- 將機器學習技術用於特定用途：例如使用 Gemma 偵測異常狀況，以及進行情緒分析和摘要。
所有教學課程
|
Dataflow 和 MLTransform 核心概念
|
使用 Apache Beam DataFrames API 進行前處理 示範如何使用 Apache Beam DataFrames API 執行常見的資料探索和預先處理步驟。 |
查看筆記本 |
|
Dataflow 和 MLTransform 核心概念
|
使用 MLTransform 預先處理資料 簡要介紹如何使用 MLTransform 預先處理機器學習工作流程的資料。 |
查看筆記本 |
|
data enrichment 與嵌入
|
使用 Apache Beam 和 AlloyDB 擷取向量嵌入 說明如何使用 Apache Beam 和 Dataflow 生成資料的嵌入，並將其擷取至 AlloyDB，以進行可擴充的資料處理作業。 |
查看筆記本 |
|
data enrichment 與嵌入
|
使用 Apache Beam 和 BigQuery 充實資料 說明如何使用 Apache Beam 擴充轉換和 BigQuery 擴充資料。 |
查看筆記本 |
|
data enrichment 與嵌入
|
使用 Apache Beam 和 BigQuery 擷取嵌入並進行向量搜尋 示範如何使用 Apache Beam RAG 套件生成嵌入、將嵌入擷取至 BigQuery，以及執行向量相似度搜尋。 |
查看筆記本 |
|
data enrichment 與嵌入
|
使用 Apache Beam 和 Bigtable 充實資料 說明如何使用 Apache Beam 資料擴充轉換功能和 Bigtable 充實資料。 |
查看筆記本 |
|
data enrichment 與嵌入
|
使用 Hugging Face Hub 模型生成文字嵌入 使用 MLTransform，透過 Hugging Face 的 SentenceTransformers 架構，從文字資料生成嵌入。 |
查看筆記本 |
|
data enrichment 與嵌入
|
使用 Apache Beam 和 Vertex AI 特徵儲存庫充實資料 說明如何使用 Apache Beam 資料擴充轉換功能和 Vertex AI 特徵儲存庫，充實資料。 |
查看筆記本 |
|
data enrichment 與嵌入
|
使用 Vertex AI API 生成文字嵌入 使用 Vertex AI 文字嵌入 API，透過 Google 的大型生成式人工智慧 (AI) 模型生成文字嵌入。 |
查看筆記本 |
|
模型訓練與資料處理
|
更新執行中管道的機器學習模型 示範如何使用輔助輸入，執行自動模型更新，而不必停止 Apache Beam 管道。 |
查看筆記本 |
|
模型訓練與資料處理
|
計算並套用資料集的詞彙 說明如何使用 MLTransform 在輸入文字中產生詞彙，並為每個權杖指派索引值。 |
查看筆記本 |
|
模型訓練與資料處理
|
使用多個訓練方式不同的模型執行機器學習推論 示範如何使用 KeyedModelHandler，在 Apache Beam 管道中，以每個鍵為基礎執行多個不同模型的推論。 |
查看筆記本 |
|
模型訓練與資料處理
|
使用 MLTransform 擴充資料 說明如何使用 MLTransform 擴充資料，這是訓練機器學習 (ML) 模型的重要預先處理步驟。 |
查看筆記本 |
|
模型訓練與資料處理
|
Beam 中的 TensorFlow Model Analysis 說明如何建立及比較兩個模型，藉此使用 TFMA 調查及視覺化呈現 Apache Beam 管道中模型的成效。 |
查看筆記本 |
|
執行推論
|
Apache Beam 中的遠端推論 示範如何使用 Google Cloud Vision API，在 Apache Beam 中實作自訂推論呼叫。 |
查看筆記本 |
|
執行推論
|
將自己的機器學習模型帶入 Beam RunInference 說明如何使用 spaCy 套件載入機器學習 (ML) 模型，並使用 RunInference PTransform 在 Apache Beam 管道中執行推論。 |
查看筆記本 |
|
執行推論
|
使用 Gemma 開放式模型執行推論 示範如何載入預先設定的 Gemma 2B 模型，然後在 Apache Beam 推論管道中使用該模型。 |
查看筆記本 |
|
執行推論
|
使用 RunInference 進行生成式 AI 說明如何使用 Apache Beam RunInference 轉換，透過 Hugging Face Model Hub 的大型語言模型 (LLM) 執行生成式 AI 工作。 |
查看筆記本 |
|
執行推論
|
Apache Beam RunInference with Hugging Face 說明如何在 Apache Beam 管道中使用 RunInference 轉換，並搭配使用 Hugging Face 模型和 Hugging Face 管道。 |
查看筆記本 |
|
執行推論
|
使用圖片說明文字和排序範例的集成模型 說明如何使用 RunInference API 實作 Apache Beam 中的連鎖模型，以生成圖片說明。 |
查看筆記本 |
|
執行推論
|
適用於 PyTorch 的 Apache Beam RunInference 示範如何搭配 PyTorch 使用 RunInference 轉換。 |
查看筆記本 |
|
執行推論
|
在 Apache Beam 中使用 RunInference 示範如何搭配三種熱門的機器學習架構 (PyTorch、TensorFlow 和 scikit-learn) 使用 RunInference API。 |
查看筆記本 |
|
執行推論
|
適用於 scikit-learn 的 Apache Beam RunInference 示範如何使用 scikit-learn 的 RunInference 轉換。 |
查看筆記本 |
|
執行推論
|
搭配 TensorFlow 使用 Apache Beam RunInference 說明如何使用 Apache Beam RunInference 轉換進行 TensorFlow。 |
查看筆記本 |
|
執行推論
|
搭配 TFX Basic Shared Libraries 使用 RunInference 示範如何搭配 TensorFlow 和 TFX Basic Shared Libraries (tfx-bsl) 使用 Apache Beam RunInference 轉換。 |
查看筆記本 |
|
執行推論
|
搭配 TensorFlow 和 TensorFlow Hub 使用 Apache Beam RunInference 說明如何搭配 TensorFlow Hub 中訓練的模型，使用 TensorFlow 的 Apache Beam RunInference 轉換。 |
查看筆記本 |
|
執行推論
|
Apache Beam RunInference with Vertex AI 說明如何使用 Apache Beam RunInference 轉換，透過 Vertex AI 進行圖片分類。 |
查看筆記本 |
|
執行推論
|
使用 GPU 上的 vLLM 執行 ML 推論 示範如何使用 vLLM 和 GPU 執行機器學習推論。 |
查看筆記本 |
|
執行推論
|
在 Dataflow 中使用 TPU 示範如何設定及執行兩個不同的 Dataflow 管道，並運用 Tensor Processing Unit (TPU)。第一個管道會執行簡單的運算，確認 TPU 存取權；第二個管道則較為複雜，會使用 Gemma-3-27b-it 模型執行推論。 |
查看筆記本 |
|
專業用途
|
使用 Apache Beam (Z 分數法) 偵測批次和串流資料中的異常狀況 說明如何使用 AnomalyDetection PTransform 和 Z 分數演算法，對批次和串流資料執行異常偵測。 |
查看筆記本 |
|
專業用途
|
使用 Gemma 評估情緒和歸納對話內容 示範如何使用 Gemma 評估對話的情緒、歸納對話內容，以及草擬回覆。 |
查看筆記本 |