探索 Dataflow ML 筆記本，將機器學習整合至 Apache Beam 管道。這些筆記本提供實用範例和指南，協助您完成常見的機器學習工作流程。
請參閱以下資源：
- 預先處理機器學習模型資料：包括縮放資料、計算詞彙，以及使用
MLTransform準備資料等工作。 - 使用各種模型和架構執行推論作業：使用
RunInference透過 PyTorch、TensorFlow、scikit-learn、Hugging Face 模型、Gemma 模型和 Vertex AI 進行轉換，包括使用 vLLM 在 GPU 上進行轉換。 - 生成及管理嵌入項目：使用 Vertex AI 或 Hugging Face 建立文字嵌入項目，並將這些項目擷取至 AlloyDB 和 BigQuery 等資料庫，以進行向量搜尋。
- 導入進階機器學習管道模式：包括在執行中的管道中自動重新整理模型、使用多個模型、建構模型組合，以及使用 BigQuery、Bigtable 和 Vertex AI 特徵儲存庫擴充資料。
- 將機器學習技術用於特定用途：例如使用 Gemma 偵測異常狀況，以及進行情緒分析和摘要。
所有教學課程
|
核心 Dataflow 和 MLTransform 概念
|
使用 Apache Beam DataFrames API 進行前處理 示範如何使用 Apache Beam DataFrames API 執行常見的資料探索和預先處理步驟。 |
查看筆記本 |
|
核心 Dataflow 和 MLTransform 概念
|
使用 MLTransform 預先處理資料 簡要介紹如何使用 MLTransform 預先處理機器學習工作流程的資料。 |
查看筆記本 |
|
資料擴充與嵌入
|
使用 Apache Beam 和 AlloyDB 擷取向量嵌入 說明如何使用 Apache Beam 和 Dataflow 產生資料的嵌入內容，並將其擷取至 AlloyDB，以進行可擴充的資料處理作業。 |
查看筆記本 |
|
資料擴充與嵌入
|
使用 Apache Beam 和 BigQuery 充實資料 說明如何使用 Apache Beam 擴充轉換和 BigQuery 擴充資料。 |
查看筆記本 |
|
資料擴充與嵌入
|
使用 Apache Beam 和 BigQuery 擷取嵌入項目並進行向量搜尋 示範如何使用 Apache Beam RAG 套件生成嵌入、將嵌入項目擷取至 BigQuery，以及執行向量相似度搜尋。 |
查看筆記本 |
|
資料擴充與嵌入
|
使用 Apache Beam 和 Bigtable 擴充資料 說明如何搭配 Bigtable 使用 Apache Beam 資料擴充轉換功能，擴充資料。 |
查看筆記本 |
|
資料擴充與嵌入
|
使用 Hugging Face Hub 模型生成文字嵌入 使用 MLTransform，透過 Hugging Face 的 SentenceTransformers 架構從文字資料產生嵌入。 |
查看筆記本 |
|
資料擴充與嵌入
|
使用 Apache Beam 和 Vertex AI 特徵儲存庫擴充資料 說明如何搭配使用 Apache Beam 擴充轉換和 Vertex AI 特徵儲存庫，擴充資料。 |
查看筆記本 |
|
資料擴充與嵌入
|
使用 Vertex AI API 生成文字嵌入 使用 Vertex AI 文字嵌入 API，生成採用 Google 大型生成式人工智慧 (AI) 模型的文字嵌入。 |
查看筆記本 |
|
模型訓練與資料處理
|
更新執行中管道的機器學習模型 示範如何使用輔助輸入，在不停止 Apache Beam 管道的情況下自動更新模型。 |
查看筆記本 |
|
模型訓練與資料處理
|
計算並套用資料集的詞彙 說明如何使用 MLTransform 在輸入文字中產生詞彙，並為每個權杖指派索引值。 |
查看筆記本 |
|
模型訓練與資料處理
|
使用多個訓練方式不同的模型執行機器學習推論 示範如何使用 KeyedModelHandler，在 Apache Beam 管道中，以每個鍵為基礎，使用多個不同模型執行推論。 |
查看筆記本 |
|
模型訓練與資料處理
|
使用 MLTransform 擴充資料 說明如何使用 MLTransform 擴充資料，這是訓練機器學習 (ML) 模型的重要預先處理步驟。 |
查看筆記本 |
|
模型訓練與資料處理
|
Beam 中的 TensorFlow Model Analysis 說明如何建立及比較兩個模型，藉此使用 TFMA 調查及視覺化呈現 Apache Beam 管道中模型的成效。 |
查看筆記本 |
|
執行推論
|
在 Apache Beam 中進行遠端推論 示範如何使用 Google Cloud Vision API，在 Apache Beam 中實作自訂推論呼叫。 |
查看筆記本 |
|
執行推論
|
將自己的機器學習模型帶入 Beam RunInference 說明如何使用 spaCy 套件載入機器學習 (ML) 模型，並使用 RunInference PTransform 在 Apache Beam 管道中執行推論。 |
查看筆記本 |
|
執行推論
|
使用 Gemma 開放式模型執行推論 示範如何載入預先設定的 Gemma 2B 模型，然後在 Apache Beam 推論管道中使用。 |
查看筆記本 |
|
執行推論
|
使用 RunInference 進行生成式 AI 推論 說明如何使用 Apache Beam RunInference 轉換，透過 Hugging Face Model Hub 的大型語言模型 (LLM) 執行生成式 AI 工作。 |
查看筆記本 |
|
執行推論
|
Apache Beam RunInference with Hugging Face 說明如何在 Apache Beam 管道中使用 RunInference 轉換，運用 Hugging Face 模型和 Hugging Face 管道。 |
查看筆記本 |
|
執行推論
|
使用圖片說明和排序範例的整合模型 說明如何使用 RunInference API 實作 Apache Beam 中的連鎖模型，以生成圖片說明。 |
查看筆記本 |
|
執行推論
|
適用於 PyTorch 的 Apache Beam RunInference 示範如何將 RunInference 轉換用於 PyTorch。 |
查看筆記本 |
|
執行推論
|
在 Apache Beam 中使用 RunInference 示範如何搭配三種熱門的機器學習架構 (PyTorch、TensorFlow 和 scikit-learn) 使用 RunInference API。 |
查看筆記本 |
|
執行推論
|
適用於 scikit-learn 的 Apache Beam RunInference 示範如何使用 RunInference 轉換 scikit-learn。 |
查看筆記本 |
|
執行推論
|
Apache Beam RunInference with TensorFlow 說明如何使用 Apache Beam RunInference 轉換功能進行 TensorFlow。 |
查看筆記本 |
|
執行推論
|
搭配 TFX Basic Shared Libraries 使用 RunInference 示範如何搭配 TensorFlow 和 TFX Basic Shared Libraries (tfx-bsl) 使用 Apache Beam RunInference 轉換。 |
查看筆記本 |
|
執行推論
|
Apache Beam RunInference with TensorFlow and TensorFlow Hub 說明如何搭配 TensorFlow Hub 的已訓練模型，使用 Apache Beam RunInference 轉換。 |
查看筆記本 |
|
執行推論
|
Apache Beam RunInference with Vertex AI 說明如何使用 Apache Beam RunInference 轉換，透過 Vertex AI 進行圖片分類。 |
查看筆記本 |
|
執行推論
|
使用 GPU 上的 vLLM 執行 ML 推論 示範如何使用 vLLM 和 GPU 執行機器學習推論。 |
查看筆記本 |
|
執行推論
|
在 Dataflow 中使用 TPU 示範如何設定及執行兩個不同的 Dataflow 管道，並運用 Tensor Processing Unit (TPU)。第一個管道會執行簡單的運算，確認 TPU 存取權；第二個管道則較為複雜，會使用 Gemma-3-27b-it 模型執行推論。 |
查看筆記本 |
|
專業用途
|
使用 Apache Beam (Z 分數法) 偵測批次和串流資料中的異常狀況 說明如何使用 AnomalyDetection PTransform 和 Z 分數演算法，對批次和串流資料執行異常偵測。 |
查看筆記本 |
|
專業用途
|
使用 Gemma 評估情緒和生成對話摘要 示範如何使用 Gemma 評估對話的情緒、摘要對話內容，以及草擬回覆。 |
查看筆記本 |