Dataflow ML ノートブックを確認して、ML を Apache Beam パイプラインに統合します。これらのノートブックには、一般的な ML ワークフローの実用的な例とガイダンスが記載されています。
これらのリソースを使用して、次のことを行います。
- ML モデルのデータを前処理する: これには、データのスケーリング、語彙の計算、
MLTransformを使用したデータ準備などのタスクが含まれます。 - さまざまなモデルとフレームワークで推論を実行する: vLLM を使用した GPU 上などで、PyTorch、TensorFlow、scikit-learn、Hugging Face モデル、Gemma モデル、Vertex AI で
RunInference変換を使用します。 - エンベディングを生成して管理する: Vertex AI または Hugging Face を使用してテキスト エンベディングを作成し、ベクトル検索用に AlloyDB や BigQuery などのデータベースに取り込みます。
- 高度な ML パイプライン パターンを実装する: これには、実行中のパイプラインでのモデルの自動更新、複数のモデルの使用、アンサンブル モデルの構築や、BigQuery、Bigtable、Vertex AI Feature Store を使用したデータ拡充が含まれます。
- 特定のユースケースに ML を適用する: 例としては、Gemma を使用した異常検出、感情分析、要約などがあります。
すべてのチュートリアル
|
Dataflow と MLTransform の基本コンセプト
|
Apache Beam DataFrames API を使用した前処理 Apache Beam DataFrames API を使用して、データ探索と前処理の一般的な手順を実行する方法を示します。 |
ノートブックを表示 |
|
Dataflow と MLTransform の基本コンセプト
|
MLTransform を使用してデータを前処理する MLTransform を使用して ML ワークフロー用のデータを前処理する基本的な方法について説明します。 |
ノートブックを表示 |
|
データ拡充とエンベディング
|
Apache Beam と AlloyDB を使用したベクトル エンベディングの取り込み スケーラブルなデータ処理のために Apache Beam と Dataflow を使用して、データからエンベディングを生成し、AlloyDB に取り込む方法を示します。 |
ノートブックを表示 |
|
データ拡充とエンベディング
|
Apache Beam と BigQuery を使用してデータを拡充する BigQuery で Apache Beam 拡充変換を使用してデータを拡充する方法について説明します。 |
ノートブックを表示 |
|
データ拡充とエンベディング
|
Apache Beam と BigQuery を使用したエンベディングの取り込みとベクトル検索 Apache Beam RAG パッケージを使用してエンベディングを生成し、BigQuery に取り込んで、ベクトル類似検索を実行する方法を示します。 |
ノートブックを表示 |
|
データ拡充とエンベディング
|
Apache Beam と Bigtable を使用してデータを拡充する Bigtable で Apache Beam 拡充変換を使用してデータを拡充する方法を示します。 |
ノートブックを表示 |
|
データ拡充とエンベディング
|
Hugging Face Hub モデルを使用してテキスト エンベディングを生成する MLTransform を使用して、Hugging Face の SentenceTransformers フレームワークを使用したテキストデータからエンベディングを生成します。 |
ノートブックを表示 |
|
データ拡充とエンベディング
|
Apache Beam と Vertex AI Feature Store を使用してデータを拡充する Vertex AI Feature Store で Apache Beam 拡充変換を使用してデータを拡充する方法を示します。 |
ノートブックを表示 |
|
データ拡充とエンベディング
|
Vertex AI API を使用してテキスト エンベディングを生成する Vertex AI Text Embeddings API を使用して、Google の大規模生成 AI モデルを使用したテキスト エンベディングを生成します。 |
ノートブックを表示 |
|
モデルのトレーニングとデータ処理
|
実行中のパイプラインで ML モデルを更新する 副入力を使用して、Apache Beam パイプラインを停止せずにモデルの自動更新を行う方法を示します。 |
ノートブックを表示 |
|
モデルのトレーニングとデータ処理
|
データセットで語彙を計算して適用する MLTransform を使用して入力テキストの語彙を生成し、各トークンにインデックス値を割り当てる方法を示します。 |
ノートブックを表示 |
|
モデルのトレーニングとデータ処理
|
トレーニングが異なる複数のモデルで ML 推論を実行する KeyedModelHandler を使用して、複数の異なるモデルを使用した Apache Beam パイプラインでキーごとに推論を実行する方法を示します。 |
ノートブックを表示 |
|
モデルのトレーニングとデータ処理
|
MLTransform を使用してデータをスケーリングする MLTransform を使用してデータをスケーリングする方法を示します。これは、ML モデルのトレーニングにおける重要な前処理ステップです。 |
ノートブックを表示 |
|
モデルのトレーニングとデータ処理
|
Beam の TensorFlow Model Analysis TFMA を使用して、2 つのモデルを作成して比較することで、Apache Beam パイプラインの一部としてモデルのパフォーマンスを調査して可視化する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
Apache Beam でのリモート推論 Google Cloud Vision API を使用して、Apache Beam でカスタム推論呼び出しを実装する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
独自の ML モデルを Beam RunInference に取り込む spaCy パッケージを使用して ML モデルを読み込み、RunInference PTransform を使用して Apache Beam パイプラインで推論を実行する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
Gemma オープンモデルを使用して推論を実行する 事前構成された Gemma 2B モデルを読み込んで Apache Beam 推論パイプラインで使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
生成 AI に RunInference を使用する Hugging Face Model Hub の大規模言語モデル（LLM）を使用して、生成 AI タスクで Apache Beam RunInference 変換を使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
Hugging Face での Apache Beam RunInference RunInference 変換を使用する Apache Beam パイプラインで、Hugging Face のモデルと Hugging Face パイプラインを使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
画像キャプションとランキングの例を使用したアンサンブル モデル 画像キャプション生成に RunInference API を使用したカスケード モデルを Apache Beam で実装する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
PyTorch 用の Apache Beam RunInference PyTorch 用の RunInference 変換の使用方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
Apache Beam で RunInference を使用する 3 つの一般的な ML フレームワーク（PyTorch、TensorFlow、scikit-learn）で RunInference API を使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
scikit-learn 用の Apache Beam RunInference scikit-learn 用の RunInference 変換の使用方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
TensorFlow での Apache Beam RunInference TensorFlow 用の Apache Beam RunInference 変換を使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
TFX Basic 共有ライブラリで RunInference を使用する TensorFlow と TFX Basic 共有ライブラリ（tfx-bsl）で Apache Beam RunInference 変換を使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
TensorFlow と TensorFlow Hub での Apache Beam RunInference TensorFlow Hub のトレーニング済みモデルで TensorFlow 用の Apache Beam RunInference 変換を使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
Vertex AI での Apache Beam RunInference Vertex AI で画像分類に Apache Beam RunInference 変換を使用する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
GPU で vLLM を使用して ML 推論を実行する vLLM と GPU を使用して ML 推論を実行する方法を示します。 |
ノートブックを表示 |
|
推論の実行
|
Dataflow で TPU を使用する Tensor Processing Unit（TPU）を活用した 2 つの異なる Dataflow パイプラインを構成して実行する方法を示します。1 つ目のパイプラインは、TPU アクセスを確認するための簡単な計算を実行します。2 つ目のより複雑なパイプラインは、Gemma-3-27b-it モデルを使用して推論を実行します。 |
ノートブックを表示 |
|
特殊なユースケース
|
Apache Beam を使用したバッチデータとストリーミング データの異常検出（Z スコア法） AnomalyDetection PTransform と Z スコア アルゴリズムを使用して、バッチデータとストリーミング データの両方で異常検出を行う方法を示します。 |
ノートブックを表示 |
|
特殊なユースケース
|
Gemma を使用して感情を測定し、会話を要約する Gemma を使用して、会話の感情の測定、会話の内容の要約、返信の下書きの作成を行う方法を示します。 |
ノートブックを表示 |