Dataflow ML-Notebooks

In den Dataflow ML-Notebooks erfahren Sie, wie Sie maschinelles Lernen in Ihre Apache Beam-Pipelines einbinden. Diese Notebooks enthalten praktische Beispiele und Anleitungen für gängige ML-Workflows.

Mit diesen Ressourcen können Sie Folgendes tun:

• Daten für ML-Modelle vorverarbeiten: Dazu gehören Aufgaben wie das Skalieren von Daten, das Berechnen von Vokabularen und die Verwendung von MLTransform zur Datenvorbereitung.
• Inferenz mit verschiedenen Modellen und Frameworks ausführen: Verwenden Sie die RunInference Transformation mit PyTorch-, TensorFlow-, scikit-learn-, Hugging Face Modellen, Gemma-Modellen und Gemini Enterprise Agent Platform, einschließlich auf GPUs mit vLLM.
• Einbettungen generieren und verwalten: Erstellen Sie Text einbettungen mit der Agent Platform oder Hugging Face und nehmen Sie sie in Datenbanken wie AlloyDB und BigQuery für die Vektorsuche auf.
• Erweiterte ML-Pipelinemuster implementieren: Dazu gehören die automatische Modell aktualisierung in laufenden Pipelines, die Verwendung mehrerer Modelle, das Erstellen von Ensemble Modellen und die Datenanreicherung mit BigQuery, Bigtable und Vertex AI Feature Store.
• ML auf bestimmte Anwendungsfälle anwenden: Beispiele sind die Anomalieerkennung sowie die Sentimentanalyse und Zusammenfassung mit Gemma.

Alle Anleitungen

Filtern nach: Grundlegende Dataflow- und MLTransform-Konzepte Datenanreicherung und Einbettung Modelltraining und Datenverarbeitung Inferenz ausführen Spezielle Anwendungsfälle

Grundlegende Dataflow- und MLTransform-Konzepte	Vorverarbeitung mit der Apache Beam DataFrames API Veranschaulicht die Verwendung der Apache Beam DataFrames API für gängige Schritte zur Datenexploration und ‑vorverarbeitung.	Notebook ansehen
Grundlegende Dataflow- und MLTransform-Konzepte	Daten mit MLTransform vorverarbeiten Eine grundlegende Einführung in die Verwendung von MLTransform zur Vorverarbeitung von Daten für ML-Workflows.	Notebook ansehen
Datenanreicherung und Einbettung	Vektoreinbettungen mit Apache Beam und AlloyDB aufnehmen Veranschaulicht, wie Sie Einbettungen aus Daten generieren und mit Apache Beam und Dataflow in AlloyDB aufnehmen, um die Datenverarbeitung zu skalieren.	Notebook ansehen
Datenanreicherung und Einbettung	Daten mit Apache Beam und BigQuery anreichern Zeigt, wie Sie Daten mit der Apache Beam-Anreicherungstransformation und BigQuery anreichern.	Notebook ansehen
Datenanreicherung und Einbettung	Einbettungen mit Apache Beam und BigQuery aufnehmen und Vektorsuche durchführen Veranschaulicht, wie Sie mit dem Apache Beam RAG-Paket Einbettungen generieren, sie in BigQuery aufnehmen und eine Vektorsuche durchführen.	Notebook ansehen
Datenanreicherung und Einbettung	Daten mit Apache Beam und Bigtable anreichern Zeigt, wie Sie Daten mit der Apache Beam-Anreicherungstransformation und Bigtable anreichern.	Notebook ansehen
Datenanreicherung und Einbettung	Texteinbettungen mit Hugging Face Hub-Modellen generieren Verwendet MLTransform, um mit dem SentenceTransformers-Framework von Hugging Face Einbettungen aus Textdaten zu generieren.	Notebook ansehen
Datenanreicherung und Einbettung	Daten mit Apache Beam und Vertex AI Feature Store anreichern Zeigt, wie Sie Daten mit der Apache Beam-Anreicherungstransformation und Vertex AI Feature Store anreichern.	Notebook ansehen
Datenanreicherung und Einbettung	Texteinbettungen mit der Vertex AI API generieren Verwendet die Vertex AI Text-Einbettungs-API, um Texteinbettungen zu generieren, die auf den großen generativen KI-Modellen (künstliche Intelligenz) von Google basieren.	Notebook ansehen
Modelltraining und Datenverarbeitung	ML-Modelle in laufenden Pipelines aktualisieren Veranschaulicht, wie Sie automatische Modellaktualisierungen ausführen, ohne Ihre Apache Beam-Pipeline zu unterbrechen, indem Sie Nebeneingaben verwenden.	Notebook ansehen
Modelltraining und Datenverarbeitung	Vokabular für ein Dataset berechnen und anwenden Zeigt, wie Sie mit MLTransform ein Vokabular für Eingabetext generieren und jedem Token einen Indexwert zuweisen.	Notebook ansehen
Modelltraining und Datenverarbeitung	ML-Inferenz mit mehreren unterschiedlich trainierten Modellen ausführen Veranschaulicht, wie Sie mit einem KeyedModelHandler die Inferenz in einer Apache Beam-Pipeline mit mehreren verschiedenen Modellen pro Schlüssel ausführen.	Notebook ansehen
Modelltraining und Datenverarbeitung	Daten mit MLTransform skalieren Zeigt, wie Sie Daten mit MLTransform skalieren. Dies ist ein wichtiger Vorverarbeitungsschritt für das Training von ML-Modellen.	Notebook ansehen
Modelltraining und Datenverarbeitung	TensorFlow Model Analysis in Beam Zeigt, wie Sie TFMA verwenden können, um die Leistung eines Modells als Teil Ihrer Apache Beam-Pipeline zu untersuchen und zu visualisieren, indem Sie zwei Modelle erstellen und vergleichen.	Notebook ansehen
Inferenz ausführen	Remote-Inferenz in Apache Beam Veranschaulicht, wie Sie mit der Google Cloud Vision API einen benutzerdefinierten Inferenzaufruf in Apache Beam implementieren.	Notebook ansehen
Inferenz ausführen	Eigenes ML-Modell in Beam RunInference verwenden Veranschaulicht, wie Sie mit dem spaCy-Paket ein ML-Modell laden und die Inferenz in einer Apache Beam-Pipeline mit der RunInference-Transformation ausführen.	Notebook ansehen
Inferenz ausführen	Inferenz mit einem offenen Gemma-Modell ausführen Veranschaulicht, wie Sie das vorkonfigurierte Gemma 2B-Modell laden und dann in einer Apache Beam-Inferenzpipeline verwenden.	Notebook ansehen
Inferenz ausführen	RunInference für generative KI verwenden Zeigt, wie Sie die Apache Beam-RunInference-Transformation für generative KI-Aufgaben mit einem Large Language Model (LLM) aus dem Hugging Face Model Hub verwenden.	Notebook ansehen
Inferenz ausführen	Apache Beam RunInference mit Hugging Face Zeigt, wie Sie Modelle aus Hugging Face und Hugging Face Pipeline in Apache Beam-Pipelines verwenden, die die RunInference-Transformation verwenden.	Notebook ansehen
Inferenz ausführen	Ensemble-Modell mit einem Beispiel für Bildunterschriften und ‑ranking Zeigt, wie Sie ein Kaskadenmodell in Apache Beam mit der RunInference API für Bildunterschriften implementieren.	Notebook ansehen
Inferenz ausführen	Apache Beam RunInference für PyTorch Veranschaulicht die Verwendung der RunInference-Transformation für PyTorch.	Notebook ansehen
Inferenz ausführen	RunInference in Apache Beam verwenden Veranschaulicht, wie Sie die RunInference API mit drei gängigen ML-Frameworks verwenden: PyTorch, TensorFlow und scikit-learn.	Notebook ansehen
Inferenz ausführen	Apache Beam RunInference für scikit-learn Veranschaulicht die Verwendung der RunInference-Transformation für scikit-learn.	Notebook ansehen
Inferenz ausführen	Apache Beam RunInference mit TensorFlow Zeigt, wie Sie die Apache Beam-RunInference-Transformation für TensorFlow verwenden.	Notebook ansehen
Inferenz ausführen	RunInference mit TFX Basic Shared Libraries verwenden Veranschaulicht, wie Sie die Apache Beam-RunInference-Transformation mit TensorFlow und TFX Basic Shared Libraries (tfx-bsl) verwenden.	Notebook ansehen
Inferenz ausführen	Apache Beam RunInference mit TensorFlow und TensorFlow Hub Zeigt, wie Sie die Apache Beam-RunInference-Transformation für TensorFlow mit einem trainierten Modell aus TensorFlow Hub verwenden.	Notebook ansehen
Inferenz ausführen	Apache Beam RunInference mit Vertex AI Zeigt, wie Sie die Apache Beam-RunInference-Transformation für die Bildklassifizierung mit Vertex AI verwenden.	Notebook ansehen
Inferenz ausführen	ML-Inferenz mit vLLM auf GPUs ausführen Veranschaulicht, wie Sie ML-Inferenz mit vLLM und GPUs ausführen.	Notebook ansehen
Inferenz ausführen	TPUs in Dataflow verwenden Veranschaulicht, wie Sie zwei verschiedene Dataflow-Pipelines konfigurieren und ausführen, die Tensor Processing Units (TPUs) nutzen. Die erste Pipeline führt eine einfache Berechnung aus, um den TPU-Zugriff zu bestätigen, während die zweite, komplexere Pipeline die Inferenz mit dem Modell Gemma-3-27b-it ausführt.	Notebook ansehen
Spezielle Anwendungsfälle	Anomalieerkennung für Batch- und Streamingdaten mit Apache Beam (Z-Score-Methode) Zeigt, wie Sie mit der AnomalyDetection-Transformation und dem Z-Score-Algorithmus Anomalien in Batch- und Streamingdaten erkennen.	Notebook ansehen
Spezielle Anwendungsfälle	Mit Gemma Stimmungen einschätzen und Unterhaltungen zusammenfassen Veranschaulicht, wie Sie mit Gemma die Stimmung einer Unterhaltung einschätzen, den Inhalt der Unterhaltung zusammenfassen und eine Antwort entwerfen.	Notebook ansehen