Notebooks da ML do Dataflow

Confira os notebooks do Dataflow ML para integrar o machine learning aos pipelines do Apache Beam. Esses notebooks oferecem exemplos práticos e orientações para fluxos de trabalho comuns de machine learning.

Use esses recursos para:

• Pré-processar dados para modelos de ML: isso inclui tarefas como escalonar dados, computar vocabulários e usar MLTransform para preparação de dados.
• Executar inferência com vários modelos e frameworks: use a RunInference transformação com modelos do PyTorch, TensorFlow, scikit-learn, Hugging Face , Gemma e a plataforma de agentes do Gemini Enterprise, incluindo em GPUs com vLLM.
• Gerar e gerenciar embeddings: crie embeddings de texto usando a plataforma de agentes ou a Hugging Face e ingira-os em bancos de dados como o AlloyDB e o BigQuery para pesquisa vetorial.
• Implementar padrões avançados de pipeline de ML: isso inclui a atualização automática de modelos em pipelines em execução, o uso de vários modelos, a criação de modelos de conjunto e o aprimoramento de dados usando o BigQuery, Bigtable e Vertex AI Feature Store.
• Aplicar ML a casos de uso específicos: exemplos incluem detecção de anomalias análise de sentimentos e resumo com o Gemma.

Todos os tutoriais

Filtrar por: Conceitos básicos do Dataflow e do MLTransform Aprimoramento de dados e embedding Treinamento de modelos e processamento de dados Executar inferência Casos de uso especializados

Conceitos básicos do Dataflow e do MLTransform	Pré-processamento com a API DataFrames do Apache Beam Demonstra o uso da API DataFrames do Apache Beam para executar etapas comuns de exploração e pré-processamento de dados.	Acessar o notebook
Conceitos básicos do Dataflow e do MLTransform	Pré-processar dados com o MLTransform Uma introdução básica ao uso do MLTransform para pré-processar dados para fluxos de trabalho de machine learning.	Acessar o notebook
Aprimoramento de dados e embedding	Ingestão de embedding de vetor com o Apache Beam e o AlloyDB Demonstra como gerar embeddings de dados e ingeri-los no AlloyDB usando o Apache Beam e o Dataflow para processamento de dados escalonável.	Acessar o notebook
Aprimoramento de dados e embedding	Usar o Apache Beam e o BigQuery para enriquecer dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o BigQuery.	Acessar o notebook
Aprimoramento de dados e embedding	Ingestão de embedding e pesquisa vetorial com o Apache Beam e o BigQuery Demonstra como usar o pacote RAG do Apache Beam para gerar embeddings, ingeri-los no BigQuery e realizar pesquisas de similaridade vetorial.	Acessar o notebook
Aprimoramento de dados e embedding	Usar o Apache Beam e o Bigtable para enriquecer dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o Bigtable.	Acessar o notebook
Aprimoramento de dados e embedding	Gerar embeddings de texto usando modelos do Hugging Face Hub Usa o MLTransform para gerar embeddings de dados de texto usando o framework SentenceTransformers da Hugging Face.	Acessar o notebook
Aprimoramento de dados e embedding	Usar o Apache Beam e o Vertex AI Feature Store para enriquecer dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o Vertex AI Feature Store.	Acessar o notebook
Aprimoramento de dados e embedding	Gerar embeddings de texto usando a API Vertex AI Usa a API text-embeddings da Vertex AI para gerar embeddings de texto que usam os grandes modelos de inteligência artificial (IA) generativa do Google.	Acessar o notebook
Treinamento de modelos e processamento de dados	Atualizar modelos de ML em pipelines em execução Demonstra como executar atualizações automáticas de modelos sem interromper o pipeline do Apache Beam usando entradas laterais.	Acessar o notebook
Treinamento de modelos e processamento de dados	Computar e aplicar vocabulário em um conjunto de dados Mostra como usar o MLTransform para gerar um vocabulário no texto de entrada e atribuir um valor de índice a cada token.	Acessar o notebook
Treinamento de modelos e processamento de dados	Executar inferência de ML com vários modelos treinados de maneiras diferentes Demonstra como usar um KeyedModelHandler para executar inferência em um pipeline do Apache Beam com vários modelos diferentes por chave.	Acessar o notebook
Treinamento de modelos e processamento de dados	Usar o MLTransform para escalonar dados Mostra como usar o MLTransform para escalonar dados, uma etapa importante de pré-processamento para treinar modelos de machine learning (ML).	Acessar o notebook
Treinamento de modelos e processamento de dados	Análise de modelos do TensorFlow no Beam Mostra como usar o TFMA para investigar e visualizar o desempenho de um modelo como parte do pipeline do Apache Beam, criando e comparando dois modelos.	Acessar o notebook
Executar inferência	Inferência remota no Apache Beam Demonstra como implementar uma chamada de inferência personalizada no Apache Beam usando a API Cloud Vision do Google Cloud.	Acessar o notebook
Executar inferência	Trazer seu próprio modelo de ML para o Beam RunInference Ilustra como usar o pacote spaCy para carregar um modelo de machine learning (ML) e realizar inferência em um pipeline do Apache Beam usando o RunInference PTransform.	Acessar o notebook
Executar inferência	Executar inferência com um modelo aberto do Gemma Demonstra como carregar o modelo Gemma 2B pré-configurado e usá-lo em um pipeline de inferência do Apache Beam.	Acessar o notebook
Executar inferência	Usar o RunInference para IA generativa Mostra como usar a transformação RunInference do Apache Beam para tarefas de IA generativa com um modelo de linguagem grande (LLM) do Hugging Face Model Hub.	Acessar o notebook
Executar inferência	Apache Beam RunInference com Hugging Face Mostra como usar modelos do pipeline Hugging Face e Hugging Face em pipelines do Apache Beam que usam a transformação RunInference.	Acessar o notebook
Executar inferência	Modelo de conjunto usando um exemplo de legenda e classificação de imagens Mostra como implementar um modelo em cascata no Apache Beam usando a API RunInference para legenda de imagens.	Acessar o notebook
Executar inferência	Apache Beam RunInference para PyTorch Demonstra o uso da transformação RunInference para PyTorch.	Acessar o notebook
Executar inferência	Usar o RunInference no Apache Beam Demonstra como usar a API RunInference com três frameworks de ML populares: PyTorch, TensorFlow e scikit-learn.	Acessar o notebook
Executar inferência	Apache Beam RunInference para scikit-learn Demonstra o uso da transformação RunInference para scikit-learn.	Acessar o notebook
Executar inferência	Apache Beam RunInference com TensorFlow Mostra como usar a transformação RunInference do Apache Beam para TensorFlow.	Acessar o notebook
Executar inferência	Usar o RunInference com Bibliotecas compartilhadas básicas do TFX Demonstra como usar a transformação RunInference do Apache Beam com o TensorFlow e as Bibliotecas compartilhadas básicas do TFX (tfx-bsl).	Acessar o notebook
Executar inferência	Apache Beam RunInference com TensorFlow e TensorFlow Hub Mostra como usar a transformação RunInference do Apache Beam para TensorFlow com um modelo treinado do TensorFlow Hub.	Acessar o notebook
Executar inferência	Apache Beam RunInference com a Vertex AI Mostra como usar a transformação RunInference do Apache Beam para classificação de imagens com a Vertex AI.	Acessar o notebook
Executar inferência	Executar inferência de ML usando vLLM em GPUs Demonstra como executar inferência de machine learning usando vLLM e GPUs.	Acessar o notebook
Executar inferência	Usar TPUs no Dataflow Demonstra como configurar e executar dois pipelines distintos do Dataflow que aproveitam as unidades de processamento de tensor (TPUs). O primeiro pipeline executa uma computação simples para confirmar o acesso à TPU, enquanto o segundo, mais complexo, executa a inferência com o modelo Gemma-3-27b-it.	Acessar o notebook
Casos de uso especializados	Detecção de anomalias em dados de lote e de streaming usando o Apache Beam (método de pontuação Z) Mostra como realizar a detecção de anomalias em dados de lote e de streaming usando o AnomalyDetection PTransform com o algoritmo de pontuação Z.	Acessar o notebook
Casos de uso especializados	Usar o Gemma para avaliar o sentimento e resumir conversas Demonstra como usar o Gemma para avaliar o sentimento de uma conversa, resumir o conteúdo dela e criar uma resposta.	Acessar o notebook