Notebooks da ML do Dataflow

Confira os notebooks da ML do Dataflow para integrar o aprendizado de máquina aos pipelines do Apache Beam. Eles oferecem exemplos práticos e orientações para fluxos de trabalho comuns de machine learning.

Use estes recursos para:

• Pré-processar dados para modelos de ML: inclui tarefas como escalonamento de dados, computação de vocabulários e uso de MLTransform para preparação de dados.
• Executar inferências com vários modelos e frameworks: use a RunInference transformação com PyTorch, TensorFlow, scikit-learn, modelos do Hugging Face, modelos do Gemma e Vertex AI, incluindo GPUs com vLLM.
• Gerar e gerenciar embeddings: crie embeddings de texto usando a Vertex AI ou o Hugging Face e os ingira em bancos de dados como o AlloyDB e o BigQuery para pesquisa vetorial.
• Implementar padrões avançados de pipeline de ML: isso inclui atualização automática de modelos em pipelines em execução, uso de vários modelos, criação de modelos de conjunto e enriquecimento de dados usando o BigQuery, o Bigtable e a Vertex AI Feature Store.
• Aplicar ML a casos de uso específicos: exemplos incluem detecção de anomalias, análise de sentimento e resumo com a Gemma.

Todos os tutoriais

Filtrar por: Principais conceitos do Dataflow e do MLTransform Aprimoramento e incorporação de dados Treinamento de modelo e tratamento de dados Executar inferência Casos de uso especializados

Conceitos principais do Dataflow e do MLTransform	Pré-processamento com a API DataFrames do Apache Beam Demonstra o uso da API DataFrames do Apache Beam para realizar etapas comuns de pré-processamento e análise de dados.	Ver notebook
Conceitos principais do Dataflow e do MLTransform	Pré-processar dados com o MLTransform Uma introdução básica ao uso do MLTransform para pré-processar dados para fluxos de trabalho de machine learning.	Ver notebook
Aprimoramento e incorporação de dados	Ingestão de embeddings vetoriais com Apache Beam e AlloyDB Demonstra como gerar incorporações de dados e transferi-las para o AlloyDB usando o Apache Beam e o Dataflow para processamento de dados escalonável.	Ver notebook
Aprimoramento e incorporação de dados	Usar o Apache Beam e o BigQuery para enriquecer dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o BigQuery.	Ver notebook
Aprimoramento e incorporação de dados	Ingestão de embeddings e pesquisa vetorial com Apache Beam e BigQuery Demonstra como usar o pacote RAG do Apache Beam para gerar embeddings, transferi-los para o BigQuery e realizar uma pesquisa de similaridade vetorial.	Ver notebook
Aprimoramento e incorporação de dados	Usar o Apache Beam e o Bigtable para enriquecer dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o Bigtable.	Ver notebook
Aprimoramento e incorporação de dados	Gerar embeddings de texto usando modelos do Hugging Face Hub Usa o MLTransform para gerar embeddings de dados de texto usando o framework SentenceTransformers da Hugging Face.	Ver notebook
Aprimoramento e incorporação de dados	Use o Apache Beam e o Vertex AI Feature Store para enriquecer dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o Vertex AI Feature Store.	Ver notebook
Aprimoramento e incorporação de dados	Gerar embeddings de texto usando a API Vertex AI Usa a API text-embeddings da Vertex AI para gerar embeddings de texto que usam os modelos de IA generativa grandes do Google.	Ver notebook
Treinamento de modelo e tratamento de dados	Atualizar modelos de ML em pipelines em execução Demonstra como realizar atualizações automáticas de modelo sem interromper o pipeline do Apache Beam usando entradas secundárias.	Ver notebook
Treinamento de modelo e tratamento de dados	Computar e aplicar vocabulário em um conjunto de dados Mostra como usar o MLTransform para gerar um vocabulário em texto de entrada e atribuir um valor de índice a cada token.	Ver notebook
Treinamento de modelo e tratamento de dados	Executar inferência de ML com vários modelos treinados de maneiras diferentes Mostra como usar um KeyedModelHandler para executar inferência em um pipeline do Apache Beam com vários modelos diferentes por chave.	Ver notebook
Treinamento de modelo e tratamento de dados	Usar o MLTransform para escalonar dados Mostra como usar o MLTransform para dimensionar dados, uma etapa importante de pré-processamento para treinar modelos de machine learning (ML).	Ver notebook
Treinamento de modelo e tratamento de dados	TensorFlow Model Analysis no Beam Mostra como usar o TFMA para investigar e visualizar a performance de um modelo como parte do pipeline do Apache Beam criando e comparando dois modelos.	Ver notebook
Executar inferência	Inferência remota no Apache Beam Demonstra como implementar uma chamada de inferência personalizada no Apache Beam usando a API Google Cloud Vision.	Ver notebook
Executar inferência	Traga seu próprio modelo de ML para o Beam RunInference Ilustra como usar o pacote spaCy para carregar um modelo de machine learning (ML) e realizar inferências em um pipeline do Apache Beam usando o PTransform RunInference.	Ver notebook
Executar inferência	Executar inferência com um modelo aberto do Gemma Demonstra como carregar o modelo Gemma 2B pré-configurado e usá-lo em um pipeline de inferência do Apache Beam.	Ver notebook
Executar inferência	Usar o RunInference para IA generativa Mostra como usar a transformação RunInference do Apache Beam para tarefas de IA generativa com um modelo de linguagem grande (LLM) do Hub de modelos do Hugging Face.	Ver notebook
Executar inferência	Apache Beam RunInference com Hugging Face Mostra como usar modelos do pipeline Hugging Face e Hugging Face em pipelines do Apache Beam que usam a transformação RunInference.	Ver notebook
Executar inferência	Modelo de ensemble usando um exemplo de legenda e classificação de imagens Mostra como implementar um modelo em cascata no Apache Beam usando a API RunInference para legenda de imagens.	Ver notebook
Executar inferência	Apache Beam RunInference para PyTorch Demonstra o uso da transformação RunInference para PyTorch.	Ver notebook
Executar inferência	Usar o RunInference no Apache Beam Demonstra como usar a API RunInference com três frameworks de ML conhecidos: PyTorch, TensorFlow e scikit-learn.	Ver notebook
Executar inferência	Apache Beam RunInference para scikit-learn Demonstra o uso da transformação RunInference para scikit-learn.	Ver notebook
Executar inferência	Apache Beam RunInference com TensorFlow Mostra como usar a transformação RunInference do Apache Beam para o TensorFlow.	Ver notebook
Executar inferência	Usar o RunInference com Bibliotecas compartilhadas básicas do TFX Demonstra como usar a transformação RunInference do Apache Beam com o TensorFlow e as Bibliotecas compartilhadas básicas do TFX (tfx-bsl).	Ver notebook
Executar inferência	RunInference do Apache Beam com TensorFlow e TensorFlow Hub Mostra como usar a transformação RunInference do Apache Beam para o TensorFlow com um modelo treinado do TensorFlow Hub.	Ver notebook
Executar inferência	Apache Beam RunInference com a Vertex AI Mostra como usar a transformação RunInference do Apache Beam para classificação de imagens com a Vertex AI.	Ver notebook
Executar inferência	Executar inferência de ML usando vLLM em GPUs Demonstra como executar a inferência de machine learning usando vLLM e GPUs.	Ver notebook
Executar inferência	Usar TPUs no Dataflow Demonstra como configurar e executar dois pipelines distintos do Dataflow que usam Unidades de Processamento de Tensor (TPUs). O primeiro pipeline realiza uma computação simples para confirmar o acesso à TPU, enquanto o segundo, mais complexo, executa a inferência com o modelo Gemma-3-27b-it.	Ver notebook
Casos de uso especializados	Detecção de anomalias em dados de lote e de streaming usando o Apache Beam (método de pontuação Z) Mostra como realizar a detecção de anomalias em dados de lote e de streaming usando a PTransform AnomalyDetection com o algoritmo Z-Score.	Ver notebook
Casos de uso especializados	Usar o Gemma para avaliar sentimentos e resumir conversas Demonstra como usar a Gemma para avaliar o sentimento de uma conversa, resumir o conteúdo dela e criar uma resposta.	Ver notebook