Blocos de notas de ML do Dataflow

Explore os blocos de notas de ML do Dataflow para integrar a aprendizagem automática nos seus pipelines do Apache Beam. Estes blocos de notas oferecem exemplos práticos e orientações para fluxos de trabalho de aprendizagem automática comuns.

Use estes recursos para:

• Pré-processar dados para modelos de ML: isto inclui tarefas como dimensionar dados, calcular vocabulários e usar o MLTransform para a preparação de dados.
• Executar inferência com vários modelos e frameworks: use a RunInferencetransformação com modelos do PyTorch, TensorFlow, scikit-learn, Hugging Face, modelos Gemma e Vertex AI, incluindo em GPUs com vLLM.
• Gerar e gerir incorporações: crie incorporações de texto com o Vertex AI ou o Hugging Face e carregue-as em bases de dados, como o AlloyDB e o BigQuery, para a pesquisa vetorial.
• Implemente padrões de pipeline de ML avançados: isto inclui a atualização automática de modelos em pipelines em execução, a utilização de vários modelos, a criação de modelos de conjunto e o enriquecimento de dados através do BigQuery, do Bigtable e do Vertex AI Feature Store.
• Aplique a aprendizagem automática a exemplos de utilização específicos: os exemplos incluem a deteção de anomalias, bem como a análise de sentimentos e o resumo com o Gemma.

Todos os tutoriais

Filtrar por: Conceitos principais do Dataflow e do MLTransform Enriquecimento e incorporação de dados Preparação de modelos e tratamento de dados Executar inferência Exemplos de utilização especializados

Conceitos fundamentais do Dataflow e MLTransform	Pré-processamento com a API DataFrames do Apache Beam Demonstra a utilização da API DataFrames do Apache Beam para executar passos comuns de exploração e pré-processamento de dados.	Ver bloco de notas
Conceitos fundamentais do Dataflow e MLTransform	Pré-processe dados com MLTransform Uma introdução básica à utilização da MLTransform para pré-processar dados para fluxos de trabalho de aprendizagem automática.	Ver bloco de notas
Enriquecimento e incorporação de dados	Carregamento de incorporações de vetores com o Apache Beam e o AlloyDB Demonstra como gerar incorporações a partir de dados e carregá-las no AlloyDB através do Apache Beam e do Dataflow para o processamento de dados escalável.	Ver bloco de notas
Enriquecimento e incorporação de dados	Use o Apache Beam e o BigQuery para enriquecer dados Mostra como enriquecer dados através da transformação de enriquecimento do Apache Beam com o BigQuery.	Ver bloco de notas
Enriquecimento e incorporação de dados	Incorporação da carregamento e da pesquisa vetorial com o Apache Beam e o BigQuery Demonstra como usar o pacote RAG do Apache Beam para gerar incorporações, carregá-las para o BigQuery e realizar uma pesquisa de similaridade vetorial.	Ver bloco de notas
Enriquecimento e incorporação de dados	Use o Apache Beam e o Bigtable para enriquecer os dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o Bigtable.	Ver bloco de notas
Enriquecimento e incorporação de dados	Gere incorporações de texto com modelos do Hugging Face Hub Usa o MLTransform para gerar incorporações a partir de dados de texto através da framework SentenceTransformers da Hugging Face.	Ver bloco de notas
Enriquecimento e incorporação de dados	Use o Apache Beam e o Vertex AI Feature Store para enriquecer os dados Mostra como enriquecer dados usando a transformação de enriquecimento do Apache Beam com o Vertex AI Feature Store.	Ver bloco de notas
Enriquecimento e incorporação de dados	Gere incorporações de texto através da API Vertex AI Usa a API text-embeddings da Vertex AI para gerar incorporações de texto que usam os grandes modelos de inteligência artificial (IA) generativa da Google.	Ver bloco de notas
Preparação de modelos e processamento de dados	Atualize os modelos de AA em pipelines em execução Demonstra como fazer atualizações automáticas de modelos sem parar o pipeline do Apache Beam através de entradas laterais.	Ver bloco de notas
Preparação de modelos e processamento de dados	Calcule e aplique o vocabulário num conjunto de dados Mostra como usar o MLTransform para gerar um vocabulário no texto de entrada e atribuir um valor de índice a cada token.	Ver bloco de notas
Preparação de modelos e processamento de dados	Execute a inferência de ML com vários modelos preparados de forma diferente Demonstra como usar um KeyedModelHandler para executar a inferência num pipeline do Apache Beam com vários modelos diferentes com base em cada chave.	Ver bloco de notas
Preparação de modelos e processamento de dados	Use MLTransform para dimensionar dados Mostra como usar o MLTransform para dimensionar dados, um passo de pré-processamento importante para preparar modelos de aprendizagem automática (ML).	Ver bloco de notas
Preparação de modelos e processamento de dados	Análise de modelos do TensorFlow no Beam Mostra como pode usar o TFMA para investigar e visualizar o desempenho de um modelo como parte do seu pipeline do Apache Beam através da criação e comparação de dois modelos.	Ver bloco de notas
Executar inferência	Inferência remota no Apache Beam Demonstra como implementar uma chamada de inferência personalizada no Apache Beam através da Google Cloud Vision API.	Ver bloco de notas
Executar inferência	Traga o seu próprio modelo de AA para o Beam RunInference Ilustra como usar o pacote spaCy para carregar um modelo de aprendizagem automática (AA) e realizar inferências num pipeline do Apache Beam usando o PTransform RunInference.	Ver bloco de notas
Executar inferência	Execute a inferência com um modelo aberto Gemma Demonstra como carregar o modelo Gemma 2B pré-configurado e, em seguida, usá-lo num pipeline de inferência do Apache Beam.	Ver bloco de notas
Executar inferência	Use o RunInference para IA generativa Mostra como usar a transformação RunInference do Apache Beam para tarefas de IA generativa com um modelo de linguagem (conteúdo extenso) (MDI/CE) do Hugging Face Model Hub.	Ver bloco de notas
Executar inferência	Apache Beam RunInference com Hugging Face Mostra como usar modelos do Hugging Face e a pipeline do Hugging Face em pipelines do Apache Beam que usam a transformação RunInference.	Ver bloco de notas
Executar inferência	Modelo de conjunto que usa um exemplo de legenda e classificação de imagens Mostra como implementar um modelo em cascata no Apache Beam através da API RunInference para legendagem de imagens.	Ver bloco de notas
Executar inferência	Apache Beam RunInference para PyTorch Demonstra a utilização da transformação RunInference para o PyTorch.	Ver bloco de notas
Executar inferência	Use o RunInference no Apache Beam Demonstra como usar a API RunInference com três frameworks de ML populares: PyTorch, TensorFlow e scikit-learn.	Ver bloco de notas
Executar inferência	Apache Beam RunInference para scikit-learn Demonstra a utilização da transformação RunInference para o scikit-learn.	Ver bloco de notas
Executar inferência	RunInference do Apache Beam com o TensorFlow Mostra como usar a transformação RunInference do Apache Beam para o TensorFlow.	Ver bloco de notas
Executar inferência	Use o RunInference com bibliotecas partilhadas básicas do TFX Demonstra como usar a transformação RunInference do Apache Beam com o TensorFlow e as bibliotecas partilhadas básicas do TFX (tfx-bsl).	Ver bloco de notas
Executar inferência	RunInference do Apache Beam com o TensorFlow e o TensorFlow Hub Mostra como usar a transformação RunInference do Apache Beam para o TensorFlow com um modelo preparado do TensorFlow Hub.	Ver bloco de notas
Executar inferência	Apache Beam RunInference com a Vertex AI Mostra como usar a transformação RunInference do Apache Beam para a classificação de imagens com a Vertex AI.	Ver bloco de notas
Executar inferência	Execute a inferência de ML usando o vLLM em GPUs Demonstra como executar a inferência de aprendizagem automática usando o vLLM e as GPUs.	Ver bloco de notas
Executar inferência	Use TPUs no Dataflow Demonstra como configurar e executar dois pipelines do Dataflow distintos que tiram partido das unidades de processamento de tensores (TPUs). O primeiro pipeline executa um cálculo simples para confirmar o acesso à TPU, enquanto o segundo pipeline, mais complexo, executa a inferência com o modelo Gemma-3-27b-it.	Ver bloco de notas
Exemplos de utilização especializados	Deteção de anomalias em dados de streaming e em lote com o Apache Beam (método de pontuação Z) Mostra como realizar a deteção de anomalias em dados de processamento em lote e streaming através da PTransform AnomalyDetection com o algoritmo de pontuação Z.	Ver bloco de notas
Exemplos de utilização especializados	Use o Gemma para avaliar o sentimento e resumir conversas Demonstra como usar o Gemma para avaliar o sentimento de uma conversa, resumir o conteúdo da conversa e criar uma resposta.	Ver bloco de notas