Esplora i blocchi note Dataflow ML per integrare il machine learning nelle pipeline Apache Beam. Questi blocchi note forniscono esempi pratici e indicazioni per i flussi di lavoro di machine learning comuni.
Utilizza queste risorse per:
- Preelabora i dati per i modelli ML: include attività come il ridimensionamento dei dati,
il calcolo dei vocabolari e l'utilizzo di
MLTransformper la preparazione dei dati. - Esegui l'inferenza con vari modelli e framework: utilizza la trasformazione
RunInferencecon PyTorch, TensorFlow, scikit-learn, modelli Hugging Face, modelli Gemma e Vertex AI, incluse le GPU con vLLM. - Genera e gestisci incorporamenti: crea incorporamenti di testo utilizzando Vertex AI o Hugging Face e importali in database come AlloyDB e BigQuery per la ricerca vettoriale.
- Implementa pattern avanzati di pipeline ML: sono inclusi l'aggiornamento automatico dei modelli nelle pipeline in esecuzione, l'utilizzo di più modelli, la creazione di modelli di ensemble e l'arricchimento dei dati utilizzando BigQuery, Bigtable e Vertex AI Feature Store.
- Applica ML a casi d'uso specifici: gli esempi includono il rilevamento di anomalie nonché l'analisi del sentiment e il riepilogo con Gemma.
Tutti i tutorial
|
Concetti di base di Dataflow e MLTransform
|
Preelaborazione con l'API Apache Beam DataFrames Mostra l'utilizzo dell'API Apache Beam DataFrames per eseguire passaggi comuni di esplorazione e pre-elaborazione dei dati. |
Visualizza il notebook |
|
Concetti di base di Dataflow e MLTransform
|
Pre-elabora i dati con MLTransform Un'introduzione di base all'utilizzo di MLTransform per il pre-elaborazione dei dati per i flussi di lavoro di machine learning. |
Visualizza il notebook |
|
Arricchimento e incorporamento dei dati
|
Importazione di vector embedding con Apache Beam e AlloyDB Mostra come generare incorporamenti dai dati e importarli in AlloyDB utilizzando Apache Beam e Dataflow per l'elaborazione scalabile dei dati. |
Visualizza il notebook |
|
Arricchimento e incorporamento dei dati
|
Utilizzare Apache Beam e BigQuery per arricchire i dati Mostra come arricchire i dati utilizzando la trasformazione di arricchimento Apache Beam con BigQuery. |
Visualizza il notebook |
|
Arricchimento e incorporamento dei dati
|
Importazione di embedding e ricerca vettoriale con Apache Beam e BigQuery Mostra come utilizzare il pacchetto Apache Beam RAG per generare incorporamenti, importarli in BigQuery ed eseguire la ricerca di similarità vettoriale. |
Visualizza il notebook |
|
Arricchimento e incorporamento dei dati
|
Utilizzare Apache Beam e Bigtable per arricchire i dati Mostra come arricchire i dati utilizzando la trasformazione di arricchimento di Apache Beam con Bigtable. |
Visualizza il notebook |
|
Arricchimento e incorporamento dei dati
|
Generare embedding di testo utilizzando i modelli di Hugging Face Hub Utilizza MLTransform per generare incorporamenti dai dati di testo utilizzando il framework SentenceTransformers di Hugging Face. |
Visualizza il notebook |
|
Arricchimento e incorporamento dei dati
|
Utilizzare Apache Beam e Vertex AI Feature Store per arricchire i dati Mostra come arricchire i dati utilizzando la trasformazione di arricchimento di Apache Beam con Vertex AI Feature Store. |
Visualizza il notebook |
|
Arricchimento e incorporamento dei dati
|
Genera text embedding utilizzando l'API Vertex AI Utilizza l'API Vertex AI text embedding per generare text embedding che utilizzano i grandi modelli di intelligenza artificiale (AI) generativa di Google. |
Visualizza il notebook |
|
Addestramento del modello e trattamento dei dati
|
Aggiornare i modelli ML nelle pipeline in esecuzione Mostra come eseguire aggiornamenti automatici del modello senza interrompere la pipeline Apache Beam utilizzando input secondari. |
Visualizza il notebook |
|
Addestramento del modello ed elaborazione dei dati
|
Calcolare e applicare il vocabolario a un set di dati Mostra come utilizzare MLTransform per generare un vocabolario sul testo di input e assegnare un valore di indice a ogni token. |
Visualizza il notebook |
|
Addestramento del modello e trattamento dei dati
|
Esegui l'inferenza ML con più modelli addestrati in modo diverso Mostra come utilizzare un KeyedModelHandler per eseguire l'inferenza in una pipeline Apache Beam con più modelli diversi in base alla chiave. |
Visualizza il notebook |
|
Addestramento del modello e trattamento dei dati
|
Utilizzare MLTransform per scalare i dati Mostra come utilizzare MLTransform per scalare i dati, un passaggio di preelaborazione importante per l'addestramento dei modelli di machine learning (ML). |
Visualizza il notebook |
|
Addestramento del modello ed elaborazione dei dati
|
TensorFlow Model Analysis in Beam Mostra come utilizzare TFMA per analizzare e visualizzare il rendimento di un modello nell'ambito della pipeline Apache Beam creando e confrontando due modelli. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Inferenza remota in Apache Beam Mostra come implementare una chiamata di inferenza personalizzata in Apache Beam utilizzando l'API Google Cloud Vision. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Porta il tuo modello ML in Beam RunInference Illustra come utilizzare il pacchetto spaCy per caricare un modello di machine learning (ML) ed eseguire l'inferenza in una pipeline Apache Beam utilizzando la trasformazione P RunInference. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Eseguire l'inferenza con un modello aperto Gemma Mostra come caricare il modello Gemma 2B preconfigurato e poi utilizzarlo in una pipeline di inferenza Apache Beam. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Utilizzare RunInference per l'AI generativa Mostra come utilizzare la trasformazione RunInference di Apache Beam per attività di AI generativa con un modello linguistico di grandi dimensioni (LLM) dell'Hugging Face Model Hub. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Apache Beam RunInference con Hugging Face Mostra come utilizzare i modelli di Hugging Face e la pipeline Hugging Face nelle pipeline Apache Beam che utilizzano la trasformazione RunInference. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Modello di ensemble che utilizza un esempio di didascalia e ranking delle immagini Mostra come implementare un modello a cascata in Apache Beam utilizzando l'API RunInference per la generazione di didascalie delle immagini. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Apache Beam RunInference per PyTorch Mostra l'utilizzo della trasformazione RunInference per PyTorch. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Utilizzare RunInference in Apache Beam Mostra come utilizzare l'API RunInference con tre framework ML popolari: PyTorch, TensorFlow e scikit-learn. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Apache Beam RunInference per scikit-learn Mostra l'utilizzo della trasformazione RunInference per scikit-learn. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Apache Beam RunInference con TensorFlow Mostra come utilizzare la trasformazione RunInference di Apache Beam per TensorFlow. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Utilizzare RunInference con le librerie condivise di base di TFX Mostra come utilizzare la trasformazione RunInference di Apache Beam con TensorFlow e le librerie condivise di base di TFX (tfx-bsl). |
Visualizza il notebook |
|
Esegui l'inferenza
|
Apache Beam RunInference con TensorFlow e TensorFlow Hub Mostra come utilizzare la trasformazione RunInference di Apache Beam per TensorFlow con un modello addestrato da TensorFlow Hub. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Apache Beam RunInference con Vertex AI Mostra come utilizzare la trasformazione RunInference di Apache Beam per la classificazione delle immagini con Vertex AI. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Esegui l'inferenza ML utilizzando vLLM sulle GPU Mostra come eseguire l'inferenza di machine learning utilizzando vLLM e le GPU. |
Visualizza il notebook |
|
Esegui l'inferenza
|
Utilizzare le TPU in Dataflow Mostra come configurare ed eseguire due pipeline Dataflow distinte che sfruttano le Tensor Processing Unit (TPU). La prima pipeline esegue un semplice calcolo per confermare l'accesso alla TPU, mentre la seconda, più complessa, esegue l'inferenza con il modello Gemma-3-27b-it. |
Visualizza il notebook |
|
Casi d'uso specializzati
|
Rilevamento di anomalie nei dati batch e di streaming utilizzando Apache Beam (metodo Z-score) Mostra come eseguire il rilevamento di anomalie sui dati batch e di streaming utilizzando la trasformazione P AnomalyDetection con l'algoritmo Z-Score. |
Visualizza il notebook |
|
Casi d'uso specializzati
|
Utilizzare Gemma per valutare il sentiment e riassumere le conversazioni Mostra come utilizzare Gemma per valutare il sentiment di una conversazione, riassumere i contenuti della conversazione e scrivere una bozza di risposta. |
Visualizza il notebook |