Jelajahi notebook Dataflow ML untuk mengintegrasikan machine learning ke dalam pipeline Apache Beam. Notebook ini memberikan contoh praktis dan panduan untuk alur kerja machine learning umum.
Gunakan referensi ini untuk:
- Melakukan pra-pemrosesan data untuk model ML: Hal ini mencakup tugas seperti penskalaan data,
penghitungan kosakata, dan penggunaan
MLTransformuntuk persiapan data. - Menjalankan inferensi dengan berbagai model dan framework: Gunakan
RunInferencetransformasi dengan PyTorch, TensorFlow, scikit-learn, model Hugging Face, model Gemma, dan Platform Agen Gemini Enterprise, termasuk di GPU dengan vLLM. - Membuat dan mengelola embedding: Buat teks embedding menggunakan Platform Agen atau Hugging Face, dan masukkan ke dalam database seperti AlloyDB dan BigQuery untuk penelusuran vektor.
- Menerapkan pola pipeline ML lanjutan: Hal ini mencakup pembaruan model otomatis dalam pipeline yang berjalan, penggunaan beberapa model, pembuatan model ensemble model, dan pengayaan data menggunakan BigQuery, Bigtable, dan Vertex AI Feature Store.
- Menerapkan ML ke kasus penggunaan tertentu: Contohnya mencakup deteksi anomali serta analisis dan ringkasan sentimen dengan Gemma.
Semua tutorial
|
Konsep Inti Dataflow &MLTransform
|
Pra-pemrosesan dengan Apache Beam DataFrames API Menunjukkan penggunaan Apache Beam DataFrames API untuk melakukan langkah-langkah umum eksplorasi dan pra-pemrosesan data. |
Lihat Notebook |
|
Konsep Inti Dataflow &MLTransform
|
Melakukan pra-pemrosesan data dengan MLTransform Pengantar dasar penggunaan MLTransform untuk melakukan pra-pemrosesan data dalam alur kerja machine learning. |
Lihat Notebook |
|
Pengayaan data &Embedding
|
Penyerapan Embedding Vektor dengan Apache Beam dan AlloyDB Menunjukkan cara membuat embedding dari data dan memasukkannya ke AlloyDB menggunakan Apache Beam dan Dataflow untuk pemrosesan data yang skalabel. |
Lihat Notebook |
|
Pengayaan data &Embedding
|
Menggunakan Apache Beam dan BigQuery untuk memperkaya data Menunjukkan cara memperkaya data menggunakan transformasi pengayaan Apache Beam dengan BigQuery. |
Lihat Notebook |
|
Pengayaan data &Embedding
|
Penyerapan Embedding dan Penelusuran Vektor dengan Apache Beam dan BigQuery Menunjukkan cara menggunakan paket Apache Beam RAG untuk membuat embedding, memasukkannya ke BigQuery, dan melakukan penelusuran kemiripan vektor. |
Lihat Notebook |
|
Pengayaan data &Embedding
|
Menggunakan Apache Beam dan Bigtable untuk memperkaya data Menunjukkan cara memperkaya data menggunakan transformasi pengayaan Apache Beam dengan Bigtable. |
Lihat Notebook |
|
Pengayaan data &Embedding
|
Membuat embedding teks menggunakan model Hugging Face Hub Menggunakan MLTransform untuk membuat embedding dari data teks menggunakan framework SentenceTransformers Hugging Face. |
Lihat Notebook |
|
Pengayaan data &Embedding
|
Menggunakan Apache Beam dan Vertex AI Feature Store untuk memperkaya data Menunjukkan cara memperkaya data menggunakan transformasi pengayaan Apache Beam dengan Vertex AI Feature Store. |
Lihat Notebook |
|
Pengayaan data &Embedding
|
Membuat embedding teks menggunakan Vertex AI API Menggunakan Vertex AI text-embeddings API untuk membuat embedding teks yang menggunakan model AI generatif besar Google. |
Lihat Notebook |
|
Pelatihan model &Pemrosesan data
|
Memperbarui model ML dalam pipeline yang berjalan Menunjukkan cara melakukan pembaruan model otomatis tanpa menghentikan pipeline Apache Beam menggunakan input samping. |
Lihat Notebook |
|
Pelatihan model &Pemrosesan data
|
Menghitung dan menerapkan kosakata pada set data Menunjukkan cara menggunakan MLTransform untuk membuat kosakata pada teks input dan menetapkan nilai indeks ke setiap token. |
Lihat Notebook |
|
Pelatihan model &Pemrosesan data
|
Menjalankan inferensi ML dengan beberapa model yang dilatih secara berbeda Menunjukkan cara menggunakan KeyedModelHandler untuk menjalankan inferensi dalam pipeline Apache Beam dengan beberapa model berbeda berdasarkan per kunci. |
Lihat Notebook |
|
Pelatihan model &Pemrosesan data
|
Menggunakan MLTransform untuk menskalakan data Menunjukkan cara menggunakan MLTransform untuk menskalakan data, langkah pra-pemrosesan penting untuk melatih model machine learning (ML). |
Lihat Notebook |
|
Pelatihan model &Pemrosesan data
|
Analisis Model TensorFlow di Beam Menunjukkan cara menggunakan TFMA untuk menyelidiki dan memvisualisasikan performa model sebagai bagian dari pipeline Apache Beam dengan membuat dan membandingkan dua model. |
Lihat Notebook |
|
Menjalankan inferensi
|
Inferensi jarak jauh di Apache Beam Menunjukkan cara menerapkan panggilan inferensi kustom di Apache Beam menggunakan Google Cloud Vision API. |
Lihat Notebook |
|
Menjalankan inferensi
|
Membawa model ML Anda sendiri ke Beam RunInference Mengilustrasikan cara menggunakan paket spaCy untuk memuat model machine learning (ML) dan melakukan inferensi dalam pipeline Apache Beam menggunakan RunInference PTransform. |
Lihat Notebook |
|
Menjalankan inferensi
|
Menjalankan inferensi dengan model terbuka Gemma Menunjukkan cara memuat model Gemma 2B yang telah dikonfigurasi sebelumnya, lalu menggunakannya dalam pipeline inferensi Apache Beam. |
Lihat Notebook |
|
Menjalankan inferensi
|
Menggunakan RunInference untuk AI Generatif Menunjukkan cara menggunakan transformasi Apache Beam RunInference untuk tugas AI generatif dengan model bahasa besar (LLM) dari Hugging Face Model Hub. |
Lihat Notebook |
|
Menjalankan inferensi
|
Apache Beam RunInference dengan Hugging Face Menunjukkan cara menggunakan model dari Hugging Face dan pipeline Hugging Face di pipeline Apache Beam yang menggunakan transformasi RunInference. |
Lihat Notebook |
|
Menjalankan inferensi
|
Model ensemble menggunakan contoh pemberian teks dan peringkat gambar Menunjukkan cara menerapkan model kaskade di Apache Beam menggunakan RunInference API untuk pemberian teks gambar. |
Lihat Notebook |
|
Menjalankan inferensi
|
Apache Beam RunInference untuk PyTorch Menunjukkan penggunaan transformasi RunInference untuk PyTorch. |
Lihat Notebook |
|
Menjalankan inferensi
|
Menggunakan RunInference di Apache Beam Menunjukkan cara menggunakan RunInference API dengan tiga framework ML populer: PyTorch, TensorFlow, dan scikit-learn. |
Lihat Notebook |
|
Menjalankan inferensi
|
Apache Beam RunInference untuk scikit-learn Menunjukkan penggunaan transformasi RunInference untuk scikit-learn. |
Lihat Notebook |
|
Menjalankan inferensi
|
Apache Beam RunInference dengan TensorFlow Menunjukkan cara menggunakan transformasi Apache Beam RunInference untuk TensorFlow. |
Lihat Notebook |
|
Menjalankan inferensi
|
Menggunakan RunInference dengan TFX Basic Shared Libraries Menunjukkan cara menggunakan transformasi Apache Beam RunInference dengan TensorFlow dan TFX Basic Shared Libraries (tfx-bsl). |
Lihat Notebook |
|
Menjalankan inferensi
|
Apache Beam RunInference dengan TensorFlow dan TensorFlow Hub Menunjukkan cara menggunakan transformasi Apache Beam RunInference untuk TensorFlow dengan model terlatih dari TensorFlow Hub. |
Lihat Notebook |
|
Menjalankan inferensi
|
Apache Beam RunInference dengan Vertex AI Menunjukkan cara menggunakan transformasi Apache Beam RunInference untuk klasifikasi gambar dengan Vertex AI. |
Lihat Notebook |
|
Menjalankan inferensi
|
Menjalankan inferensi ML menggunakan vLLM di GPU Menunjukkan cara menjalankan inferensi machine learning menggunakan vLLM dan GPU. |
Lihat Notebook |
|
Menjalankan inferensi
|
Menggunakan TPU di Dataflow Menunjukkan cara mengonfigurasi dan menjalankan dua pipeline Dataflow berbeda yang memanfaatkan Tensor Processing Unit (TPU). Pipeline pertama melakukan komputasi sederhana untuk mengonfirmasi akses TPU, sedangkan pipeline kedua yang lebih kompleks menjalankan inferensi dengan model Gemma-3-27b-it. |
Lihat Notebook |
|
Kasus penggunaan khusus
|
Deteksi Anomali pada Data Batch dan Streaming menggunakan Apache Beam (Metode Z-Score) Menunjukkan cara melakukan deteksi anomali pada data batch dan streaming menggunakan AnomalyDetection PTransform dengan algoritma Z-Score. |
Lihat Notebook |
|
Kasus penggunaan khusus
|
Menggunakan Gemma untuk mengukur sentimen dan meringkas percakapan Menunjukkan cara menggunakan Gemma untuk mengukur sentimen percakapan, meringkas konten percakapan, dan membuat draf balasan. |
Lihat Notebook |