Membangun solusi analisis visi ML dengan Dataflow dan Cloud Vision API

Last reviewed 2024-05-23 UTC

Dalam arsitektur referensi ini, Anda akan mempelajari kasus penggunaan, alternatif desain, dan pertimbangan desain saat men-deploy pipeline Dataflow untuk memproses file gambar dengan Cloud Vision dan menyimpan hasil yang diproses di BigQuery. Anda dapat menggunakan hasil yang disimpan tersebut untuk analisis data skala besar dan melatih model BigQuery ML.

Dokumen arsitektur referensi ini ditujukan untuk data engineer dan data scientist.

Arsitektur

Diagram berikut mengilustrasikan alur sistem untuk arsitektur referensi ini.

Arsitektur yang menunjukkan alur informasi untuk proses penyerapan dan pemicu, pemrosesan, serta penyimpanan dan analisis.

Seperti yang ditunjukkan dalam diagram sebelumnya, informasi mengalir sebagai berikut:

  1. Menyerap dan memicu: Ini adalah tahap pertama alur sistem tempat gambar pertama kali masuk ke sistem. Selama tahap ini, tindakan berikut terjadi:

    1. Klien mengupload file gambar ke bucket Cloud Storage.
    2. Untuk setiap upload file, Cloud Storage akan otomatis mengirimkan notifikasi input dengan memublikasikan pesan ke Pub/Sub.

  2. Memproses: Tahap ini segera mengikuti tahap penyerapan dan pemicu. Untuk setiap notifikasi input baru, tindakan berikut terjadi:

    1. Pipeline Dataflow memproses notifikasi input file ini, mengekstrak metadata file dari pesan Pub/Sub, dan mengirimkan referensi file ke Vision API untuk diproses.
    2. Vision API membaca gambar dan membuat anotasi.
    3. Pipeline Dataflow menyimpan anotasi yang dihasilkan oleh Vision API dalam tabel BigQuery.

  3. Menyimpan dan menganalisis: Ini adalah tahap terakhir dalam alur. Pada tahap ini, Anda dapat melakukan hal berikut dengan hasil yang disimpan:

    1. Membuat kueri tabel BigQuery dan menganalisis anotasi yang disimpan.
    2. Menggunakan BigQuery ML atau Gemini Enterprise Agent Platform untuk membuat model dan menjalankan prediksi berdasarkan anotasi yang disimpan.
    3. Melakukan analisis tambahan dalam pipeline Dataflow (tidak ditampilkan pada diagram ini).

Produk yang digunakan

Arsitektur referensi ini menggunakan produk berikut Google Cloud :

Kasus penggunaan

Vision API mendukung beberapa fitur pemrosesan, termasuk pelabelan gambar, deteksi wajah dan tempat terkenal, pengenalan karakter optik pemberian tag konten vulgar, dan lainnya. Setiap fitur ini memungkinkan beberapa kasus penggunaan yang berlaku untuk berbagai industri. Dokumen ini berisi beberapa contoh sederhana tentang kemungkinan yang dapat dilakukan saat menggunakan Vision API, tetapi spektrum kemungkinan aplikasi sangat luas.

Vision API juga menawarkan model machine learning terlatih yang andal melalui REST dan RPC API. Anda dapat menetapkan label ke gambar dan mengklasifikasikannya ke dalam jutaan kategori yang telah ditentukan. Fitur ini membantu Anda mendeteksi objek, membaca teks yang dicetak dan ditulis tangan, serta membangun metadata yang berharga dalam katalog gambar Anda.

Arsitektur ini tidak memerlukan pelatihan model apa pun sebelum Anda dapat menggunakannya. Jika Anda memerlukan model kustom yang dilatih pada data tertentu, Platform Agen memungkinkan Anda melatih model AutoML atau model kustom untuk tujuan computer vision, seperti klasifikasi gambar dan deteksi objek. Atau, Anda dapat menggunakan Gemini Enterprise Agent Platform Vision untuk lingkungan pengembangan aplikasi end-to-end yang memungkinkan Anda membangun, men-deploy, dan mengelola aplikasi computer vision.

Alternatif desain

Daripada menyimpan gambar di bucket Google Cloud Storage, proses yang menghasilkan gambar dapat memublikasikannya langsung ke sistem pesan—misalnya Pub/Sub—dan pipeline Dataflow dapat mengirimkan gambar langsung ke Vision API.

Alternatif desain ini dapat menjadi solusi yang baik untuk kasus penggunaan yang sensitif terhadap latensi dan Anda perlu menganalisis gambar berukuran relatif kecil. Pub/Sub membatasi ukuran maksimum pesan hingga 10 Mb.

Jika Anda perlu memproses sejumlah besar gambar secara batch, Anda dapat menggunakan API yang dirancang khusus asyncBatchAnnotate.

Pertimbangan desain

Bagian ini menjelaskan pertimbangan desain untuk arsitektur referensi ini:

Keamanan, privasi, dan kepatuhan

Gambar yang diterima dari sumber yang tidak tepercaya dapat berisi malware. Karena Vision API tidak menjalankan apa pun berdasarkan gambar yang dianalisisnya, malware berbasis gambar tidak akan memengaruhi API. Jika Anda perlu memindai gambar, ubah pipeline Dataflow untuk menambahkan langkah pemindaian. Untuk mencapai hasil yang sama, Anda juga dapat menggunakan langganan terpisah ke topik Pub/Sub dan memindai gambar dalam proses terpisah.

Untuk mengetahui informasi selengkapnya, lihat Mengotomatiskan pemindaian malware untuk file yang diupload ke Cloud Storage.

Vision API uses Identity and Access Management (IAM) untuk autentikasi. Untuk mengakses Vision API, akun utama keamanan memerlukan akses Cloud Storage > Storage object viewer (roles/storage.objectViewer) ke bucket yang berisi file yang ingin Anda analisis.

Untuk mengetahui prinsip dan rekomendasi keamanan yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keamanan dalam Well-Architected Framework.

Pengoptimalan biaya

Dibandingkan dengan opsi lain yang dibahas, seperti pemrosesan latensi rendah dan pemrosesan batch asinkron, arsitektur referensi ini menggunakan cara yang hemat biaya untuk memproses gambar dalam pipeline streaming dengan membuat batch permintaan API. Streaming gambar langsung dengan latensi yang lebih rendah yang disebutkan di bagian Alternatif desain dapat lebih mahal karena biaya Pub/Sub dan Dataflow tambahan. Untuk pemrosesan gambar yang tidak perlu terjadi dalam hitungan detik atau menit, Anda dapat menjalankan pipeline Dataflow dalam mode batch. Menjalankan pipeline dalam mode batch dapat memberikan penghematan jika dibandingkan dengan biaya menjalankan pipeline streaming.

Vision API mendukung anotasi gambar batch asinkron offline untuk semua fitur. Permintaan asinkron mendukung hingga 2.000 gambar per batch. Sebagai respons, Vision API menampilkan file JSON yang disimpan di bucket Cloud Storage.

Vision API juga menyediakan serangkaian fitur untuk menganalisis gambar. Harga per gambar per fitur. Untuk mengurangi biaya, hanya minta fitur tertentu yang Anda butuhkan untuk solusi Anda.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Untuk mengetahui prinsip dan rekomendasi pengoptimalan biaya yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Pengoptimalan biaya dalam Well-Architected Framework.

Pengoptimalan performa

Vision API adalah API yang menggunakan banyak resource. Oleh karena itu, memproses gambar dalam skala besar memerlukan orkestrasi panggilan API yang cermat. Pipeline Dataflow menangani pembuatan batch permintaan API, menangani pengecualian terkait pencapaian kuota dengan baik, dan menghasilkan metrik kustom penggunaan API. Metrik ini dapat membantu Anda memutuskan apakah peningkatan kuota API diperlukan, atau apakah parameter pipeline Dataflow harus disesuaikan untuk mengurangi frekuensi permintaan. Untuk mengetahui informasi selengkapnya tentang cara meningkatkan permintaan kuota untuk Vision API, lihat Kuota dan batas.

Pipeline Dataflow memiliki beberapa parameter yang dapat memengaruhi latensi pemrosesan. Untuk mengetahui informasi selengkapnya tentang parameter ini, lihat Men-deploy solusi analisis visi ML dengan Dataflow dan Vision API.

Untuk mengetahui prinsip dan rekomendasi pengoptimalan performa yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Pengoptimalan performa dalam Well-Architected Framework.

Deployment

Untuk men-deploy arsitektur ini, lihat Men-deploy solusi analisis visi ML dengan Dataflow dan Vision API.

Langkah berikutnya

Kontributor

Penulis:

Kontributor lainnya: