Vertex AI di peralatan Google Distributed Cloud (GDC) dengan air gap memungkinkan Anda menjalankan workload machine learning (ML) dan kecerdasan buatan (AI) di perangkat portabel yang aman. Perangkat ini menyediakan akses ke serangkaian API terlatih tertentu, sehingga Anda dapat mengintegrasikan pengenalan ucapan, terjemahan, dan teks ke dalam solusi cloud pribadi Anda.
Fitur utama
Vertex AI di peralatan GDC dengan air gap menawarkan fitur berikut:
- Deployment air-gapped: Jalankan layanan Vertex AI sepenuhnya dalam perangkat portabel Anda, sehingga memastikan kedaulatan dan kepatuhan data.
- Pengalaman Vertex AI yang sudah dikenal: Manfaatkan alat dan API yang sama dari Google Cloud, sehingga menyederhanakan pengembangan dan pengelolaan.
- Model dan algoritma bawaan: Akses berbagai model terlatih untuk tugas machine learning umum, sehingga mempercepat waktu untuk mendapatkan manfaat.
Layanan yang tersedia
Vertex AI di peralatan GDC dengan air gap menawarkan layanan terlatih berikut:
- Pengenalan Karakter Optik (OCR): Mengekstrak teks dari gambar dan file.
- Speech-to-Text: Mengonversi bahasa lisan menjadi teks tertulis.
- Vertex AI Translation: Menerjemahkan teks antarbahasa.
Perencanaan kapasitas dan persyaratan komputasi
Setiap layanan Vertex AI memerlukan resource komputasi yang berbeda. Tabel berikut memberikan persyaratan untuk setiap model terlatih:
| API Terlatih | Resource komputasi | Persyaratan jumlah GPU | Persyaratan memori GPU |
|---|---|---|---|
| Pengenalan Karakter Optik (OCR) | GPU | Satu GPU A100 80 GB | 40 GB |
| Speech-to-Text | CPU | Tidak berlaku (hanya CPU) | Tidak berlaku (hanya CPU) |
| Vertex AI Translation | GPU | Satu GPU A100 80 GB | 50 GB |
Peralatan GDC dengan air gap mencakup satu GPU NVIDIA A100 80 GB. Hal ini membatasi perangkat untuk hanya menjalankan satu API terlatih Vertex AI yang bergantung pada GPU pada satu waktu. Jika Anda mencoba mengaktifkan Vertex AI Translation dan OCR, API kedua akan gagal diaktifkan dengan pesan error yang menunjukkan resource GPU tidak mencukupi. Namun, Anda dapat menjalankan Speech-to-Text bersama Vertex AI Translation atau OCR, karena Speech-to-Text hanya memerlukan resource CPU.
Untuk membantu Anda menentukan jumlah unit peralatan yang diperlukan untuk workload AI/ML, tinjau batas kapasitas berikut untuk setiap API terlatih Vertex AI:
| API terlatih | Kapasitas per unit peralatan |
|---|---|
| Pengenalan Karakter Optik (OCR) | Hingga 30 gambar per menit (satu gambar setiap dua detik). |
| Speech-to-Text | Hingga tujuh menit audio yang ditranskripsikan per menit (tujuh detik audio yang ditranskripsikan per detik). |
| Vertex AI Translation | Hingga 61.000 karakter per menit (1.024 karakter per detik). |
Saat Anda merencanakan deployment, pertimbangkan panduan berikut:
Batas kapasitas adalah perkiraan dan tidak dijamin. Kapasitas sebenarnya mungkin bervariasi bergantung pada faktor-faktor seperti berikut:
- Kompleksitas data input (misalnya, bahasa untuk terjemahan, kualitas gambar untuk OCR, dan kejelasan audio untuk Speech-to-Text).
- Konfigurasi spesifik peralatan.
- Penggunaan serentak layanan lain di peralatan.
Hanya satu API yang menggunakan banyak GPU (Vertex AI Translation atau OCR) yang dapat aktif dalam satu waktu karena peralatan GDC dengan air gap dibatasi untuk satu GPU A100 80 GB.
Perkirakan penggunaan puncak dan potensi pertumbuhan Anda di masa mendatang.
Untuk workload berat yang memerlukan throughput lebih tinggi, pertimbangkan untuk men-deploy beberapa unit peralatan.
Tabel berikut menguraikan persyaratan penyimpanan untuk setiap layanan Vertex AI di peralatan GDC dengan air gap:
| Komponen | Persyaratan penyimpanan |
|---|---|
| Frontend OCR | 0,1 GB |
| Backend OCR | 5 GB |
| Ekstraktor OCR | 0,1 GB |
| Frontend Speech-to-Text | 0,1 GB |
| Backend Speech-to-Text | 1,5 GB |
| Frontend Vertex AI Translation | 0,7 GB |
| Backend Vertex AI Translation | 61,4 GB |
Pastikan peralatan Anda memiliki kapasitas penyimpanan yang cukup untuk mengakomodasi layanan Vertex AI yang ingin Anda gunakan.
Manfaat
Vertex AI di peralatan GDC dengan air gap menawarkan manfaat berikut:
- Pengalaman pengembangan yang lancar: Gunakan alat, API, dan alur kerja Vertex AI yang sama di Google Cloud, sehingga pengembangan dan pengelolaan menjadi intuitif dan efisien.
- Keamanan dan privasi yang ditingkatkan: Pertahankan kontrol penuh atas data Anda dan patuhi persyaratan peraturan.
- Mempercepat time to value: Gunakan model terlatih untuk tugas machine learning umum.
- MLOps yang disederhanakan: Manfaatkan kemampuan operasi machine learning yang tangguh untuk integrasi AI yang lancar dalam lingkungan air-gapped Anda.
Memulai
Untuk mulai menggunakan Vertex AI di peralatan GDC dengan air gap, lakukan hal berikut:
- Pelajari peran dan izin penting untuk layanan yang tersedia.
- Siapkan project untuk workload AI dan machine learning Anda.
- Sediakan GPU dan aktifkan layanan Vertex AI.
- Menginstal library klien Vertex AI.