Vertex AI di perangkat air-gapped Google Distributed Cloud (GDC) menghadirkan kecanggihan platform machine learning (ML) dan kecerdasan buatan (AI) ke perangkat portabel Anda yang aman. Perangkat air gap GDC menyediakan akses ke serangkaian API Vertex AI terlatih tertentu, sehingga memungkinkan kemampuan AI dalam solusi cloud pribadi Anda.
Fitur utama
Vertex AI di perangkat air-gapped GDC menawarkan fitur berikut:
- Deployment yang terisolasi dari internet: Jalankan layanan Vertex AI sepenuhnya dalam perangkat portabel Anda, sehingga memastikan kedaulatan dan kepatuhan data.
- Pengalaman Vertex AI yang sudah dikenal: Manfaatkan alat dan API yang sama dari Google Cloud, sehingga menyederhanakan pengembangan dan pengelolaan.
- Model dan algoritma bawaan: Akses berbagai model terlatih untuk tugas machine learning umum, sehingga mempercepat waktu Anda untuk mendapatkan nilai.
Layanan yang tersedia
Vertex AI di perangkat air-gapped GDC menawarkan layanan terlatih sebelumnya berikut:
- Pengenalan Karakter Optik (OCR): Mengekstrak teks dari gambar dan file.
- Speech-to-Text: Mengonversi bahasa lisan menjadi teks tertulis.
- Vertex AI Translation: Terjemahkan teks antarbahasa.
Perencanaan kapasitas dan persyaratan komputasi
Setiap layanan Vertex AI memerlukan resource komputasi yang berbeda. Tabel berikut memberikan persyaratan untuk setiap model terlatih:
| API terlatih | Sumber daya komputasi | Persyaratan jumlah GPU | Persyaratan memori GPU |
|---|---|---|---|
| Pengenalan Karakter Optik (OCR) | GPU | Satu GPU A100 80 GB | 40 GB |
| Speech-to-Text | CPU | Tidak berlaku (khusus CPU) | Tidak berlaku (khusus CPU) |
| Vertex AI Translation | GPU | Satu GPU A100 80 GB | 50 GB |
Perangkat air-gapped GDC mencakup satu GPU NVIDIA A100 80 GB. Hal ini membatasi perangkat untuk menjalankan hanya satu API pra-latih Vertex AI yang bergantung pada GPU dalam satu waktu. Jika Anda mencoba mengaktifkan Vertex AI Translation dan OCR, API kedua akan gagal diaktifkan dengan pesan error yang menunjukkan bahwa resource GPU tidak mencukupi. Namun, Anda dapat menjalankan Speech-to-Text bersama Vertex AI Translation atau OCR, karena Speech-to-Text hanya memerlukan resource CPU.
Untuk membantu Anda menentukan jumlah unit appliance yang diperlukan untuk beban kerja AI/ML, tinjau batas kapasitas berikut untuk setiap API terlatih sebelumnya Vertex AI:
| API terlatih | Kapasitas per unit appliance |
|---|---|
| Pengenalan Karakter Optik (OCR) | Hingga 30 gambar per menit (satu gambar setiap dua detik). |
| Speech-to-Text | Hingga tujuh menit audio ditranskripsikan per menit (tujuh detik audio ditranskripsikan per detik). |
| Vertex AI Translation | Hingga 61.000 karakter per menit (1.024 karakter per detik). |
Saat Anda merencanakan deployment, pertimbangkan panduan berikut:
Batas kapasitas adalah perkiraan dan tidak dijamin. Kapasitas sebenarnya dapat bervariasi bergantung pada faktor-faktor seperti berikut:
- Kompleksitas data input (misalnya, bahasa untuk terjemahan, kualitas gambar untuk OCR, dan kejelasan audio untuk Speech-to-Text).
- Konfigurasi spesifik appliance.
- Penggunaan layanan lain secara bersamaan di perangkat.
Hanya satu API yang intensif GPU (Vertex AI Translation atau OCR) yang dapat aktif dalam satu waktu karena perangkat GDC yang terisolasi dari internet dibatasi untuk satu GPU A100 80 GB.
Perkirakan penggunaan puncak dan potensi pertumbuhan di masa mendatang.
Untuk workload berat yang memerlukan throughput lebih tinggi, pertimbangkan untuk men-deploy beberapa unit appliance.
Tabel berikut menguraikan persyaratan penyimpanan untuk setiap layanan Vertex AI di perangkat air-gapped GDC:
| Komponen | Persyaratan penyimpanan |
|---|---|
| Frontend OCR | 0,1 GB |
| Backend OCR | 5 GB |
| Ekstraktor OCR | 0,1 GB |
| Frontend Speech-to-Text | 0,1 GB |
| Backend Speech-to-Text | 1,5 GB |
| Frontend Vertex AI Translation | 0,7 GB |
| Backend Vertex AI Translation | 61,4 GB |
Pastikan perangkat Anda memiliki kapasitas penyimpanan yang cukup untuk mengakomodasi layanan Vertex AI yang ingin Anda gunakan.
Manfaat
Vertex AI di perangkat air-gapped GDC menawarkan manfaat berikut:
- Pengalaman pengembangan yang lancar: Gunakan alat, API, dan alur kerja Vertex AI yang sama di Google Cloud, sehingga pengembangan dan pengelolaan menjadi intuitif dan efisien.
- Keamanan dan privasi yang ditingkatkan: Pertahankan kontrol penuh atas data Anda dan patuhi persyaratan peraturan.
- Waktu untuk mendapatkan nilai yang lebih cepat: Gunakan model terlatih untuk tugas machine learning umum.
- MLOps yang disederhanakan: Manfaatkan kemampuan operasi machine learning yang andal untuk integrasi AI yang lancar dalam lingkungan yang terisolasi dari internet.
Memulai
Untuk mulai menggunakan Vertex AI di perangkat air-gapped GDC, lakukan hal berikut:
- Pelajari peran dan izin penting untuk layanan yang tersedia.
- Siapkan project untuk workload AI dan machine learning Anda.
- Sediakan GPU dan aktifkan layanan Vertex AI.
- Instal library klien Vertex AI.