Vertex AI on Google Distributed Cloud (GDC) 實體隔離方案設備可讓您在安全的攜帶式裝置上,執行機器學習 (ML) 和人工智慧 (AI) 工作負載。這款設備可讓您存取一組預先訓練的 API,將語音、翻譯和文字辨識功能整合至私有雲解決方案。
主要功能與特色
GDC 實體隔離方案設備上的 Vertex AI 提供下列功能:
- 實體隔離部署:完全在可攜式裝置中執行 Vertex AI 服務,確保資料主權和法規遵循。
- 熟悉的 Vertex AI 體驗:使用 Google Cloud提供的相同工具和 API,簡化開發和管理作業。
- 預先建構的模型和演算法:存取一系列預先訓練模型,用於常見的機器學習工作,加速實現價值。
可用服務
GDC 實體隔離方案設備上的 Vertex AI 提供下列預先訓練服務:
- 光學字元辨識 (OCR):從圖片和檔案中擷取文字。
- Speech-to-Text:將口語內容轉換成書面文字。
- Vertex AI Translation:多語言文字互譯。
容量規劃和運算需求
每項 Vertex AI 服務都需要不同的運算資源。下表列出各個預先訓練模型的需求:
| 預先訓練的 API | 運算資源 | GPU 數量需求 | GPU 記憶體需求 |
|---|---|---|---|
| 光學字元辨識 (OCR) | GPU | 單一 A100 80 GB GPU | 40 GB |
| Speech-to-Text | CPU | 不適用 (僅限 CPU) | 不適用 (僅限 CPU) |
| Vertex AI Translation | GPU | 單一 A100 80 GB GPU | 50 GB |
GDC 實體隔離方案設備包含一個 NVIDIA A100 80 GB GPU。這會限制裝置一次只能執行一個依賴 GPU 的 Vertex AI 預先訓練 API。如果嘗試同時啟用 Vertex AI Translation 和 OCR,第二個 API 會啟用失敗,並顯示 GPU 資源不足的錯誤訊息。不過,您可以同時執行 Speech-to-Text 和 Vertex AI Translation 或 OCR,因為 Speech-to-Text 只需要 CPU 資源。
為協助您判斷 AI/機器學習工作負載所需的設備數量,請查看下列各項 Vertex AI 預先訓練 API 的容量限制:
| 預先訓練的 API | 每個設備單位的容量 |
|---|---|
| 光學字元辨識 (OCR) | 每分鐘最多 30 張圖片 (每兩秒一張)。 |
| Speech-to-Text | 每分鐘最多可轉錄七分鐘的音訊 (每秒可轉錄七秒的音訊)。 |
| Vertex AI Translation | 每分鐘最多 61,000 個字元 (每秒 1,024 個字元)。 |
規劃部署作業時,請參考下列指引:
容量限制為約略值,不保證準確。實際容量可能因下列因素而異:
- 輸入資料的複雜度 (例如翻譯語言、OCR 圖片品質,以及 Speech-to-Text 音訊清晰度)。
- 設備的特定設定。
- 同時使用設備上的其他服務。
GDC 實體隔離方案設備僅限使用一個 A100 80 GB GPU,因此一次只能啟用一個 GPU 密集型 API (Vertex AI Translation 或 OCR)。
估算尖峰用量和未來可能的成長幅度。
如果工作負載要求較高,需要較高的處理量,建議您部署多個設備。
下表列出 GDC 實體隔離方案設備上,各項 Vertex AI 服務的儲存空間需求:
| 元件 | 儲存空間需求 |
|---|---|
| OCR 前端 | 0.1 GB |
| OCR 後端 | 5 GB |
| OCR 擷取器 | 0.1 GB |
| Speech-to-Text 前端 | 0.1 GB |
| Speech-to-Text 後端 | 1.5 GB |
| Vertex AI Translation 前端 | 0.7 GB |
| Vertex AI Translation 後端 | 61.4 GB |
請確認設備有足夠的儲存空間,可容納您要使用的 Vertex AI 服務。
優點
在 GDC 實體隔離方案設備上使用 Vertex AI,可享下列優勢:
- 流暢的開發體驗:在 Google Cloud上使用 Vertex AI 的相同工具、API 和工作流程,讓開發和管理作業更直覺、更有效率。
- 強化安全性和隱私權:全面控管資料,並遵守法規要求。
- 加速實現價值:使用預先訓練模型,處理常見的機器學習工作。
- 簡化 MLOps:運用強大的機器學習作業功能,在實體隔離環境中順暢整合 AI。
開始使用
如要在 GDC 實體隔離方案上開始使用 Vertex AI,請按照下列步驟操作: