Vertex AI 簡介

Vertex AI on Google Distributed Cloud (GDC) 實體隔離方案設備可讓您在安全的攜帶式裝置上,執行機器學習 (ML) 和人工智慧 (AI) 工作負載。這款設備可讓您存取一組預先訓練的 API,將語音、翻譯和文字辨識功能整合至私有雲解決方案。

主要功能與特色

GDC 實體隔離方案設備上的 Vertex AI 提供下列功能:

  • 實體隔離部署:完全在可攜式裝置中執行 Vertex AI 服務,確保資料主權和法規遵循。
  • 熟悉的 Vertex AI 體驗:使用 Google Cloud提供的相同工具和 API,簡化開發和管理作業。
  • 預先建構的模型和演算法:存取一系列預先訓練模型,用於常見的機器學習工作,加速實現價值。

可用服務

GDC 實體隔離方案設備上的 Vertex AI 提供下列預先訓練服務:

容量規劃和運算需求

每項 Vertex AI 服務都需要不同的運算資源。下表列出各個預先訓練模型的需求:

預先訓練的 API 運算資源 GPU 數量需求 GPU 記憶體需求
光學字元辨識 (OCR) GPU 單一 A100 80 GB GPU 40 GB
Speech-to-Text CPU 不適用 (僅限 CPU) 不適用 (僅限 CPU)
Vertex AI Translation GPU 單一 A100 80 GB GPU 50 GB

GDC 實體隔離方案設備包含一個 NVIDIA A100 80 GB GPU。這會限制裝置一次只能執行一個依賴 GPU 的 Vertex AI 預先訓練 API。如果嘗試同時啟用 Vertex AI Translation 和 OCR,第二個 API 會啟用失敗,並顯示 GPU 資源不足的錯誤訊息。不過,您可以同時執行 Speech-to-Text 和 Vertex AI Translation 或 OCR,因為 Speech-to-Text 只需要 CPU 資源。

為協助您判斷 AI/機器學習工作負載所需的設備數量,請查看下列各項 Vertex AI 預先訓練 API 的容量限制:

預先訓練的 API 每個設備單位的容量
光學字元辨識 (OCR) 每分鐘最多 30 張圖片 (每兩秒一張)。
Speech-to-Text 每分鐘最多可轉錄七分鐘的音訊 (每秒可轉錄七秒的音訊)。
Vertex AI Translation 每分鐘最多 61,000 個字元 (每秒 1,024 個字元)。

規劃部署作業時,請參考下列指引:

  • 容量限制為約略值,不保證準確。實際容量可能因下列因素而異:

    • 輸入資料的複雜度 (例如翻譯語言、OCR 圖片品質,以及 Speech-to-Text 音訊清晰度)。
    • 設備的特定設定。
    • 同時使用設備上的其他服務。
  • GDC 實體隔離方案設備僅限使用一個 A100 80 GB GPU,因此一次只能啟用一個 GPU 密集型 API (Vertex AI Translation 或 OCR)。

  • 估算尖峰用量和未來可能的成長幅度。

  • 如果工作負載要求較高,需要較高的處理量,建議您部署多個設備。

下表列出 GDC 實體隔離方案設備上,各項 Vertex AI 服務的儲存空間需求:

元件 儲存空間需求
OCR 前端 0.1 GB
OCR 後端 5 GB
OCR 擷取器 0.1 GB
Speech-to-Text 前端 0.1 GB
Speech-to-Text 後端 1.5 GB
Vertex AI Translation 前端 0.7 GB
Vertex AI Translation 後端 61.4 GB

請確認設備有足夠的儲存空間,可容納您要使用的 Vertex AI 服務。

優點

在 GDC 實體隔離方案設備上使用 Vertex AI,可享下列優勢:

  • 流暢的開發體驗:在 Google Cloud上使用 Vertex AI 的相同工具、API 和工作流程,讓開發和管理作業更直覺、更有效率。
  • 強化安全性和隱私權:全面控管資料,並遵守法規要求。
  • 加速實現價值:使用預先訓練模型,處理常見的機器學習工作。
  • 簡化 MLOps:運用強大的機器學習作業功能,在實體隔離環境中順暢整合 AI。

開始使用

如要在 GDC 實體隔離方案上開始使用 Vertex AI,請按照下列步驟操作: