AI 可用區

本文將概略介紹 Cloud Storage 的 AI 區域。AI 可用區是專門 Google Cloud 的可用區，旨在為人工智慧 (AI) 和機器學習 (ML) 工作負載提供運算容量。提供大量機器學習加速器 (GPU 和 TPU) 容量。

AI 可用區經過最佳化調整，可處理下列 AI 和機器學習工作負載：

  • 大規模訓練
  • 小規模訓練、微調、大量推論和重新訓練
  • 即時機器學習推論

如要瞭解 AI 可用區的背景資訊，請參閱 Compute Engine 說明文件中的「AI 可用區」。

在區域內，AI 可用區的地理位置可能與標準 (非 AI) 可用區相距甚遠。

AI 區域與其他 Cloud Storage 和 Google Cloud 功能相容。

儲存空間架構建議

建議您使用分層儲存空間架構，兼顧成本、耐久性和效能：

  • 冷儲存層：在標準可用區中使用區域 Cloud Storage bucket，為訓練資料集和模型檢查點提供持久、高耐用性的儲存空間 (「可靠資料來源」)。

  • 效能層：使用專門的可用區儲存空間服務，做為高速快取或暫存空間。這種做法可消除區域間的延遲，並在工作執行期間盡量提高處理量。

建議採用下列儲存解決方案，透過 AI 可用區最佳化 AI 和機器學習系統效能：

儲存服務或產品 說明 用途
Cloud Storage 的 Rapid Cache 產品

全代管、採用 SSD 的可用區讀取快取，可將 bucket 中經常讀取的資料帶入 AI 區域。

在 AI 區域中，為包含要放送的訓練資料集或模型的區域來源 bucket 建立 Rapid Cache 執行個體。訓練工作讀取檔案時，檔案會提取至可用區內的高速快取。後續讀取作業會直接從快取提供，略過區域網路。非常適合模型訓練中重複的資料存取模式，以及低延遲提供模型。

適合：

  • 讀取密集型工作負載
  • 低延遲模型訓練和提供服務
Cloud Storage 的 Rapid Bucket 產品

這項高效能功能可讓您在可用區中找到 bucket，並使用 Rapid Storage 儲存空間級別。針對 I/O 密集型工作負載進行最佳化，專為 AI/機器學習應用程式設計，可與需要存取的資料共置。

如要針對需要低延遲和高處理量的工作負載，最佳化資料儲存空間，請建立使用 Rapid 儲存空間的可用區 bucket，然後使用 Cloud Storage FUSE，將 bucket 掛接為虛擬機器的目錄。接著，您可以設定應用程式，透過 bucket 的掛接點，在可用區 bucket 中儲存或存取資料。舉例來說，如要將模型檢查點儲存在可用區 bucket 中，請將檢查點目錄設為訓練程式碼中的掛接點。

如要確保區域韌性，可以將檢查點備份至區域、多區域或雙區域 bucket。使用 Storage 移轉服務，將資料從區域 bucket 移至其他位置的 bucket。使用物件生命週期管理功能，在設定的時間範圍後，讓資料過期並刪除。

適合：

  • 高處理量讀取和寫入工作負載
  • 高速檢查點
  • 低延遲模型訓練與服務

最佳做法

使用 AI 專區時，請遵循下列儲存空間最佳做法：

  • 在與運算資源相同的 AI 區域中，佈建效能層。將運算和儲存空間共置，有助於確保 GPU 和 TPU 維持飽和狀態，盡量提高「有效輸送量」(有用的輸送量)。

  • 使用 Rapid Cache 時，請先預先讀取資料集，填入或暖機 SSD 支援的快取，再開始主要訓練週期。

可用的 AI 可用區

下表列出 AI 區域和所屬的父項 Google Cloud區域。

地理區域 上層區域 AI 專區
歐洲 europe-west4 europe-west4-ai1a
美國 us-central1 us-central1-ai1a
美國 us-south1 us-south1-ai1b

注意事項

  • 您可以從 Google Cloud 區域的 AI 專區存取該區域的 Google Cloud 產品。不過，從 AI 可用區存取 Google Cloud區域中的服務，可能會增加網路延遲時間，因為 AI 可用區的位置可能與該區域標準可用區的位置實體分隔。

  • 建議您在標準可用區 (而非 AI 可用區) 執行非機器學習工作負載，因為 AI 可用區並未在本機提供所有 Google Cloud 服務。

後續步驟