將雲端儲存空間資料動態饋給升級至第 2 版連結器架構

支援的國家/地區:

為提升資料擷取管道的穩定性、擴充性和效能,我們將雲端儲存空間資料動態饋給升級至新的 v2 連接器架構。這項新架構採用 Google Cloud Storage 移轉服務 (STS)

第 2 版連接器架構的優點

升級至第 2 版連接器架構後,資料動態饋給將有大幅改善,包括:

  • 提升輪詢效率:大幅提升從 AWS 等來源輪詢資料的效率。
  • 提升可靠性和安全性:即時驗證來源憑證,確保連線安全無虞。
  • 擴大身分識別支援:內建支援 AWS 聯合身分識別。

遷移時程

我們將停止支援下列舊版連結器的第 1 版連結器架構:Cloud Storage、Amazon S3、Amazon SQS 和 Azure Blob Storage。

請注意下列重要里程碑:

  • 2026 年 10 月 1 日 - 終止支援:系統不會再為第 1 版動態饋給提供更新,只會盡可能提供支援。為避免服務中斷,我們強烈建議您遷移並採取行動,以便 Google 在上述日期前遷移動態饋給。
  • 2027 年 3 月 15 日 - 永久停用:舊版連結器將終止服務。如果資料動態饋給在上述日期後仍使用 v1 連接器,將無法運作並傳回錯誤訊息。

自動遷移和必要行動

為協助您順利轉換,我們提供自動遷移服務,可將所有使用舊版 v1 連接器的現行資料動態饋給遷移至 v2。

視來源類型而定,您必須採取下列動作,確保自動遷移作業順利完成:

  • Cloud Storage:按照「授予服務帳戶存取權」說明文件中的步驟,將特定權限授予新的服務帳戶。
  • Amazon S3:如果您的環境使用 IP 許可清單,請務必將 STS IP 範圍新增至儲存貯體政策。按照步驟啟用 Amazon S3 的 STS 存取權
  • Amazon SQS:遷移作業僅支援包含來自單一 Amazon S3 bucket 訊息的 SQS 佇列。如果佇列收到來自多個值區的訊息,請為每個值區分別建立動態饋給。確認 SQS 佇列設定正確無誤,且 SQS 佇列和 Amazon S3 bucket 的存取憑證相同。
  • Microsoft Azure:如果您使用防火牆或虛擬網路,請按照 Azure STS 存取權操作說明,允許 STS IP 範圍
  • 失敗的動態饋給:檢查目前的動態饋給,修正因憑證不正確而失敗的動態饋給,確保順利遷移。

安全性與穩定性

自動遷移程序旨在避免資料遺失。遷移功能內建嚴格的防護措施,預計在短暫的遷移期間,資料重複情形會降到最低。

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。