搭配 Cloud Data Fusion 使用 VPC Service Controls

如果您打算建立具有私人 IP 位址的 Cloud Data Fusion 執行個體，可以先使用 VPC Service Controls (VPC-SC) 為執行個體建立安全 perimeter，進一步提升安全性。私有 Cloud Data Fusion 執行個體和其他 Google Cloud 資源周圍的 VPC-SC 安全邊界，有助於降低資料竊取的風險。舉例來說，如果使用 VPC Service Controls，Cloud Data Fusion 管道從範圍內的支援資源 (例如 BigQuery 資料集) 讀取資料，然後嘗試將輸出內容寫入範圍外的資源，管道就會失敗。

Cloud Data Fusion 資源會透過兩個 API 介面公開：

  1. datafusion.googleapis.com 控制層 API 介面，可讓您執行執行個體層級的作業，例如建立及刪除執行個體。

  2. datafusion.googleusercontent.com 資料平面 API 介面 ( Google Cloud 控制台中的 Cloud Data Fusion 網頁版 UI)，可在 Cloud Data Fusion 執行個體上執行，以建立及執行資料管道。

如要搭配 Cloud Data Fusion 設定 VPC Service Controls，請限制這兩個 API 介面的連線。

策略：

  • Cloud Data Fusion 管道會在 Apache Spark 叢集的代管服務上執行。如要使用服務範圍保護 Managed Service for Apache Spark 叢集，請按照設定私人連線一文的指示操作，讓叢集可在服務範圍內運作。

  • 請勿使用會呼叫 VPC Service Controls 不支援的 Google Cloud API 的外掛程式。 如果使用不支援的外掛程式，Cloud Data Fusion 會封鎖 API 呼叫，導致管道預覽和執行失敗。

  • 如要在 VPC Service Controls 服務範圍內使用 Cloud Data Fusion，請新增或設定多個 DNS 項目，將下列網域指向受限的 VIP (虛擬 IP 位址)：

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

限制：

  • 建立 Cloud Data Fusion 私人執行個體前，請先建立 VPC Service Controls 安全範圍。系統不支援為在設定 VPC Service Controls 前建立的執行個體提供範圍保護。

  • 目前 Cloud Data Fusion 資料平面 UI 不支援使用以身分為依據的存取權指定存取層級。

限制 Cloud Data Fusion API 介面

限制控制層介面

如要限制連線至 datafusion.googleapis.com API 控制層介面，請參閱「設定連至 Google API 和服務的私人連線」。

限制資料層介面

如要設定 API 資料層的私人連線，請完成下列步驟，為 *.datafusion.googleusercontent.com 和 *.datafusion.cloud.google.com 網域設定 DNS。

  1. 使用 Cloud DNS 建立新的私人區域：

    1. 區域類型：勾選「私人」
    2. 可用區名稱：datafusiongoogleusercontentcom
    3. DNS 名稱：datafusion.googleusercontent.com

    4. 網路：選取您在建立 Cloud Data Fusion 執行個體時選擇的私人 IP 網路。

      如何填寫區域欄位。

  2. 在「Cloud DNS」頁面中，按一下 datafusiongoogleusercontent DNS 區域名稱，開啟「Zone details」(區域詳細資料) 頁面。系統會列出兩筆記錄：NS 記錄和 SOA 記錄。使用「新增標準」，將下列兩組記錄新增至 datafusiongoogleusercontent DNS 區域。

    1. 新增 CNAME 記錄：在「建立記錄集」對話方塊中，填寫下列欄位，將 DNS 名稱 *.datafusion.googleusercontent.com. 對應至正規名稱 datafusion.googleusercontent.com：

      • DNS 名稱：「*.datafusion.googleusercontent.com」

      • 標準名稱：「datafusion.googleusercontent.com」

        如何填寫區域欄位。

    2. 新增 A 記錄：在新的「建立記錄集」對話方塊中，填入下列欄位，將 DNS 名稱 datafusion.googleusercontent.com. 對應至 IP 位址 199.36.153.4 - 199.36.153.7：

      • DNS 名稱：「.datafusion.googleusercontent.com」

      • IPv4 位址：

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        如何填寫區域欄位。

      「Zone details」(區域詳細資料)datafusiongoogleusercontent 頁面會顯示下列記錄集：

      如何填寫區域欄位。

  3. 按照上述步驟建立私人 DNS 區域，並為 *.datafusion.cloud.google.com 網域新增記錄集。

後續步驟