從 SQL Server 匯入中繼資料

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 可讓您使用代管連接器，從 SQL Server 資料庫擷取及匯入中繼資料。接著，您就能探索、搜尋及管理 SQL Server 資產和其他資料來源，並擷取大型語言模型 (LLM) 的背景資訊。

這個連接器支援託管於地端部署、Cloud SQL 或其他雲端環境的 SQL Server 執行個體。如要進一步瞭解連接器的運作方式，請參閱「關於中繼資料連接器」。

事前準備

從 SQL Server 匯入中繼資料前，請先完成下列工作：

  1. 授予必要的角色和權限。
  2. 啟用 Dataplex API 和 BigQuery 資料移轉服務 API。
  3. 符合 SQL Server 必要條件。
  4. 符合網路必要條件。

IAM 角色和權限

如要建立及管理 Knowledge Catalog 連接器工作，您需要具備 Identity and Access Management (IAM) 角色，才能取得 Knowledge Catalog 和 BigQuery 資料移轉服務的權限。

如要取得設定 SQL Server 連接器所需的權限，請要求管理員授予您下列 IAM 角色：

此外，您必須將 dataplex.entryGroups.import 權限或 Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) 角色授予 BigQuery 資料移轉服務代理 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)。您可以在專案或項目群組層級授予這個角色。

如要進一步瞭解如何授予角色，請參閱「管理存取權」。

啟用 API

啟用 Dataplex API 和 BigQuery 資料移轉服務 API。

啟用 API

SQL Server 必要條件

確認您在 Microsoft SQL Server 資料庫中擁有使用者帳戶。詳情請參閱「建立具有登入權限的使用者」。

SQL Server 執行個體必須符合下列需求：

  • 支援的環境：連接器支援託管於地端部署、Cloud SQL 或其他雲端環境的 SQL Server 執行個體。

  • 最低版本：Knowledge Catalog 支援 Microsoft SQL Server 14 (2017) 以上版本。

  • 資料庫使用者：確認您在 Microsoft SQL Server 資料庫中擁有使用者帳戶。詳情請參閱「建立具有登入權限的使用者」。

  • 最低權限：您必須將下列權限授予資料庫使用者：

    基本權限 (所有設定皆須具備)：

    GRANT VIEW DATABASE STATE TO USER_NAME;

    存取特定結構定義的權限：

    GRANT VIEW DEFINITION ON SCHEMA::TARGET_SCHEMA TO USER_NAME;

    存取所有其他結構定義的權限：

    GRANT VIEW DEFINITION ON DATABASE::TARGET_DATABASE TO USER_NAME;

    更改下列內容：

    • USER_NAME：要設定的資料庫使用者。
    • TARGET_SCHEMA：要存取的 SQL Server 結構定義名稱。
    • TARGET_DATABASE：要存取的 SQL Server 資料庫名稱。

網路事前準備

如要使用私人網路中的私人 IP 位址，安全連線至外部資料庫或第三方雲端資料來源，必須透過 Private Service Connect 建立網路連結，BigQuery 資料移轉服務才能存取資料庫。

如果您使用公開 IP 位址連線至地端部署環境或雲端託管執行個體，則不需要網路連結。

設定 SQL Server 連接器

使用 Google Cloud 控制台或 API 設定 SQL Server 連接器。

控制台

  1. 前往 Google Cloud 控制台的「Knowledge Catalog」頁面。

    前往 Knowledge Catalog

  2. 在導覽選單的「管理」部分，點選「連接器」。

  3. 按一下「新增連線」。

  4. 在「Connectors」(連接器) 清單中，選取「SQL Server」資訊卡。

  5. 在「Data source details」(資料來源詳細資料) 部分，提供 SQL Server 執行個體的連線詳細資料：

    • 在「Network attachment」(網路連結) 部分，視需要選取現有的網路連結，或建立一個。
    • 輸入「Host」(主機)、「Port」(通訊埠)、「Database name」(資料庫名稱)、「Username」(使用者名稱)和「Password」(密碼)。
    • 如果使用 TLS，請選取「TLS Mode」(TLS 模式)，並提供「Trusted PEM Certificate」(信任的 PEM 憑證)。
    • 在「SQL Server metadata objects to import」(要匯入的 SQL Server 中繼資料物件) 部分，按一下「Browse」(瀏覽) 選取物件。

  6. 在「Destination settings」(目的地設定) 部分：

    • 按一下「Browse」(瀏覽)，然後選取現有的Knowledge Catalog 項目群組來儲存匯入的中繼資料，或按一下「Create new entry group」(建立新的項目群組)。
    • 選擇要立即或稍後設定項目群組權限。建議您設定權限，讓使用者可以查看匯入的中繼資料。如果您未在專案層級，將「Dataplex Entry Group Importer」(Dataplex 項目群組匯入工具) (roles/dataplex.entryGroupImporter) 角色或 dataplex.entryGroups.import 權限授予 BigQuery 資料移轉服務代理 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)，則必須在項目群組層級授予該角色或權限。

  7. 在「Connector config name」(連接器設定名稱) 部分，「Display name」(顯示名稱) 請輸入中繼資料匯入工作的名稱。

  8. 在「Schedule options」(排程選項) 部分，設定中繼資料匯入工作的頻率。如果選取「On-demand」(隨選)，則只有在您手動觸發時，工作才會執行。

  9. 選用步驟：在「Notification options」(通知選項) 部分，設定工作失敗時的電子郵件或 Pub/Sub 通知。

  10. (選用) 在「Advanced options」(進階選項) 部分，設定加密設定。如果選取客戶自行管理的加密金鑰 (CMEK)，請注意，在啟動 Knowledge Catalog 中繼資料匯入工作之前，系統會使用該金鑰加密任何暫存的資料。不會用於加密目的地 Knowledge Catalog 項目群組中的中繼資料。

  11. 按一下 [儲存]。

REST

請使用 projects.locations.transferConfigs.create 方法。在 TransferConfig 資源中，設定下列欄位：

  • 將 dataSourceId 欄位設為 "sqlserver"。
  • 在 metadataDestination 欄位中，使用目標 Knowledge Catalog 項目群組的資源路徑填入 dataplexConfiguration 物件：projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

建立工作後，Knowledge Catalog 會根據您的設定排定首次執行時間，您也可以手動啟動。

搜尋及查看 SQL Server 中繼資料

  1. 前往 Google Cloud 控制台的「Knowledge Catalog」「Search」(搜尋) 頁面。

    前往「Search」(搜尋) 頁面

  2. 在「Filters」(篩選器) 面板中，您可以使用「Project」(專案)、「System」(系統) 和「Type aliases」(類型別名) 區段篩選 SQL Server 資產。在「System」(系統) 部分，選取「Imported Context」(匯入的情境)。選取這個篩選器後，系統會開啟「Managed Connectors」子區段。選取「SQL Server」，篩選出所有 SQL Server 中繼資料。

  3. 您可以使用搜尋欄位執行搜尋查詢。您可以使用關鍵字或自然語言搜尋。例如，如要透過關鍵字搜尋查看所有 SQL Server 資料表，請輸入 system=SQLSERVER AND type=TABLE。

    如要進一步瞭解如何搜尋資源，請參閱「在 Knowledge Catalog 中搜尋資源」。如要進一步瞭解可在搜尋欄位中使用的運算式，請參閱「Knowledge Catalog 的搜尋語法」。

  4. 您也可以使用 LookupContext API，擷取特定 SQL Server 資源的 LLM 脈絡。

後續步驟