このドキュメントでは、Knowledge Catalog コネクタを使用して、SQL Server から Knowledge Catalog(以前の Dataplex Universal Catalog)にメタデータをインポートする方法について説明します。
このコネクタは、オンプレミス、Cloud SQL、または他のクラウド環境でホストされている SQL Server インスタンスをサポートしています。
始める前に
SQL Server からメタデータをインポートする前に、次のタスクを完了します。
- 必要なロールと権限を付与します。
- Knowledge Catalog API と BigQuery Data Transfer Service API を有効にします。
- SQL Server の前提条件を満たします。
- ネットワークの前提条件を満たします。
IAM のロールと権限
Knowledge Catalog コネクタ ジョブを作成して管理するには、Knowledge Catalog と BigQuery Data Transfer Service の権限を付与する Identity and Access Management(IAM)ロールが必要です。
SQL Server コネクタを構成するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。
- エントリ グループを作成、管理するには、プロジェクトに対する Dataplex Catalog 管理者(
roles/dataplex.catalogAdmin)、Dataplex Catalog 編集者(roles/dataplex.catalogEditor)、または Dataplex エントリ グループ オーナー(roles/dataplex.entryGroupOwner)のロールが必要です。 - BigQuery Data Transfer Service 転送ジョブを作成して管理する: プロジェクトに対する BigQuery 管理者(
roles/bigquery.admin)。 - Cloud Logging でログを表示するには: プロジェクトに対するログビューア(
roles/logging.viewer)。
また、BigQuery Data Transfer Service サービス エージェント(service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)に dataplex.entryGroups.import 権限または Dataplex エントリ グループのインポーター(roles/dataplex.entryGroupImporter)ロールを付与する必要があります。このロールは、プロジェクト レベルまたはエントリ グループ レベルで付与できます。
ロールの付与の詳細については、アクセスの管理をご覧ください。
API を有効にする
Knowledge Catalog API と BigQuery Data Transfer Service API を有効にします。
SQL Server の前提条件
Microsoft SQL Server データベースにユーザー アカウントがあることを確認します。詳細については、ログインできるユーザーを作成するをご覧ください。
SQL Server インスタンスは、次の要件を満たしている必要があります。
最小バージョン: Knowledge Catalog は、Microsoft SQL Server バージョン 14(2017)以降をサポートしています。
データベース ユーザー: Microsoft SQL Server データベースにユーザー アカウントがあることを確認します。詳細については、ログイン可能なユーザーを作成するをご覧ください。
最小権限: データベース ユーザーに次の権限を付与する必要があります。
基本権限(すべての構成で必要):
GRANT VIEW DATABASE STATE TO USER_NAME;特定のスキーマにアクセスする権限:
GRANT VIEW DEFINITION ON SCHEMA::TARGET_SCHEMA TO USER_NAME;他のすべてのスキーマにアクセスする権限:
GRANT VIEW DEFINITION ON DATABASE::TARGET_DATABASE TO USER_NAME;次のように置き換えます。
USER_NAME: 構成するデータベース ユーザー。TARGET_SCHEMA: アクセスする SQL Server スキーマの名前。TARGET_DATABASE: アクセスする SQL Server データベースの名前。
ネットワーキングの前提事項
プライベート ネットワーク内のプライベート IP アドレスを使用して外部データベースまたはサードパーティのクラウド データソースに安全に接続し、BigQuery Data Transfer Service がデータベースにアクセスできるようにするには、Private Service Connect を介した接続用のネットワーク アタッチメントが必要です。
パブリック IP アドレスを使用してオンプレミス環境またはクラウドホスト型インスタンスに接続する場合、ネットワーク アタッチメントは必要ありません。
SQL Server コネクタを構成する
Google Cloud コンソールまたは API を使用して SQL Server コネクタを構成します。
コンソール
Google Cloud コンソールで、[Knowledge Catalog] ページに移動します。
ナビゲーション メニューの [管理] セクションで、[コネクタ] をクリックします。
[Add connection] をクリックします。
[コネクタ] リストで、[SQL Server] カードを選択します。
[データソースの詳細] セクションで、SQL Server インスタンスの接続の詳細を指定します。
- [ネットワーク アタッチメント] で、必要に応じて既存のネットワーク アタッチメントを選択するか、作成します。
- [ホスト]、[ポート]、[データベース名]、[ユーザー名]、[パスワード] を入力します。
- TLS を使用する場合は、[TLS Mode] を選択し、[Trusted PEM Certificate] を指定します。
- [SQL Server metadata objects to import] で、[Browse] をクリックしてオブジェクトを選択します。
[宛先の設定] セクションで、次の操作を行います。
- [参照] をクリックし、インポートしたメタデータを保存する既存の Knowledge Catalog エントリ グループを選択するか、[新しいエントリ グループを作成] をクリックします。
- エントリ グループの権限を今すぐ設定するか後で設定するかを選択します。ユーザーがインポートされたメタデータを表示できるように権限を設定することをおすすめします。プロジェクト レベルで BigQuery Data Transfer Service サービス エージェント(
service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)に Dataplex エントリ グループ インポーター(roles/dataplex.entryGroupImporter)ロールまたは dataplex.entryGroups.import 権限を付与していない場合は、エントリ グループ レベルで付与する必要があります。
[コネクタ構成名] セクションの [表示名] に、メタデータ インポート ジョブの名前を入力します。
[スケジュール オプション] セクションで、メタデータ インポート ジョブの頻度を構成します。[オンデマンド] を選択した場合、ジョブは手動でトリガーしたときにのみ実行されます。
省略可: [通知オプション] セクションで、ジョブの失敗に関するメール通知または Pub/Sub 通知を構成します。
省略可: [詳細オプション] セクションで、暗号化の設定を行います。顧客管理の暗号鍵(CMEK)を選択した場合、この鍵は Knowledge Catalog メタデータ インポート ジョブの開始前にステージングされた一時データの暗号化に使用されます。送信先 Knowledge Catalog エントリ グループのメタデータの暗号化には使用されません。
[保存] をクリックします。
REST
projects.locations.transferConfigs.create メソッドを使用します。TransferConfig リソースで、次のフィールドを構成します。
dataSourceIdフィールドを"sqlserver"に設定します。metadataDestinationフィールドで、ターゲット Knowledge Catalog エントリ グループのリソースパスを使用してdataplexConfigurationオブジェクトを入力します。projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>
ジョブを作成すると、Knowledge Catalog は構成に従って最初の実行をスケジュール設定します。手動で開始することもできます。
SQL Server メタデータを検索して表示する
Google Cloud コンソールで、[Knowledge Catalog] の [検索] ページに移動します。
[フィルタ] パネルで、[プロジェクト]、[システム]、[タイプ エイリアス] の各セクションを使用して、SQL Server アセットをフィルタできます。[システム] セクションで、[インポートされたコンテキスト] を選択します。このフィルタを選択すると、[マネージド コネクタ] サブセクションが開きます。[SQL Server] を選択して、すべての SQL Server メタデータをフィルタします。
検索フィールドを使用して検索クエリを実行できます。キーワード検索または自然言語検索を実行できます。たとえば、キーワード検索ですべての SQL Server テーブルを表示するには、
system=SQLSERVER AND type=TABLEと入力します。リソースの検索の詳細については、Knowledge Catalog でリソースを検索するをご覧ください。検索フィールドで使用できる式の詳細については、Knowledge Catalog の検索構文をご覧ください。
LookupContext API を使用して、特定の SQL Server リソースの LLM コンテキストを取得することもできます。
次のステップ
- コネクタジョブを管理する方法を学習する。