[パイプラインと接続] ページを使用してデータ統合ワークフローを作成する

コンソールの BigQuery の [パイプラインと接続] ページでは、BigQuery Data Transfer Service、Datastream、Pub/Sub などのサービスに対して、BigQuery 固有のガイド付き構成ワークフローが提供されるため、データ統合タスクを効率化できます。

[パイプラインと接続] ページでは、次のタスクを実行できます。

  • データの読み込み 。ガイド付きのエクスペリエンスを使用して、サポートされているデータソースからデータを見つけて読み込みます。
  • データタスクのスケジュール設定 。スケジュールされたクエリ、ノートブック、データ準備、パイプラインなど、データプロセスを自動的に実行するようにスケジュール設定します。
  • データの変換 。分析やレポートでデータを利用できるようにするため、パイプラインとデータ準備を作成してデータのクリーニングや構造化を行います。
  • データソースへの接続の作成 。外部データソース、コンピューティング ランタイム、AI サービスに接続すると、データ アクセスとリモート実行ができるようになります。

タスクを作成すると、[パイプラインと接続] ページでアセットを一元的に管理、モニタリングできます。リスト表示でアセットのステータスを確認できます。また、詳細なモニタリング ページでは、スケジュールされたクエリ、パイプライン、転送、接続、ストリーム、サブスクリプションなど、構成済みのアセットごとに運用指標を確認できます。

運用指標には、BigQuery Data Transfer Service の実行履歴、Pub/Sub サブスクリプションのスループットとレイテンシ、Datastream パイプラインのデータの更新速度とイベント数などがあります。

モニタリング ページには、BigQuery Data Transfer Service の実行ログや Datastream オブジェクトのステータスなど、トラブルシューティング情報も含まれています。

有効化と無効化

プレビュー期間中は、[パイプラインと接続] ページの使用を有効または無効にできます。

有効にする

[パイプラインと接続] ページの使用を有効にするには、次の操作を行います。

  1. コンソールに移動します。 Google Cloud

    コンソールに移動

  2. コンソールのツールバーで、 [ナビゲーション メニュー]をクリックします。 Google Cloud

  3. [ソリューション] > [すべてのプロダクト] をクリックします。

  4. [分析] で、[BigQuery] をクリックします。

    BigQuery の [Studio] ページが開きます。

  5. ナビゲーション メニューを開くには、 [BigQuery のナビゲーション メニューの切り替え] をクリックします。

    BigQuery のナビゲーション メニュー。

  6. ナビゲーション メニューで、次のいずれかのオプションをクリックします。

    • データ転送
    • スケジュールされたクエリ
    • スケジュール

  7. 統合されたパイプラインと接続のバナーに移動します。

    UI の [統合パイプラインと接続] バナー

  8. [オプトイン] をクリックします。

    オプトインすると、既存の [**データ転送**]、[**スケジュール**]、および [**スケジュールされたクエリ**] ページが [**パイプラインと接続**] ページに置き換えられます。

オプトアウト

統合された [パイプラインと接続] ページの使用をオプトアウトするには、次の操作を行います。

  1. [パイプラインと接続] ページの統合されたパイプラインと接続のバナーで、[オプトアウト] をクリックします。

  2. フィードバック ダイアログが開きます。機能の欠落やバグなど、オプトアウトする理由についてフィードバックを提供します。

  3. [送信]、[閉じる] の順にクリックします。

    フォームを送信すると、ナビゲーション メニューが元に戻り、 [**データ転送**]、[**スケジュール**]、[**スケジュールされたクエリ**] ページが個別に表示されるようになります。

データ統合アセットを作成する

スケジュールされたクエリ、データ転送、外部接続などのアセットを作成するには、次の操作を行います。

  1. [パイプラインと接続] ページに移動します。

    [パイプラインと接続] に移動

  2. [作成] をクリックします。

  3. 作成するアセットのカードで、次のオプションをクリックします。

    1. ガイド付きワークフローを使用して、サポートされているデータソースのいずれかからデータを追加するには、[データの読み込み] カードで [データを追加] をクリックします。

    2. クエリ、ノートブック、データ準備、パイプラインをスケジュールするには、 [データタスクのスケジュール設定] カードで [スケジュール] をクリックし、 適切なオプションを選択します。

    3. 変換パイプラインまたはデータ準備を作成するには、 [データの変換] カードで [作成] をクリックし、 適切なオプションを選択します。

    4. 外部データソースへの接続を作成するには、[外部接続] カードで [接続を作成] をクリックします。

アセットをモニタリングする

アセットを作成したら、表示してモニタリングできます。

  1. [パイプラインと接続] ページに移動します。

    [パイプラインと接続] に移動

  2. 接続の詳細を表示するには、[接続] タブをクリックします。

  3. パイプラインをモニタリングするには、[パイプライン] タブをクリックします。このページでは、パイプラインのステータス、タイプ、実行履歴などの詳細を確認できます。

  4. パイプラインの詳細を表示するには、[表示名] 列のリンクをクリックします。

次のステップ