生成 AI ユースケースの Dataflow コントロール

このドキュメントでは、 Google Cloudで生成 AI ワークロードを実行する際の Dataflow のベスト プラクティスとガイドラインについて説明します。Vertex AI で Dataflow を使用して、さまざまなソースからデータを取り込み、必要に応じてデータを集計する複雑なパイプラインを構築します。

オプションの Dataflow コントロール

データソースに応じて、次のセキュリティ コントロールを実装することをおすすめします。

Dataflow ジョブの外部 IP アドレスをオフにする

Google コントロール ID DF-CO-6.1
カテゴリ オプション
説明

Dataflow ジョブに関連する管理タスクとモニタリング タスクの外部 IP アドレスをオフにします。代わりに、SSH を使用して Dataflow ワーカー VM へのアクセスを構成します。

プライベート Google アクセスを有効にして、Dataflow ジョブで次のいずれかのオプションを指定します。

  • --usePublicIps=false と --network=NETWORK-NAME
  • --subnetwork=SUBNETWORK-NAME

ここで

  • NETWORK-NAME: Compute Engine ネットワークの名前。
  • SUBNETWORK-NAME: Compute Engine サブネットワークの名前。
対象プロダクト
  • Compute Engine
  • Dataflow
関連する NIST-800-53 コントロール
  • SC-7
  • SC-8
関連する CRI プロファイル コントロール
  • PR.AC-5.1
  • PR.AC-5.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
  • PR.PT-4.1
  • DE.CM-1.1
  • DE.CM-1.2
  • DE.CM-1.3
  • DE.CM-1.4
関連情報

ファイアウォール ルールにネットワーク タグを使用する

Google コントロール ID DF-CO-6.2
カテゴリ オプション
説明

ネットワーク タグは、Dataflow ワーカー VM などの Compute Engine VM に付加されるテキスト属性です。ネットワーク タグを使用すると、VPC ネットワーク ファイアウォール ルールと一部のカスタム静的ルートを特定の VM インスタンスに適用できます。Dataflow では、特定の Dataflow ジョブを実行するすべてのワーカー VM にネットワーク タグを追加できます。
対象プロダクト
  • Compute Engine
  • Dataflow
関連する NIST-800-53 コントロール
  • SC-7
  • SC-8
関連する CRI プロファイル コントロール
  • PR.AC-5.1
  • PR.AC-5.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
  • PR.PT-4.1
  • DE.CM-1.1
  • DE.CM-1.2
  • DE.CM-1.3
  • DE.CM-1.4
関連情報

次のステップ