データサイエンスエージェントを使用する

このガイドでは、Colab Enterprise でデータサイエンスエージェントを使用して、ノートブックでデータサイエンスタスクを実行する方法について説明します。

Gemini for がデータを使用する方法とタイミングに関する説明をご覧ください。 Google Cloud

このドキュメントは、Colab Enterprise を使用するデータアナリスト、データサイエンティスト、データデベロッパーを対象としています。ノートブック環境でコードを記述する方法を理解していることを前提としています。

データサイエンスエージェントの機能

データサイエンスエージェントは、探索的データ分析から ML 予測、予測の生成まで、さまざまなタスクを支援します。データサイエンスエージェントは次の目的で使用できます。

大規模なデータ処理: BigQuery ML、 BigQuery DataFrames、または Apache Spark 用サーバーレスを使用して、大規模なデータセットで分散データ処理を実行します。これにより、単一のマシンのメモリに収まらないほど大きなデータを効率的にクリーンアップ、変換、分析できます。
プランの生成: Python、SQL、Apache Spark、BigQuery DataFrames などの一般的なツールを使用して、特定のタスクを完了するためのプランを生成して変更します。
データ探索: データセットを探索して、その構造を理解し、欠損値や外れ値などの潜在的な問題を特定して、主要な変数の分布を調べることができます。
データクリーニング: データをクリーニングします。たとえば、外れ値のデータポイントを削除できます。
データラングリング: ワンホットエンコードやラベルエンコードなどの手法を使用して、カテゴリ特徴を数値表現に変換します。分析用の新しい特徴を作成できます。
データ分析: さまざまな変数間の関係を分析します。数値特徴間の相関を計算し、カテゴリ特徴の分布を調べることができます。データのパターンと傾向を探すことができます。
データの可視化: 個々の変数の分布とそれらの関係を表すヒストグラム、箱ひげ図、散布図、棒グラフなどの可視化を行います。
特徴量エンジニアリング: クリーンアップされたデータセットから新しい特徴量をエンジニアリングします。
データ分割: エンジニアリングされたデータセットをトレーニングデータセット、検証データセット、テストデータセットに分割します。
モデルのトレーニング: pandas DataFrame、 BigQuery DataFrames、 PySpark DataFrameのトレーニングデータを使用するか、BigQuery テーブルで BigQuery ML CREATE MODEL ステートメントを使用してモデルをトレーニングします。
モデルの最適化: 検証セットを使用してモデルを最適化します。 DecisionTreeRegressor や RandomForestRegressor などの代替モデルを調べて、パフォーマンスを比較できます。
モデルの評価: pandas DataFrame、BigQuery DataFrames、または PySpark DataFrame を使用して、テストデータセットでモデルのパフォーマンスを評価します。BigQuery ML を使用してトレーニングされたモデルに対して、 BigQuery ML モデル評価関数を使用してモデルの品質を評価し、モデルを比較することもできます。
モデルの推論: BigQuery ML の推論関数を使用して、BigQuery ML でトレーニングしたモデル、インポートしたモデル、リモートモデルで推論を実行します。 BigQuery DataFrames の model.predict() メソッドまたは PySpark トランスフォーマーを使用して予測を行うこともできます。

制限事項

データサイエンスエージェントは、次のデータソースをサポートしています。
- CSV ファイル
- BigQuery テーブル
データサイエンスエージェントによって生成されたコードは、ノートブックのランタイムでのみ実行されます。
ノートブックは、データサイエンスエージェントでサポートされているリージョンに存在する必要があります。ロケーションをご覧ください。
データサイエンスエージェントは、VPC Service Controls が有効になっているプロジェクトではサポートされていません。
データサイエンスエージェントを初めて実行するときに、5～10 分程度のレイテンシが発生することがあります。これは、初期設定時にプロジェクトごとに 1 回だけ発生します。
@mention 関数を使用した BigQuery テーブルの検索は、現在のプロジェクトに限定されます。テーブルセレクタを使用して、プロジェクト全体を検索します。
@mention 関数は BigQuery テーブルのみを検索します。アップロード可能なデータファイルを検索するには、+ 記号を使用します。
データサイエンスエージェントの PySpark は、Apache Spark 4.0 コードのみを生成します。DSA は Apache Spark 4.0 へのアップグレードに役立ちますが、以前のバージョンの Apache Spark が必要なユーザーはデータサイエンスエージェントを使用しないでください。

始める前に

アカウントにログインします。 Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオで Google プロダクトのパフォーマンスを評価してください。 Google Cloud新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

必要なロール

Colab Enterprise でデータサイエンスエージェントを使用するために必要な権限を取得するには、プロジェクトに対する Colab Enterprise ユーザー（roles/aiplatform.colabEnterpriseUser）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

1 つ以上の必須ロールに dataform.repositories.list 権限が含まれています。プロジェクトで dataform.repositories.list 権限またはコード作成者（roles/dataform.codeCreator）ロールが付与されているユーザーは、Dataform API または Dataform コマンドラインインターフェース（CLI）を使用して、そのプロジェクトのコードアセットの名前を一覧取得できます。BigQuery Studio を使用する管理者以外のユーザーは、自身が作成したコードアセットまたは自分と共有されているコードアセットのみを表示できます。

データを参照する

Colab Enterprise のデータサイエンスエージェントがデータにアクセスして操作できるようにするには、CSV ファイルをアップロードするか、BigQuery テーブルを参照します。

CSV ファイル

コンソールで、Colab Enterprise の [マイノートブック] ページに移動します。 Google Cloud

[マイノートブック] に移動
[リージョン] メニューで、ノートブックを含むリージョンを選択します。
開きたいノートブックをクリックします。
[Toggle Gemini in Colab] ボタンをクリックして、チャットダイアログを開きます。

注: [パネルに移動] ボタンをクリックすると、チャットダイアログをノートブック外の別のパネルに移動できます。
チャットダイアログで、 [ファイルを追加 > アップロード] をクリックします。
必要に応じて Google アカウントを認可します。

Colab Enterprise がランタイムを開始してファイルのブラウジングを有効にするまでしばらく待ちます。
ファイルの場所に移動し、 [Open] をクリックします。
[OK] をクリックして、このランタイムが削除されるとこのランタイムのファイルが削除されることを確認します。

ファイルが [ファイル] ペインにアップロードされ、チャットウィンドウに表示されます。

BigQuery テーブル

コンソールで、Colab Enterprise の [マイノートブック] ページに移動します。 Google Cloud

[マイノートブック] に移動
[リージョン] メニューで、ノートブックを含むリージョンを選択します。
開きたいノートブックをクリックします。
[Toggle Gemini in Colab] ボタンをクリックして、チャットダイアログを開きます。

注: [パネルに移動] ボタンをクリックすると、チャットダイアログをノートブック外の別のパネルに移動できます。
データを参照するには、次のいずれかの操作を行います。
- テーブルセレクタを使用して 1 つ以上のテーブルを選択します。
  1. [Add to Gemini > BigQuery tables] をクリックします。
  2. In the [BigQuery テーブル] ウィンドウで、プロジェクト内の 1 つ以上のテーブルを選択します。検索バーを使用すると、複数プロジェクトにわたってテーブルを検索し、テーブルをフィルタできます。
- プロンプトに BigQuery テーブル名を直接含めます。たとえば、「探索的データ分析を行い、次のテーブルのデータに関する分析情報を取得してください: PROJECT_ID:DATASET.TABLE.」と入力します。
  
  次のように置き換えます。
  - PROJECT_ID: プロジェクト ID。
  - DATASET: 分析するテーブルを含むデータセットの名前。
  - TABLE: 分析するテーブルの名前。
- 「@」と入力して、現在のプロジェクトの BigQuery テーブルを検索します。