このページでは、AML AI データセットを作成して管理する手順について説明します。データセットは、エンジン構成、トレーニング、バックテスト、予測パイプラインの入力として使用されます。AML AI データセットには、Google Cloud プロジェクトの AML AI 入力データモデルに一致する BigQuery テーブルへの参照が含まれています。
前提条件
-
データセットの作成と管理に必要な権限を取得するには、プロジェクトに対する金融サービス管理者(
financialservices.admin)IAM ロールの付与を管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセスを管理するをご覧ください。 - インスタンスを作成する
-
一部の API メソッドは長時間実行オペレーション(LRO)を返します。 これらのメソッドは非同期で、Operation オブジェクトを返します。詳細については、REST リファレンスをご覧ください。このメソッドがレスポンスを返すときにオペレーションが完了していない場合があります。これらのメソッドの場合、リクエストを送信して結果を確認します。一般に、すべての POST、PUT、UPDATE、DELETE オペレーションは長時間実行されます。
データセットの作成
データセットを作成するには、作成リクエストを送信し、LRO の結果を確認します。
リクエストを送信する
データセットを作成するには、projects.locations.instances.datasets.create メソッドを使用します。
リクエストのデータを使用する前に、次のように置き換えます。
PROJECT_ID: IAM 設定に記載されている Google Cloud プロジェクト IDLOCATION: インスタンスのロケーション。サポートされているリージョンのいずれかを使用します。ロケーションを表示us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID: インスタンスのユーザー定義の識別子DATASET_ID: AML AI データセットのユーザー定義の識別子。小文字、数字、ダッシュ、アンダースコアのみを使用します(例:train_jan2018_apr2020)。BQ_INPUT_DATASET_NAME: BigQuery 入力データセット名PARTY_TABLE: BigQuery 入力データセットの Party テーブルACCOUNT_PARTY_LINK_TABLE: BigQuery 入力データセットの AccountPartyLink テーブルTRANSACTION_TABLE: BigQuery 入力データセットの Transaction テーブルRISK_CASE_EVENT_TABLE: BigQuery 入力データセットの RiskCaseEvent テーブルPARTY_SUPPLEMENTARY_DATA: BigQuery 入力データセットの PartySupplementaryData テーブル。このテーブルはオプションであり、リクエスト JSON から削除できますDATA_START_DATE: データセットで使用するデータの開始日時。RFC3339 UTC「Zulu」形式を使用する(例:2014-10-02T15:01:23Z)DATA_END_DATE: データセットで使用するデータの終了日時。RFC3339 UTC「Zulu」形式を使用する(例:2014-10-02T15:01:23Z)
リクエストの本文(JSON):
{
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"dateRange": {
"startTime": "DATA_START_DATE",
"endTime": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
リクエストを送信するには、次のいずれかのオプションを選択します。
curl
リクエスト本文を request.json という名前のファイルに保存します。ターミナルで次のコマンドを実行して、このファイルを現在のディレクトリに作成または上書きします。
cat > request.json << 'EOF'
{
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"dateRange": {
"startTime": "DATA_START_DATE",
"endTime": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
EOFその後、次のコマンドを実行して REST リクエストを送信します。
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets?dataset_id=DATASET_ID"
PowerShell
リクエスト本文を request.json という名前のファイルに保存します。ターミナルで次のコマンドを実行して、このファイルを現在のディレクトリに作成または上書きします。
@'
{
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"dateRange": {
"startTime": "DATA_START_DATE",
"endTime": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
'@ | Out-File -FilePath request.json -Encoding utf8その後、次のコマンドを実行して REST リクエストを送信します。
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets?dataset_id=DATASET_ID" | Select-Object -Expand Content
次のような JSON レスポンスが返されます。
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": CREATE_TIME,
"target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"verb": "create",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": false
}
返された OPERATION_ID をコピーして、次のセクションで使用します。
結果を確認する
データセットが作成されたかどうかを確認するには、projects.locations.operations.get メソッドを使用します。レスポンスに "done": false が含まれている場合は、レスポンスに "done": true が含まれるまでコマンドを繰り返します。
これらのオペレーションの完了には数分~数時間かかることがあります。
リクエストのデータを使用する前に、次のように置き換えます。
PROJECT_ID: IAM 設定に記載されている Google Cloud プロジェクト IDLOCATION: インスタンスのロケーション。サポートされているリージョンのいずれかを使用します。ロケーションを表示us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
OPERATION_ID: オペレーションの ID。
リクエストを送信するには、次のいずれかのオプションを選択します。
curl
次のコマンドを実行します。
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID"
PowerShell
次のコマンドを実行します。
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID" | Select-Object -Expand Content
次のような JSON レスポンスが返されます。
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": "2023-03-14T15:52:55.358979323Z",
"endTime": "2023-03-14T16:52:55.358979323Z",
"target": "projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID",
"verb": "create",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": true,
"response": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.Dataset",
"name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"createTime": CREATE_TIME,
"updateTime": UPDATE_TIME,
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"state": "ACTIVE",
"dateRange": {
"start_time": "DATA_START_DATE",
"end_time": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
}
データセットの取得
データセットを作成するには、projects.locations.instances.datasets.get メソッドを使用します。
リクエストのデータを使用する前に、次のように置き換えます。
PROJECT_ID: IAM 設定に記載されている Google Cloud プロジェクト IDLOCATION: インスタンスのロケーション。サポートされているリージョンのいずれかを使用します。ロケーションを表示us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID: インスタンスのユーザー定義の識別子DATASET_ID: データセットのユーザー定義の識別子
リクエストを送信するには、次のいずれかのオプションを選択します。
curl
次のコマンドを実行します。
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID"
PowerShell
次のコマンドを実行します。
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID" | Select-Object -Expand Content
次のような JSON レスポンスが返されます。
{
"name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"createTime": CREATE_TIME,
"updateTime": UPDATE_TIME,
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"state": "ACTIVE",
"dateRange": {
"start_time": "DATA_START_DATE",
"end_time": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
データセットの更新
データセットを更新するには、projects.locations.instances.datasets.patch メソッドを使用します。
更新できるフィールドは、AML AI のラベル フィールドのみです。次の例では、データセットに関連付けられている Key-Value ペアのユーザーラベルを更新します。
リクエストのデータを使用する前に、次のように置き換えます。
PROJECT_ID: IAM 設定に記載されている Google Cloud プロジェクト IDLOCATION: インスタンスのロケーション。サポートされているリージョンのいずれかを使用します。ロケーションを表示us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID: インスタンスのユーザー定義の識別子DATASET_ID: データセットのユーザー定義の識別子KEY: データセットの整理に使用する Key-Value ペアのキー。詳細については、labelsをご覧ください。VALUE: データセットの整理に使用する Key-Value ペアの値。詳細については、labelsをご覧ください。
リクエストの本文(JSON):
{
"labels": {
"KEY": "VALUE"
}
}
リクエストを送信するには、次のいずれかのオプションを選択します。
curl
リクエスト本文を request.json という名前のファイルに保存します。ターミナルで次のコマンドを実行して、このファイルを現在のディレクトリに作成または上書きします。
cat > request.json << 'EOF'
{
"labels": {
"KEY": "VALUE"
}
}
EOFその後、次のコマンドを実行して REST リクエストを送信します。
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID?updateMask=labels"
PowerShell
リクエスト本文を request.json という名前のファイルに保存します。ターミナルで次のコマンドを実行して、このファイルを現在のディレクトリに作成または上書きします。
@'
{
"labels": {
"KEY": "VALUE"
}
}
'@ | Out-File -FilePath request.json -Encoding utf8その後、次のコマンドを実行して REST リクエストを送信します。
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method PATCH `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID?updateMask=labels" | Select-Object -Expand Content
次のような JSON レスポンスが返されます。
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": CREATE_TIME,
"target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"verb": "update",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": false
}
長時間実行オペレーション(LRO)の結果を取得する方法の詳細については、結果の確認をご覧ください。
データセットの表示
特定のインスタンスのデータセットを表示するには、projects.locations.instances.datasets.list メソッドを使用します。
リクエストのデータを使用する前に、次のように置き換えます。
PROJECT_ID: IAM 設定に記載されている Google Cloud プロジェクト IDLOCATION: インスタンスのロケーション。サポートされているリージョンのいずれかを使用します。ロケーションを表示us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID: インスタンスのユーザー定義の識別子
リクエストを送信するには、次のいずれかのオプションを選択します。
curl
次のコマンドを実行します。
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets"
PowerShell
次のコマンドを実行します。
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets" | Select-Object -Expand Content
次のような JSON レスポンスが返されます。
{
"datasets": [
{
"name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"createTime": CREATE_TIME,
"updateTime": UPDATE_TIME,
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"state": "ACTIVE",
"dateRange": {
"start_time": "DATA_START_DATE",
"end_time": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
]
}
データセットの削除
データセットを削除するには、projects.locations.instances.datasets.delete メソッドを使用します。
リクエストのデータを使用する前に、次のように置き換えます。
PROJECT_ID: IAM 設定に記載されている Google Cloud プロジェクト IDLOCATION: インスタンスのロケーション。サポートされているリージョンのいずれかを使用します。ロケーションを表示us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID: インスタンスのユーザー定義の識別子DATASET_ID: データセットのユーザー定義の識別子
リクエストを送信するには、次のいずれかのオプションを選択します。
curl
次のコマンドを実行します。
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID"
PowerShell
次のコマンドを実行します。
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method DELETE `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID" | Select-Object -Expand Content
次のような JSON レスポンスが返されます。
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": CREATE_TIME,
"target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"verb": "delete",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": false
}
長時間実行オペレーション(LRO)の結果を取得する方法の詳細については、結果の確認をご覧ください。