本頁面說明如何建立及管理 AML AI 資料集。資料集會做為引擎設定、訓練、回溯測試和預測管道的輸入內容。AML AI 資料集包含對 BigQuery 資料表的參照,這些資料表符合Google Cloud 專案中的 AML AI 輸入資料模型。
必要條件
-
如要取得建立及管理資料集所需的權限,請要求管理員授予您專案的金融服務管理員 (
financialservices.admin) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。 - 建立執行個體
-
部分 API 方法會傳回長時間執行的作業 (LRO)。這些方法是以非同步方式執行,並會傳回 Operation 物件。詳情請參閱「REST 參考資料」。方法傳回回應時,作業可能尚未完成。對於這些方法,請先傳送要求,然後檢查結果。一般來說,所有 POST、PUT、UPDATE 和 DELETE 作業都是長時間執行的作業。
建立資料集
如要建立資料集,請傳送建立要求,然後檢查 LRO 的結果。
傳送要求
如要建立資料集,請使用 projects.locations.instances.datasets.create 方法。
使用任何要求資料之前,請先替換以下項目:
PROJECT_ID: Google Cloud 「身分與存取權管理設定」中列出的專案 IDLOCATION:執行個體的位置;請使用支援的區域之一。顯示地區us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID:使用者定義的執行個體 IDDATASET_ID:AML AI 資料集的專屬識別碼,由使用者定義,只能使用小寫字母、數字、破折號和底線 (例如train_jan2018_apr2020)。BQ_INPUT_DATASET_NAME:BigQuery 輸入資料集名稱PARTY_TABLE:BigQuery 輸入資料集中的「Party」資料表ACCOUNT_PARTY_LINK_TABLE:BigQuery 輸入資料集中的 AccountPartyLink 資料表TRANSACTION_TABLE:BigQuery 輸入資料集中的「交易」資料表RISK_CASE_EVENT_TABLE:BigQuery 輸入資料集中的 RiskCaseEvent 資料表PARTY_SUPPLEMENTARY_DATA:BigQuery 輸入資料集中的 PartySupplementaryData 資料表;這個資料表為選用項目,可從要求 JSON 中移除。DATA_START_DATE:資料集的資料開始日期和時間;請使用 RFC3339 世界標準時間「Zulu」格式 (例如2014-10-02T15:01:23Z)DATA_END_DATE:資料集使用的資料結束日期和時間;請使用 RFC3339 世界標準時間「Zulu」格式 (例如2014-10-02T15:01:23Z)
JSON 要求主體:
{
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"dateRange": {
"startTime": "DATA_START_DATE",
"endTime": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
如要傳送要求,請選擇以下其中一個選項:
curl
將要求主體儲存在名為 request.json 的檔案中。
在終端機中執行下列指令,在目前目錄中建立或覆寫這個檔案:
cat > request.json << 'EOF'
{
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"dateRange": {
"startTime": "DATA_START_DATE",
"endTime": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
EOF接著,請執行下列指令來傳送 REST 要求:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets?dataset_id=DATASET_ID"
PowerShell
將要求主體儲存在名為 request.json 的檔案中。
在終端機中執行下列指令,在目前目錄中建立或覆寫這個檔案:
@'
{
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"dateRange": {
"startTime": "DATA_START_DATE",
"endTime": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
'@ | Out-File -FilePath request.json -Encoding utf8接著,請執行下列指令來傳送 REST 要求:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets?dataset_id=DATASET_ID" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": CREATE_TIME,
"target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"verb": "create",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": false
}
複製傳回的 OPERATION_ID,以便在下一節中使用。
查看結果
使用 projects.locations.operations.get 方法檢查資料集是否已建立。如果回應包含 "done": false,請重複執行指令,直到回應包含 "done": true 為止。這些作業可能需要幾分鐘到幾小時才能完成。
使用任何要求資料之前,請先替換以下項目:
PROJECT_ID: Google Cloud 「身分與存取權管理設定」中列出的專案 IDLOCATION:執行個體的位置;請使用其中一個 支援的區域顯示地區us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
OPERATION_ID:作業的 ID
如要傳送要求,請選擇以下其中一個選項:
curl
執行下列指令:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID"
PowerShell
執行下列指令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": "2023-03-14T15:52:55.358979323Z",
"endTime": "2023-03-14T16:52:55.358979323Z",
"target": "projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID",
"verb": "create",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": true,
"response": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.Dataset",
"name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"createTime": CREATE_TIME,
"updateTime": UPDATE_TIME,
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"state": "ACTIVE",
"dateRange": {
"start_time": "DATA_START_DATE",
"end_time": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
}
取得資料集
如要取得資料集,請使用 projects.locations.instances.datasets.get 方法。
使用任何要求資料之前,請先替換以下項目:
PROJECT_ID: Google Cloud 「身分與存取權管理設定」中列出的專案 IDLOCATION:執行個體的位置;請使用其中一個 支援的區域顯示地區us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID:使用者定義的執行個體 IDDATASET_ID:使用者定義的資料集 ID
如要傳送要求,請選擇以下其中一個選項:
curl
執行下列指令:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID"
PowerShell
執行下列指令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{
"name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"createTime": CREATE_TIME,
"updateTime": UPDATE_TIME,
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"state": "ACTIVE",
"dateRange": {
"start_time": "DATA_START_DATE",
"end_time": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
更新資料集
如要更新資料集,請使用 projects.locations.instances.datasets.patch 方法。
只有 AML AI 中的標籤欄位可以更新。 以下範例會更新與資料集相關聯的使用者標籤鍵/值組合。
使用任何要求資料之前,請先替換以下項目:
PROJECT_ID: Google Cloud 「身分與存取權管理設定」中列出的專案 IDLOCATION:執行個體的位置;請使用其中一個 支援的區域顯示地區us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID:使用者定義的執行個體 IDDATASET_ID:使用者定義的資料集 IDKEY:用於整理資料集的鍵/值組合中的鍵。詳情請參閱labels。VALUE:用於整理資料集的鍵/值組合中的值。詳情請參閱labels。
JSON 要求主體:
{
"labels": {
"KEY": "VALUE"
}
}
如要傳送要求,請選擇以下其中一個選項:
curl
將要求主體儲存在名為 request.json 的檔案中。
在終端機中執行下列指令,在目前目錄中建立或覆寫這個檔案:
cat > request.json << 'EOF'
{
"labels": {
"KEY": "VALUE"
}
}
EOF接著,請執行下列指令來傳送 REST 要求:
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID?updateMask=labels"
PowerShell
將要求主體儲存在名為 request.json 的檔案中。
在終端機中執行下列指令,在目前目錄中建立或覆寫這個檔案:
@'
{
"labels": {
"KEY": "VALUE"
}
}
'@ | Out-File -FilePath request.json -Encoding utf8接著,請執行下列指令來傳送 REST 要求:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method PATCH `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID?updateMask=labels" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": CREATE_TIME,
"target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"verb": "update",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": false
}
如要進一步瞭解如何取得長時間執行的作業 (LRO) 結果,請參閱「檢查結果」。
列出資料集
如要列出特定執行個體的資料集,請使用 projects.locations.instances.datasets.list 方法。
使用任何要求資料之前,請先替換以下項目:
PROJECT_ID: Google Cloud 「身分與存取權管理設定」中列出的專案 IDLOCATION:執行個體的位置;請使用其中一個 支援的區域顯示地區us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID:使用者定義的執行個體 ID
如要傳送要求,請選擇以下其中一個選項:
curl
執行下列指令:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets"
PowerShell
執行下列指令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{
"datasets": [
{
"name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"createTime": CREATE_TIME,
"updateTime": UPDATE_TIME,
"tableSpecs": {
"party": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_TABLE",
"account_party_link": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.ACCOUNT_PARTY_LINK_TABLE",
"transaction": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.TRANSACTION_TABLE",
"risk_case_event": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.RISK_CASE_EVENT_TABLE",
"party_supplementary_data": "bq://PROJECT_ID.BQ_INPUT_DATASET_NAME.PARTY_SUPPLEMENTARY_DATA"
},
"state": "ACTIVE",
"dateRange": {
"start_time": "DATA_START_DATE",
"end_time": "DATA_END_DATE"
},
"timeZone": {
"id": "UTC"
}
}
]
}
刪除資料集
如要刪除資料集,請使用 projects.locations.instances.datasets.delete 方法。
使用任何要求資料之前,請先替換以下項目:
PROJECT_ID: Google Cloud 「身分與存取權管理設定」中列出的專案 IDLOCATION:執行個體的位置;請使用其中一個 支援的區域顯示地區us-central1us-east1asia-south1europe-west1europe-west2europe-west4northamerica-northeast1southamerica-east1australia-southeast1
INSTANCE_ID:使用者定義的執行個體 IDDATASET_ID:使用者定義的資料集 ID
如要傳送要求,請選擇以下其中一個選項:
curl
執行下列指令:
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID"
PowerShell
執行下列指令:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method DELETE `
-Headers $headers `
-Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID" | Select-Object -Expand Content
您應該會收到如下的 JSON 回應:
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
"createTime": CREATE_TIME,
"target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/DATASET_ID",
"verb": "delete",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": false
}
如要進一步瞭解如何取得長時間執行的作業 (LRO) 結果,請參閱「檢查結果」。