Esportazione di metadati e annotazioni da un set di dati

Gemini Enterprise Agent Platform ti consente di esportare i metadati e i set di annotazioni da una risorsa Dataset. Questa funzionalità può essere utile se vuoi mantenere un record di una raccolta specifica di modifiche, aggiunte o eliminazioni di annotazioni.

Quando esporti un Dataset, Agent Platform crea uno o più file JSON Lines che contengono i metadati e le annotazioni del Dataset's e li salva in una directory Cloud Storage di tua scelta.

Puoi esportare le risorse Dataset di immagini. Non puoi esportare le risorse Dataset tabulari.

L'esportazione di un Dataset non crea copie aggiuntive dei dati delle immagini su cui si basa il Dataset. I file JSON Lines creati dai processi di esportazione includono gli URI Cloud Storage originali dei dati specificati quando li hai importati nel Dataset.

Esportare un Dataset utilizzando la Google Cloud console o l'API

Puoi utilizzare la Google Cloud console o l'API Agent Platform per esportare un Dataset. Segui i passaggi nella scheda corrispondente:

Console

  1. Nella Google Cloud console, nella sezione Agent Platform, vai a lla pagina Set di dati.

    Vai alla pagina Set di dati

  2. Nell'elenco a discesa Regione, seleziona la località in cui è archiviato il Dataset.

  3. Trova la riga del Dataset. Puoi esportare i metadati e le annotazioni per tutti i set di annotazioni o per un set di annotazioni specifico:

    • Se vuoi esportare i metadati e le annotazioni di tutti i set di annotazioni di Dataset's, fai clic su Visualizza altro e poi su Esporta set di dati.

      In questo modo, Agent Platform crea un insieme di file JSON Lines per ogni set di annotazioni.

    • Se vuoi esportare i metadati e le annotazioni di un set di annotazioni specifico,procedi nel seguente modo:

      1. Fai clic su Espandi nodo per mostrare le righe di ciascuno dei set di annotazioni del Dataset.

      2. Nella riga del set di annotazioni che vuoi esportare, fai clic su Visualizza altro e poi fai clic su Esporta set di annotazioni.

      In questo modo, Agent Platform crea un insieme di file JSON Lines per il set di annotazioni specificato.

  4. Nella finestra di dialogo Esporta dati, inserisci una directory Cloud Storage in cui vuoi che Agent Platform salvi i file JSON Lines esportati. Fai clic su Esporta.

REST

Recuperare l'ID del Dataset

Per esportare un Dataset, devi conoscere il suo ID numerico.Dataset Se conosci il nome visualizzato del Dataset ma non l'ID, espandi la sezione seguente per scoprire come recuperare l'ID utilizzando l'API:

Recuperare l'ID di un set di dati dal suo nome visualizzato

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: la località in cui è archiviato il Dataset. Ad esempio, us-central1.

  • PROJECT_ID: Il tuo ID progetto. .

  • DATASET_DISPLAY_NAME: il nome visualizzato del Dataset.

Metodo HTTP e URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

Per inviare la richiesta, scegli una di queste opzioni:

curl

Esegui questo comando: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

PowerShell

Esegui questo comando: 

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

La seguente risposta di esempio è stata troncata con ... per evidenziare dove puoi trovare l'ID del Dataset's: è il numero che sostituisce DATASET_ID.

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

In alternativa, puoi recuperare l'ID del Dataset's dalla Google Cloud console: vai alla pagina Set di dati di Agent Platform e trova il numero nella colonna ID.

Vai alla pagina Set di dati

Esportare uno o più set di annotazioni

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: la località in cui è archiviato il Dataset. Ad esempio, us-central1.

  • PROJECT_ID: Il tuo ID progetto. .

  • DATASET_ID: l'ID numerico del Dataset.

  • EXPORT_DIRECTORY: l'URI Cloud Storage (che inizia con gs://) di una directory in cui vuoi che Agent Platform salvi i file JSON Lines esportati. Deve trovarsi in un bucket Cloud Storage a cui hai accesso, ma la directory non deve ancora esistere.

  • FILTER: una stringa di filtro che determina quali set di annotazioni vengono esportati.

    • Se vuoi esportare i metadati e le annotazioni di tutti i set di annotazioni del Dataset's, sostituisci FILTER con una stringa vuota (o ometti completamente il campo annotationsFilter dal corpo della richiesta ). In questo modo, Agent Platform crea un insieme di file JSON Lines per ogni set di annotazioni.

    • Se vuoi esportare i metadati e le annotazioni di un set di annotazioni specifico, sostituisci FILTER con quanto segue:

      labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID

      In questo modo, Agent Platform crea un insieme di file JSON Lines per il set di annotazioni con l'ID numerico ANNOTATION_SET_ID.

      Per trovare l'ID numerico del set di annotazioni che vuoi specificare, visualizza il set di annotazioni nella Google Cloud console e cerca il valore dopo annotationSetId nell'URL.

Metodo HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

Corpo JSON della richiesta: 

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

Per inviare la richiesta, scegli una di queste opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, e quindi esegui il comando seguente: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, e quindi esegui il comando seguente: 

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

Alcune richieste avviano operazioni a lunga esecuzione che richiedono tempo per essere completate. Queste richieste restituiscono un nome dell'operazione, che puoi utilizzare per visualizzare lo stato dell'operazione o annullarla. Agent Platform fornisce metodi di assistenza per effettuare chiamate a operazioni a lunga esecuzione. Per saperne di più, consulta la pagina Utilizzare le operazioni a lunga esecuzione.

Spiegazione dei file esportati

Nella directory di esportazione specificata nella sezione precedente, Agent Platform crea una nuova directory con il nome visualizzato del Dataset's e un timestamp, ad esempio export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z. All'interno di questa directory, puoi trovare una sottodirectory per ogni set di annotazioni esportato.

Per ogni set di annotazioni, puoi trovare uno o più file JSON Lines. Ogni riga di ogni file JSON Lines rappresenta un elemento di dati del set di annotazioni. Ogni elemento di dati può contenere metadati e annotazioni specificati quando hai importato i dati in Agent Platform, nonché metadati e annotazioni aggiunti dopo l'importazione dei dati. Ad esempio, se hai aggiunto etichette o annotazioni al Dataset nella Google Cloud console, queste informazioni sono incluse nei file esportati.

Se esporti più set di annotazioni, gli stessi elementi di dati potrebbero essere visualizzati in più file JSON Lines. Ad esempio, se esporti un Dataset di immagini con più set di annotazioni, un file JSON Lines potrebbe contenere un elemento di dati con un'annotazione di classificazione a etichetta singola; un altro file JSON Lines per un set di annotazioni diverso potrebbe contenere lo stesso elemento di dati, ma con un'annotazione di rilevamento degli oggetti.

Il formato dei file esportati corrisponde al formato dei file di importazione JSON Lines che puoi utilizzare per importare i dati in Agent Platform. Questo formato dipende dal tipo di dati (immagine o tabulare) e dall'obiettivo (ad esempio, monitoraggio degli oggetti, estrazione di entità o classificazione). Ad esempio, se esporti un set di annotazioni per la classificazione delle immagini a etichetta singola, ogni riga di ogni file JSON Lines viene formattata in base al file dello schema gs://google-cloud-aiplatform/schema/dataset/ioformat/image_classification_single_label_io_format_1.0.0.yaml, come descritto in Preparare i dati delle immagini.

Passaggi successivi