Gestionar configuraciones de conjuntos de datos de Estadísticas de almacenamiento

En esta página se explica cómo gestionar las configuraciones de conjuntos de datos de Estadísticas de almacenamiento para controlar la fuente, el ámbito y la conservación de tus datos. Aprenderás a ver, enumerar, actualizar y eliminar configuraciones, así como a ver, consultar y desvincular tus conjuntos de datos vinculados.

Obtener los roles necesarios

Para obtener los permisos que necesitas para gestionar las configuraciones de conjuntos de datos, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en tus proyectos de origen:

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para gestionar las configuraciones de conjuntos de datos. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para gestionar las configuraciones de conjuntos de datos, se necesitan los siguientes permisos:

  • Ver y enumerar la configuración del conjunto de datos:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Actualizar y eliminar la configuración de un conjunto de datos:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Desvincular del conjunto de datos de BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consultar conjuntos de datos vinculados de BigQuery: bigquery.jobs.create or bigquery.jobs.*

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Ver y consultar conjuntos de datos vinculados

Para ver y consultar conjuntos de datos vinculados, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.

    Ir a Estadísticas de almacenamiento

    En tu proyecto se muestra una lista de las configuraciones de conjuntos de datos creadas.

  2. Haga clic en el conjunto de datos vinculado de BigQuery cuya configuración quiera ver.

    La Google Cloud consola muestra el conjunto de datos vinculado de BigQuery. Para obtener información sobre el esquema de conjunto de datos de los metadatos, consulta Esquema de conjunto de datos de los metadatos.

  3. Puede consultar tablas y vistas de sus conjuntos de datos vinculados de la misma forma que consultaría cualquier otra tabla de BigQuery.

Para evitar que la configuración del conjunto de datos se publique en el conjunto de datos de BigQuery, desvincule el conjunto de datos. Para desvincular un conjunto de datos, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.

    Ir a Estadísticas de almacenamiento

  2. Haz clic en el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres desvincular.

  3. En la sección Conjunto de datos vinculado de BigQuery, haga clic en Desvincular conjunto de datos.

  1. Para desvincular el conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Sustituye:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que generó el conjunto de datos que quieres desvincular.

    • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    También puedes especificar una ruta de configuración de conjunto de datos completa. Por ejemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Sustituye:

    • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta el artículo Crea y gestiona proyectos.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres desvincular.

    • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

  1. Tener gcloud CLI instalado e inicializado, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información:

    {
  "name": "DATASET_NAME"
}

    Sustituye:

    DATASET_NAME con el nombre del conjunto de datos que quieras desvincular. Por ejemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Usa cURL para llamar a la API JSON con una solicitud unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sustituye:

    • JSON_FILE_NAME con la ruta al archivo JSON que has creado en el paso anterior.

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres desvincular.

    • SERVICE_ACCOUNT con la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com.

Ver la configuración de un conjunto de datos

Para ver la configuración de un conjunto de datos, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.

    Ir a Estadísticas de almacenamiento

  2. Haga clic en el nombre de la configuración del conjunto de datos que quiera ver.

    Se muestran los detalles de configuración del conjunto de datos.

Línea de comandos

  1. Para describir una configuración de conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Sustituye:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos.

    También puedes especificar una ruta de configuración de conjunto de datos completa. Por ejemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Sustituye:

    • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta el artículo Crea y gestiona proyectos.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres ver.

    • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

API JSON

  1. Tener gcloud CLI instalado e inicializado, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API JSON con una solicitud Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sustituye:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

    • SERVICE_ACCOUNT con la cuenta de servicio. Por ejemplo, test-service-account@test-project..

Mostrar configuraciones de conjuntos de datos

Para enumerar las configuraciones de conjuntos de datos de un proyecto, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.

    Ir a Estadísticas de almacenamiento

    Se muestra la lista de configuraciones de conjuntos de datos.

Línea de comandos

  1. Para enumerar las configuraciones de conjuntos de datos de un proyecto, ejecuta el comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Sustituye:

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    Puedes usar las siguientes marcas opcionales para especificar el comportamiento de la llamada de listado:

    • Usa --page-size para especificar el número máximo de resultados que se devolverán por página.

    • Usa --filter=FILTER para filtrar los resultados. Para obtener más información sobre cómo usar la marca --filter, ejecuta gcloud topic filters y consulta la documentación.

    • Usa --sort-by=SORT_BY_VALUE para especificar una lista de nombres de claves de campos de recursos separados por comas para ordenar. Por ejemplo, --sort-by=DATASET_CONFIG_ID.

API JSON

  1. Tener gcloud CLI instalado e inicializado, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API JSON con una solicitud Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sustituye:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • SERVICE_ACCOUNT con la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com.

Actualizar la configuración de un conjunto de datos

Para actualizar la configuración de un conjunto de datos, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.

    Ir a Estadísticas de almacenamiento

  2. Haga clic en el nombre de la configuración del conjunto de datos que quiera actualizar.

  3. En la pestaña Configuración del conjunto de datos, haga clic en Editar para actualizar los campos.

Línea de comandos

  1. Para actualizar la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Sustituye:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos.

    Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:

    • Usa --skip-verification para omitir las comprobaciones y los errores del proceso de verificación, que incluye comprobaciones de los permisos de IAM obligatorios. Si se usa, es posible que algunos o todos los contenedores se excluyan del conjunto de datos.

    • Use --retention-period-days=DAYS para especificar el número de días de datos que se van a capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

    • Usa --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS para especificar el periodo de conservación de los datos de actividad del conjunto de datos. De forma predeterminada, los datos de actividad se incluyen en el conjunto de datos y heredan el periodo de conservación del conjunto de datos. Para anular el periodo de conservación del conjunto de datos, especifica el número de días que quieres conservar los datos de actividad. Para excluir datos de actividad, asigna el valor 0 a ACTIVITY_RETENTION_PERIOD_DAYS.

    • Usa --description=DESCRIPTION para escribir una descripción de la configuración del conjunto de datos.

    • Use --organization=ORGANIZATION_ID para especificar el ID de la organización del proyecto de origen. Si no se especifica, se utiliza el ID de organización del proyecto de origen de forma predeterminada.

API JSON

  1. Tener gcloud CLI instalado e inicializado, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información opcional:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Sustituye:

    • ORGANIZATION_ID con el ID de recurso de la organización a la que pertenecen los proyectos de origen. Si no se especifica, se usa el ID de organización del proyecto de origen.

    • PROJECT_NUMBERS con los números de proyecto que quieras incluir en el conjunto de datos. Puedes especificar uno o varios proyectos en formato de lista.

    • RETENTION_PERIOD con el número de días de datos que se van a capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS con el número de días de datos de actividad que se van a registrar en la instantánea del conjunto de datos. De forma predeterminada, los datos de actividad se incluyen en el conjunto de datos y heredan el periodo de conservación del conjunto de datos. Para anular el periodo de conservación del conjunto de datos, especifica el número de días que quieres conservar los datos de actividad. Para excluir datos de actividad, asigna el valor ACTIVITY_RETENTION_PERIOD_DAYS a 0.

  3. Para actualizar la configuración del conjunto de datos, usa cURL para llamar a la API JSON con una solicitud Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Sustituye:

    • JSON_FILE_NAME con la ruta al archivo JSON que has creado en el paso anterior.

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que quieras actualizar.

    • UPDATE_MASK es la lista de nombres de campos separados por comas que actualiza esta solicitud. Los campos usan el formato fieldMask y forman parte del recurso DatasetConfig.

    • SERVICE_ACCOUNT con la cuenta de servicio. Por ejemplo,test-service-account@test-project.iam.gserviceaccount.com.

Eliminar una configuración de conjunto de datos

Para eliminar una configuración de conjunto de datos, sigue estos pasos:

Consola

  1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.

    Ir a Estadísticas de almacenamiento

  2. Haz clic en el nombre de la configuración del conjunto de datos que quieras eliminar.

  3. Haz clic en Eliminar .

Línea de comandos

  1. Para eliminar una configuración de conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Sustituye:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que quieras eliminar.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    Utiliza las siguientes marcas para eliminar una configuración de conjunto de datos:

    • Usa --auto-delete-link para desvincular el conjunto de datos que se haya generado a partir de la configuración del conjunto de datos que quieras eliminar. Debes desvincular un conjunto de datos antes de poder eliminar la configuración del conjunto de datos que lo ha generado.

    También puedes especificar una ruta de configuración de conjunto de datos completa. Por ejemplo:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API JSON

  1. Tener gcloud CLI instalado e inicializado, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API JSON con una solicitud Delete DatasetConfig:

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Sustituye:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que quieras eliminar.

    • SERVICE_ACCOUNT con la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com.

Siguientes pasos