Administra la configuración del conjunto de datos de Storage Insights

Los conjuntos de datos de Storage Insights te permiten recopilar metadatos y datos de actividad de tus buckets y objetos de Cloud Storage, y, luego, analizar esos datos en BigQuery. Puedes configurar la fuente de datos, el alcance y la configuración de retención de un conjunto de datos para ayudar a optimizar los costos de almacenamiento, administrar los ciclos de vida de los datos y respaldar el cumplimiento.

En este documento, se muestra cómo ver, actualizar y borrar parámetros de configuración de conjuntos de datos, y cómo consultar o desvincular conjuntos de datos de BigQuery vinculados. Para obtener información general, consulta Conjuntos de datos de Storage Insights.

Obtén los roles necesarios

Para obtener los permisos que necesitas para administrar las configuraciones de conjuntos de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM en tus proyectos de origen:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para administrar las configuraciones de los conjuntos de datos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para administrar los parámetros de configuración de los conjuntos de datos:

  • Visualiza y enumera la configuración del conjunto de datos:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Actualiza y borra la configuración del conjunto de datos:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Desvincula un conjunto de datos de BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consulta conjuntos de datos vinculados a BigQuery: bigquery.jobs.create or bigquery.jobs.*

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Visualiza y consulta conjuntos de datos vinculados

Para ver y consultar conjuntos de datos vinculados, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

    En tu proyecto, se muestra una lista de los parámetros de configuración de conjuntos de datos creados.

  2. Haz clic en el conjunto de datos vinculado a BigQuery para ver la configuración del conjunto de datos.

    En la consola de Google Cloud , se muestra el conjunto de datos vinculado a BigQuery. Para obtener información sobre el esquema de metadatos del conjunto de datos, consulta Esquema de metadatos del conjunto de datos.

  3. Consulta tablas y vistas en tus conjuntos de datos vinculados de la misma manera que consultarías cualquier otra tabla de BigQuery.

Para detener la publicación de la configuración del conjunto de datos en el conjunto de datos de BigQuery, desvincula el conjunto de datos. Para desvincular un conjunto de datos, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

  3. En la sección Conjunto de datos vinculado a BigQuery, haz clic en Desvincular conjunto de datos.

  1. Para desvincular el conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que quieres desvincular.

    • LOCATION por la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    También puedes especificar una ruta de acceso completa de configuración del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Reemplaza lo siguiente:

    • DESTINATION_PROJECT_ID por el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que quieres desvincular.

    • LOCATION por la ubicación de tu conjunto de datos y su configuración. Por ejemplo, us-central1.

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información:

    {
  "name": "DATASET_NAME"
}

    Reemplaza lo siguiente:

    DATASET_NAME por el nombre del conjunto de datos que quieres desvincular. Por ejemplo:my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Usa cURL para llamar a la API de JSON con una solicitud de unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior.

    • PROJECT_ID por el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

    • SERVICE_ACCOUNT por la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

Visualiza la configuración de un conjunto de datos

Para ver la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas ver.

    Se muestran los detalles de configuración del conjunto de datos.

Línea de comandos

  1. Para describir la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos.

    También puedes especificar una ruta de acceso completa de configuración del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Reemplaza lo siguiente:

    • DESTINATION_PROJECT_ID por el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas ver.

    • LOCATION por la ubicación de tu conjunto de datos y su configuración. Por ejemplo, us-central1.

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • PROJECT_ID por el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos.

    • SERVICE_ACCOUNT por la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

Enumera los parámetros de configuración del conjunto de datos

Para enumerar los parámetros de configuración del conjunto de datos en un proyecto, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

    Se mostrará la lista de configuraciones de conjuntos de datos.

Línea de comandos

  1. Para enumerar las configuraciones de conjuntos de datos en un proyecto, ejecuta el comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Reemplaza lo siguiente:

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    Puedes usar las siguientes marcas opcionales para especificar el comportamiento de la llamada de lista:

    • Usa --page-size para especificar la cantidad máxima de resultados que se devolverán por página.

    • Usa --filter=FILTER para filtrar los resultados. Para obtener más información sobre cómo usar la marca --filter, ejecuta gcloud topic filters y consulta la documentación.

    • Usa --sort-by=SORT_BY_VALUE para especificar una lista separada por comas de los nombres de claves de campo de recurso para ordenar. Por ejemplo, --sort-by=DATASET_CONFIG_ID

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • PROJECT_ID por el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • SERVICE_ACCOUNT por la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

Actualiza la configuración de un conjunto de datos

Para actualizar la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas actualizar.

  3. En la pestaña Configuración del conjunto de datos, haz clic en Editar para actualizar los campos.

Línea de comandos

  1. Para actualizar la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos.

    Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:

    • Usa --skip-verification para omitir las verificaciones y los errores del proceso de verificación, que incluye verificaciones de los permisos de IAM necesarios. Si se usa, es posible que algunos o todos los buckets se excluyan del conjunto de datos.

    • Usa --retention-period-days=DAYS para especificar la cantidad variable de días de datos que se capturarán en la instantánea del conjunto de datos. Por ejemplo, 90.

    • Usa --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS para especificar el período de retención de los datos de actividad en el conjunto de datos. De forma predeterminada, los datos de actividad se incluyen en el conjunto de datos y heredan el período de retención del conjunto de datos. Para anular el período de retención del conjunto de datos, especifica la cantidad de días que se conservarán los datos de actividad. Para excluir los datos de actividad, establece ACTIVITY_RETENTION_PERIOD_DAYS en 0.

    • Usa --description=DESCRIPTION para escribir una descripción de la configuración del conjunto de datos.

    • Usa --organization=ORGANIZATION_ID para especificar el ID de organización del proyecto de origen. Si no se especifica, se usa de forma predeterminada el ID de organización del proyecto de origen.

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información opcional:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Reemplaza lo siguiente:

    • ORGANIZATION_ID por el ID del recurso de la organización a la que pertenecen los proyectos de origen. Si no se especifica, se usa de forma predeterminada el ID de organización del proyecto de origen.

    • PROJECT_NUMBERS por los números de proyecto que se incluirán en el conjunto de datos. Puedes especificar uno o más proyectos en un formato de lista.

    • RETENTION_PERIOD por la cantidad variable de días de datos que se capturarán en la instantánea del conjunto de datos. Por ejemplo, 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS por la cantidad de días de datos de actividad que se capturarán en la instantánea del conjunto de datos. De forma predeterminada, los datos de actividad se incluyen en el conjunto de datos y heredan el período de retención del conjunto de datos. Para anular el período de retención del conjunto de datos, especifica la cantidad de días que se conservarán los datos de actividad. Para excluir los datos de actividad, establece ACTIVITY_RETENTION_PERIOD_DAYS en 0.

  3. Para actualizar la configuración del conjunto de datos, usa cURL para llamar a la API de JSON con una solicitud Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior.

    • PROJECT_ID por el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas actualizar.

    • UPDATE_MASK es la lista separada por comas de los nombres de campo que actualiza esta solicitud. Los campos usan el formato fieldMask y forman parte del recurso DatasetConfig.

    • SERVICE_ACCOUNT por la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

Borra la configuración de un conjunto de datos

Para borrar la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas borrar.

  3. Haz clic en Borrar .

Línea de comandos

  1. Para borrar la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas borrar.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    Usa las siguientes marcas para borrar la configuración de un conjunto de datos:

    • Usa --auto-delete-link para desvincular el conjunto de datos que se generó a partir de la configuración del conjunto de datos que deseas borrar. Debes desvincular un conjunto de datos antes de poder borrar la configuración que lo generó.

    También puedes especificar una ruta de acceso completa de configuración del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Delete DatasetConfig:

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • PROJECT_ID por el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION por la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que quieres borrar.

    • SERVICE_ACCOUNT por la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

¿Qué sigue?