Administra la configuración del conjunto de datos de Storage Insights

En esta página, se muestra cómo administrar las configuraciones de los conjuntos de datos de Storage Insights para controlar la fuente, el alcance y la retención de tus datos. Aprenderás a ver, enumerar, actualizar y borrar configuraciones, así como a ver, consultar y desvincular tus conjuntos de datos vinculados.

Obtén los roles necesarios

Para obtener los permisos que necesitas para administrar la configuración de los conjuntos de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM en tus proyectos fuente:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para administrar la configuración de los conjuntos de datos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para administrar la configuración de conjuntos de datos:

  • Consulta y enumera la configuración del conjunto de datos:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Actualiza y borra la configuración del conjunto de datos:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Desvincula el conjunto de datos de BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consulta conjuntos de datos vinculados a BigQuery: bigquery.jobs.create or bigquery.jobs.*

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Visualiza y consulta conjuntos de datos vinculados

Para ver y consultar conjuntos de datos vinculados, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

    En tu proyecto, se muestra una lista de las configuraciones de conjuntos de datos creadas.

  2. Haz clic en el conjunto de datos vinculado a BigQuery para ver la configuración del conjunto de datos que desees.

    La consola Google Cloud muestra el conjunto de datos vinculado a BigQuery. Para obtener información sobre el esquema de metadatos del conjunto de datos, consulta Esquema de metadatos del conjunto de datos.

  3. Puedes consultar tablas y vistas en tus conjuntos de datos vinculados de la misma manera que consultarías cualquier otra tabla de BigQuery.

Para evitar que la configuración del conjunto de datos se publique en el conjunto de datos de BigQuery, desvincula el conjunto de datos. Para desvincular un conjunto de datos, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

  3. En la sección Conjunto de datos vinculado a BigQuery, haz clic en Desvincular conjunto de datos.

  1. Para desvincular el conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

    • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    También puedes especificar una ruta de acceso completa a la configuración del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Reemplaza lo siguiente:

    • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

    • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información:

    {
  "name": "DATASET_NAME"
}

    Reemplaza lo siguiente:

    DATASET_NAME por el nombre del conjunto de datos que deseas desvincular. Por ejemplo:my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Usa cURL para llamar a la API de JSON con una solicitud de unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior.

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.

    • SERVICE_ACCOUNT con la cuenta de servicio Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

Cómo ver la configuración de un conjunto de datos

Para ver la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas ver.

    Se muestran los detalles de configuración del conjunto de datos.

Línea de comandos

  1. Para describir la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos

    • LOCATION con la ubicación y la configuración del conjunto de datos.

    También puedes especificar una ruta de acceso completa a la configuración del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Reemplaza lo siguiente:

    • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas ver.

    • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos

    • SERVICE_ACCOUNT con la cuenta de servicio Por ejemplo, test-service-account@test-project.

Enumera las configuraciones del conjunto de datos

Para enumerar las configuraciones del conjunto de datos en un proyecto, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

    Se muestra la lista de configuraciones del conjunto de datos.

Línea de comandos

  1. Para enumerar las configuraciones del conjunto de datos en un proyecto, ejecuta el comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Reemplaza lo siguiente:

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    Puedes usar las siguientes marcas opcionales para especificar el comportamiento de la llamada a la lista:

    • Usa --page-size para especificar la cantidad máxima de resultados que se devolverán por página.

    • Usa --filter=FILTER para filtrar los resultados. Para obtener más información sobre cómo usar la marca --filter, ejecuta gcloud topic filters y consulta la documentación.

    • Usa --sort-by=SORT_BY_VALUE para especificar una lista separada por comas de los nombres de claves de campo de recurso para ordenar. Por ejemplo, --sort-by=DATASET_CONFIG_ID

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    • SERVICE_ACCOUNT con la cuenta de servicio Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

Actualiza la configuración de un conjunto de datos

Para actualizar la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas actualizar.

  3. En la pestaña Configuración del conjunto de datos, haz clic en Editar para actualizar los campos.

Línea de comandos

  1. Para actualizar la configuración de un conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos.

    Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:

    • Usa --skip-verification para omitir las verificaciones y los errores del proceso de verificación, que incluye verificaciones de los permisos de IAM requeridos. Si se usa, es posible que se excluyan algunos o todos buckets del conjunto de datos.

    • Usa --retention-period-days=DAYS para especificar la cantidad de días de datos móviles que se capturarán en la instantánea del conjunto de datos. Por ejemplo, 90.

    • Usa --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS para especificar el período de retención de los datos de actividad en el conjunto de datos. De forma predeterminada, los datos de actividad se incluyen en el conjunto de datos y heredan su período de retención. Para anular el período de retención del conjunto de datos, especifica la cantidad de días que se retendrán los datos de actividad. Para excluir los datos de actividad, establece ACTIVITY_RETENTION_PERIOD_DAYS en 0.

    • Usa --description=DESCRIPTION para escribir una descripción de la configuración del conjunto de datos.

    • Usa --organization=ORGANIZATION_ID para especificar el ID de la organización del proyecto de origen. Si no se especifica, el valor predeterminado es el ID de la organización del proyecto fuente.

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Crea un archivo JSON que contenga la siguiente información opcional:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Reemplaza lo siguiente:

    • Reemplaza ORGANIZATION_ID por el ID del recurso de la organización a la que pertenecen los proyectos de origen. Si no se especifica, el valor predeterminado es el ID de la organización del proyecto fuente.

    • PROJECT_NUMBERS con los números de proyecto que se incluirán en el conjunto de datos. Puedes especificar uno o más proyectos en formato de lista.

    • RETENTION_PERIOD con la cantidad de días de datos móviles que se capturarán en la instantánea del conjunto de datos. Por ejemplo, 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS con la cantidad de días de datos de actividad que se capturarán en la instantánea del conjunto de datos. De forma predeterminada, los datos de actividad se incluyen en el conjunto de datos y heredan su período de retención. Para anular el período de retención del conjunto de datos, especifica la cantidad de días que se retendrán los datos de actividad. Para excluir los datos de actividad, establece ACTIVITY_RETENTION_PERIOD_DAYS en 0.

  3. Para actualizar la configuración del conjunto de datos, usa cURL para llamar a la API de JSON con una solicitud Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • JSON_FILE_NAME por la ruta de acceso al archivo JSON que creaste en el paso anterior.

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas actualizar.

    • UPDATE_MASK es la lista separada por comas de los nombres de campo que actualiza esta solicitud. Los campos usan el formato fieldMask y forman parte del recurso DatasetConfig.

    • SERVICE_ACCOUNT con la cuenta de servicio. Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com.

Borra la configuración de un conjunto de datos

Para borrar la configuración de un conjunto de datos, completa los siguientes pasos:

Console

  1. En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.

    Ir a Storage Insights

  2. Haz clic en el nombre de la configuración del conjunto de datos que deseas borrar.

  3. Haz clic en Borrar .

Línea de comandos

  1. Para borrar una configuración del conjunto de datos, ejecuta el comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Reemplaza lo siguiente:

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas borrar.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    Usa las siguientes marcas para borrar la configuración de un conjunto de datos:

    • Usa --auto-delete-link para desvincular el conjunto de datos que se generó a partir de la configuración del conjunto de datos que deseas borrar. Debes desvincular un conjunto de datos antes de poder borrar la configuración del conjunto de datos que lo generó.

    También puedes especificar una ruta de acceso completa a la configuración del conjunto de datos. Por ejemplo:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API de JSON

  1. Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado Authorization.

  2. Usa cURL para llamar a la API de JSON con una solicitud de Delete DatasetConfig:

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Reemplaza lo siguiente:

    • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

    • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo, us-central1.

    • DATASET_CONFIG_ID por el nombre de la configuración del conjunto de datos que deseas borrar.

    • SERVICE_ACCOUNT con la cuenta de servicio Por ejemplo, test-service-account@test-project.iam.gserviceaccount.com

¿Qué sigue?