En esta página, se muestra cómo crear y administrar conjuntos de datos y configuraciones de conjuntos de datos de Storage Insights. Obtén más información sobre los conjuntos de datos de Storage Insights.
Antes de comenzar
Antes de comenzar a crear y administrar conjuntos de datos y configuraciones de conjuntos de datos, sigue las instrucciones de las siguientes subsecciones.
Obtén los roles necesarios
Para obtener los permisos que necesitas para crear y administrar conjuntos de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM en tus proyectos fuente:
-
Para crear, administrar y ver la configuración de conjuntos de datos:
Administrador de Storage Insights (
roles/storageinsights.admin) -
Para ver, vincular y desvincular conjuntos de datos, haz lo siguiente:
-
Analista de Storage Insights (
roles/storageinsights.analyst) -
Administrador de BigQuery (
roles/bigquery.admin)
-
Analista de Storage Insights (
-
Para borrar conjuntos de datos vinculados, haz lo siguiente:
Administrador de BigQuery (
roles/bigquery.admin) -
Para ver y consultar conjuntos de datos en BigQuery, haz lo siguiente:
-
Visualizador de Storage Insights (
roles/storageinsights.viewer) -
Usuario de trabajo de BigQuery (
roles/bigquery.jobUser) -
Visualizador de datos de BigQuery (
roles/bigquery.dataViewer)
-
Visualizador de Storage Insights (
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Estos roles predefinidos contienen los permisos necesarios para crear y administrar conjuntos de datos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para crear y administrar conjuntos de datos:
-
Crea la configuración del conjunto de datos:
storageinsights.datasetConfigs.create -
Consulta la configuración del conjunto de datos:
-
storageinsights.datasetConfigs.get -
storageinsights.datasetConfigs.list
-
-
Administra la configuración del conjunto de datos:
-
storageinsights.datasetConfigs.update -
storageinsights.datasetConfigs.delete
-
-
Vínculo al conjunto de datos de BigQuery:
storageinsights.datasetConfigs.linkDataset -
Desvincula el conjunto de datos de BigQuery:
storageinsights.datasetConfigs.unlinkDataset -
Consulta conjuntos de datos vinculados a BigQuery:
bigquery.jobs.create or bigquery.jobs.*
También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.
Habilita la API de Storage Insights
Console
Línea de comandos
Para habilitar la API de Storage Insights en tu proyecto actual, ejecuta el siguiente comando:
gcloud services enable storageinsights.googleapis.com
Para obtener más detalles sobre cómo habilitar servicios para un proyecto de Google Cloud , consulta Habilita e inhabilita servicios.
Configura Storage Intelligence
Asegúrate de que Storage Intelligence esté configurado en el proyecto, la carpeta o la organización que deseas analizar con conjuntos de datos.
Crea una configuración del conjunto de datos
Para crear una configuración del conjunto de datos y generar un conjunto de datos, sigue estos pasos. Para obtener más información sobre los campos que puedes especificar cuando creas la configuración del conjunto de datos, consulta Propiedades de configuración del conjunto de datos.
Console
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Haz clic en Configurar conjunto de datos.
En la sección Asigna un nombre a tu conjunto de datos, ingresa un nombre para tu conjunto de datos. De manera opcional, ingresa una descripción para el conjunto de datos.
En la sección Define dataset scope, haz lo siguiente:
Selecciona una de las siguientes opciones:
Para obtener los metadatos de almacenamiento de todos los proyectos de la organización actual, selecciona Incluir la organización.
Para obtener los metadatos de almacenamiento de todos los proyectos en las carpetas seleccionadas, selecciona Incluir carpetas(suborganización/departamentos). Para obtener información sobre cómo obtener IDs de carpetas, consulta Cómo ver o enumerar carpetas y proyectos. Para agregar carpetas, haz lo siguiente:
- En el campo Carpeta 1, ingresa el ID de la carpeta.
- De manera opcional, para agregar varios IDs de carpetas, haz clic en + Agregar otra carpeta.
Para obtener los metadatos de almacenamiento de los proyectos seleccionados, selecciona Incluir proyectos proporcionando números de proyecto. Para obtener información sobre cómo encontrar los números de proyecto, consulta Cómo encontrar el nombre, el número y el ID del proyecto. Para agregar proyectos, haz lo siguiente:
- En el campo Proyecto 1, ingresa el número del proyecto.
- De manera opcional, para agregar varios números de proyecto, haz clic en + Agregar otro proyecto.
Para agregar proyectos o carpetas de forma masiva, selecciona Subir una lista de proyectos o carpetas a través de un archivo CSV. El archivo CSV debe contener los números de proyecto o los IDs de carpeta que deseas incluir en el conjunto de datos.
Especifica si quieres incluir automáticamente los próximos buckets en el recurso seleccionado.
De manera opcional, para especificar filtros en los buckets según las regiones y los prefijos de bucket, expande la sección Filtros (opcional). Los filtros se aplican de forma aditiva en buckets.
Puedes incluir o excluir buckets de regiones específicas. Por ejemplo, puedes excluir los buckets que se encuentran en las regiones
me-central1yme-central2. También puedes incluir o excluir buckets por prefijo. Por ejemplo, si deseas excluir los buckets que comienzan conmy-bucket, ingresa el prefijomy-bucket*.
Haz clic en Continuar.
En la sección Selecciona el período de retención, elige un período de retención para los datos del conjunto de datos.
En la sección Selecciona la ubicación para almacenar el conjunto de datos configurado, selecciona una ubicación para almacenar el conjunto de datos y su configuración.
En la sección Selecciona el tipo de cuenta de servicio, selecciona un tipo de agente de servicio para tu conjunto de datos. Este agente de servicio se crea en tu nombre cuando creas la configuración del conjunto de datos. Puedes seleccionar uno de los siguientes agentes de servicio:
- Cuenta de servicio con alcance de configuración: Este agente de servicio solo puede acceder al conjunto de datos generado por la configuración de un conjunto de datos en particular y escribir en él.
- Cuenta de servicio con alcance para el proyecto: Este agente de servicio puede acceder a los conjuntos de datos que se generan a partir de todas las configuraciones de conjuntos de datos del proyecto y escribir en ellos.
Cuando crees el agente de servicio, debes otorgarle los permisos necesarios. Para obtener más información sobre estos agente de servicio, consulta Propiedades de configuración del conjunto de datos.
Haz clic en Configurar. Después de configurar el conjunto de datos, pueden transcurrir hasta 48 horas para que veas la primera carga de datos en los conjuntos de datos vinculados.
Línea de comandos
Para crear una configuración del conjunto de datos, ejecuta el comando
gcloud alpha storage insights dataset-configs createcon las marcas requeridas:gcloud alpha storage insights dataset-configs create DATASET_CONFIG_ID \ --location=LOCATION \ --organization=SOURCE_ORG_NUMBER \ --retention-period-days=RETENTION_PERIOD_DAYS \ (SCOPE_FLAG)
Aquí:
DATASET_CONFIG_IDes el nombre que deseas darle a la configuración del conjunto de datos. Los nombres se usan como identificadores de las configuraciones de conjuntos de datos y son mutables. El nombre puede contener hasta 128 caracteres, incluidos letras, números y guiones bajos.LOCATIONes la ubicación en la que se almacenarán la configuración y el conjunto de datos.SOURCE_ORG_NUMBERes el ID de la organización a la que pertenecen los proyectos de origen. Para obtener información sobre cómo encontrar el ID de tu organización, consulta Obtén el ID de tu recurso de organización.RETENTION_PERIOD_DAYSes el período de retención de los datos en el conjunto de datos.SCOPE_FLAGes una de las siguientes marcas que define el alcance de los datos que deseas recopilar:--enable-organization-scope: Permite que el conjunto de datos recopile estadísticas de todos los buckets de toda la organización.--source-folders=[SOURCE_FOLDER_NUMBERS,...]: Especifica una lista de números de carpetas para incluir en el conjunto de datos. Para obtener información sobre cómo encontrar el número de una carpeta, consulta Cómo enumerar todos los proyectos y las carpetas de tu jerarquía.--source-folders-file=FILE_PATH: Especifica varios números de carpeta subiendo un archivo CSV a un bucket.--source-projects=[SOURCE_PROJECT_NUMBERS,...]: Especifica una lista de números de proyecto para incluir en el conjunto de datos. Por ejemplo,464036093014Para obtener información sobre cómo encontrar el número de tu proyecto, consulta Cómo encontrar el nombre, el número y el ID del proyecto.--source-projects-file=FILE_PATH: Especifica varios números de proyecto subiendo un archivo CSV a un bucket.
De manera opcional, puedes usar marcas adicionales para configurar el conjunto de datos:
Usa
--include-buckets=BUCKET_NAMES_OR_REGEXpara incluir buckets específicos por nombre o expresión regular. Si se usa esta marca, no se puede usar--exclude-buckets.Usa
--exclude-buckets=BUCKET_NAMES_OR_REGEXpara excluir buckets específicos por nombre o expresión regular. Si se usa esta marca, no se puede usar--include-buckets.Usa
--project=DESTINATION_PROJECT_IDpara especificar un proyecto que se usará para almacenar la configuración del conjunto de datos y el conjunto de datos generado. Si no se usa esta marca, el proyecto de destino será tu proyecto activo. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.Usa
--auto-add-new-bucketspara incluir automáticamente los buckets que se agreguen a los proyectos fuente en el futuro.Usa
--skip-verificationpara omitir las verificaciones y los errores del proceso de verificación, que incluye verificaciones de los permisos de IAM requeridos. Si se usa, es posible que se excluyan algunos o todos buckets del conjunto de datos.Usa
--identity=IDENTITY_TYPEpara especificar el tipo de agente de servicio que se crea junto con la configuración del conjunto de datos. Los valores sonIDENTITY_TYPE_PER_CONFIGoIDENTITY_TYPE_PER_PROJECT. Si no se especifica, el valor predeterminado esIDENTITY_TYPE_PER_CONFIG.Usa
--description=DESCRIPTIONpara escribir una descripción de la configuración del conjunto de datos.Usa
--organization=ORGANIZATION_IDcon el ID de recurso de la organización a la que pertenecen los proyectos de origen. La configuración del conjunto de datos excluye los proyectos de origen que se encuentran fuera de la ubicación especificada. Para obtener información sobre cómo encontrar el ID de tu organización, consulta Obtén el ID de tu recurso de organización. Si no se especifica, el valor predeterminado es el ID de la organización del proyecto fuente.
En el siguiente ejemplo, se crea una configuración del conjunto de datos llamada
my-dataseten la regiónus-central1para la organización con el ID123456789, con un período de retención de30días y un alcance limitado a los proyectos987654321y123123123:gcloud alpha storage insights dataset-configs create my-dataset \ --location=us-central1 \ --organization=123456789 \ --retention-period-days=30 \ --source-projects=987654321,123123123
API de REST
API de JSON
Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado
Authorization.Crea un archivo JSON que contenga la siguiente información:
{ "sourceProjects": { "project_numbers": ["PROJECT_NUMBERS", ...] }, "retentionPeriodDays": "RETENTION_PERIOD_DAYS", "identity": { "type": "IDENTITY_TYPE" } }
Reemplaza lo siguiente:
PROJECT_NUMBERScon los números de los proyectos que deseas incluir en el conjunto de datos Puedes especificar uno o varios proyectos. Los proyectos deben especificarse como una lista de cadenas.Como alternativa, puedes agregar una organización o una o varias carpetas que contengan los buckets y los objetos cuyos metadatos deseas actualizar. Para incluir carpetas u organizaciones, usa los campos
sourceFoldersoorganizationScope, respectivamente. Para obtener más información, consulta la referencia deDatasetConfig.RETENTION_PERIOD_DAYScon la cantidad de días de datos que se capturarán en la instantánea del conjunto de datos. Por ejemplo,90.IDENTITY_TYPEcon el tipo de cuenta de servicio que se crea junto con la configuración del conjunto de datos. Los valores sonIDENTITY_TYPE_PER_CONFIGoIDENTITY_TYPE_PER_PROJECT.
Para crear la configuración del conjunto de datos, usa
cURLpara llamar a la API de JSON con una solicitudCreateDatasetConfig:curl -X POST --data-binary @JSON_FILE_NAME \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json"
Reemplaza lo siguiente:
JSON_FILE_NAMEpor la ruta de acceso al archivo JSON que creaste en el paso anterior. Como alternativa, puedes pasar una instancia deDatasetConfigen el cuerpo de la solicitud.PROJECT_IDcon el ID del proyecto al que pertenecerán la configuración y el conjunto de datos.LOCATIONcon la ubicación en la que residirán el conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.DATASET_CONFIG_IDcon el nombre que deseas asignarle a la configuración del conjunto de datos. Los nombres se usan como identificadores de las configuraciones de conjuntos de datos y no son inmutables. El nombre puede contener hasta 128 caracteres, incluidos letras, números y guiones bajos. El nombre debe comenzar con una letra.ACCESS_TOKENcon el token de acceso que generaste cuando instalaste e inicializaste Google Cloud CLI.
Para solucionar los errores de procesamiento de instantáneas que se registran en error_attributes_view, consulta Soluciona problemas relacionados con conjuntos de datos.
Otorga los permisos necesarios al agente de servicio
Google Cloud crea un agente de servicio con alcance de configuración o de proyecto en tu nombre cuando creas una configuración del conjunto de datos. El agente de servicio sigue el formato de nombres service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com y aparece en la página de IAM de la consola de Google Cloud cuando seleccionas la casilla de verificación Incluir asignaciones de roles proporcionadas por Google.
También puedes encontrar el nombre del agente de servicio consultando el recurso DatasetConfig con la API de JSON.
Para permitir que las Storage Insights generen y escriban conjuntos de datos, pídele a tu administrador que le otorgue al agente de servicio el rol de servicio de recopilador de estadísticas de almacenamiento (roles/storage.insightsCollectorService) en la organización que contiene los proyectos de origen.
Este rol se debe otorgar a cada agente de servicio con alcance de configuración que se cree para cada configuración del conjunto de datos del que desees obtener datos. Si usas un agente de servicio con alcance en el proyecto, este rol solo se debe otorgar una vez para que el agente de servicio pueda leer y escribir conjuntos de datos para todas las configuraciones de conjuntos de datos dentro del proyecto.
Si quieres obtener instrucciones para otorgar roles en proyectos, consulta Administra el acceso.
Cómo vincular un conjunto de datos
Para vincular un conjunto de datos a BigQuery, completa los siguientes pasos:
Console
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Haz clic en el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.
En la sección Conjunto de datos vinculado a BigQuery, haz clic en Vincular conjunto de datos para vincular tu conjunto de datos.
Línea de comandos
Para vincular un conjunto de datos a BigQuery, ejecuta el comando
gcloud alpha storage insights dataset-configs create-link:gcloud alpha storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION
Reemplaza lo siguiente:
DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.LOCATIONcon la ubicación de tu conjunto de datos Por ejemplo,us-central1.
Como alternativa a especificar
DATASET_CONFIG_IDyLOCATION, puedes especificar una ruta de acceso completa a la configuración del conjunto de datos. Por ejemplo:gcloud alpha storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_
Reemplaza lo siguiente:
DESTINATION_PROJECT_IDcon el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.LOCATIONcon la ubicación de tu conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.
API de REST
API de JSON
Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado
Authorization.Crea un archivo JSON que contenga la siguiente información:
{ "name": "DATASET_NAME" }
Reemplaza lo siguiente:
DATASET_NAMEcon el nombre del conjunto de datos que deseas vincular Por ejemplo,my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2
Usa
cURLpara llamar a la API de JSON con una solicitud delinkDatasetDatasetConfig:curl --request POST --data-binary @JSON_FILE_NAME \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Reemplaza lo siguiente:
JSON_FILE_NAMEpor la ruta de acceso al archivo JSON que creaste en el paso anterior.PROJECT_IDcon el ID del proyecto al que pertenece la configuración del conjunto de datos.LOCATIONcon la ubicación en la que residen el conjunto de datos y la configuración del conjunto de datos. Por ejemplo,us-central1.DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas vincular.ACCESS_TOKENcon el token de acceso que generaste cuando instalaste e inicializaste Google Cloud CLI.
Visualiza y consulta conjuntos de datos vinculados
Para ver y consultar conjuntos de datos vinculados, sigue estos pasos:
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Aparecerá una lista de las configuraciones de conjuntos de datos que se crearon en tu proyecto.
Haz clic en el conjunto de datos vinculado de BigQuery de la configuración del conjunto de datos que deseas ver.
El conjunto de datos vinculado de BigQuery aparece en la Google Cloud consola. Para obtener información sobre el esquema de metadatos del conjunto de datos, consulta Esquema de metadatos del conjunto de datos.
Puedes consultar tablas y vistas en tus conjuntos de datos vinculados de la misma manera que consultarías cualquier otra tabla de BigQuery.
Desvincula un conjunto de datos
Para evitar que la configuración del conjunto de datos se publique en el conjunto de datos de BigQuery, desvincula el conjunto de datos. Para desvincular un conjunto de datos, completa los siguientes pasos:
Console
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Haz clic en el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.
En la sección Conjunto de datos vinculado a BigQuery, haz clic en Desvincular conjunto de datos para desvincular tu conjunto de datos.
Línea de comandos
Para desvincular el conjunto de datos, ejecuta el comando
gcloud alpha storage insights dataset-configs delete-link:gcloud alpha storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION
Reemplaza lo siguiente:
DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.LOCATIONcon la ubicación de tu conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.
Como alternativa a especificar
DATASET_CONFIG_IDyLOCATION, puedes especificar una ruta de acceso completa a la configuración del conjunto de datos. Por ejemplo:gcloud alpha storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
Reemplaza lo siguiente:
DESTINATION_PROJECT_IDcon el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.LOCATIONcon la ubicación de tu conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.
API de REST
API de JSON
Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado
Authorization.Crea un archivo JSON que contenga la siguiente información:
{ "name": "DATASET_NAME" }
Reemplaza lo siguiente:
DATASET_NAMEpor el nombre del conjunto de datos que deseas desvincular Por ejemplo,my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2
Usa
cURLpara llamar a la API de JSON con una solicitud deunlinkDatasetDatasetConfig:curl --request POST --data-binary @JSON_FILE_NAME \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Reemplaza lo siguiente:
JSON_FILE_NAMEpor la ruta de acceso al archivo JSON que creaste en el paso anterior.PROJECT_IDcon el ID del proyecto al que pertenece la configuración del conjunto de datos.LOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.DATASET_CONFIG_IDpor el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas desvincular.ACCESS_TOKENcon el token de acceso que generaste cuando instalaste e inicializaste Google Cloud CLI.
Cómo ver la configuración de un conjunto de datos
Para ver la configuración de un conjunto de datos, completa los siguientes pasos:
Console
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Haz clic en el nombre de la configuración del conjunto de datos que deseas ver.
Se muestran los detalles de configuración del conjunto de datos.
Línea de comandos
Para describir la configuración de un conjunto de datos, ejecuta el comando
gcloud alpha storage insights dataset-configs describe:gcloud alpha storage insights dataset-configs describe DATASET_CONFIG_ID \ --location=LOCATION
Reemplaza lo siguiente:
DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datosLOCATIONcon la ubicación y la configuración del conjunto de datos.
Como alternativa a especificar
DATASET_CONFIG_IDyLOCATION, puedes especificar una ruta de acceso completa a la configuración del conjunto de datos. Por ejemplo:gcloud alpha storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
Reemplaza lo siguiente:
DESTINATION_PROJECT_IDcon el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyectos, consulta Crea y administra proyectos.DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datos que generó el conjunto de datos que deseas ver.LOCATIONcon la ubicación de tu conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.
API de REST
API de JSON
Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado
Authorization.Usa
cURLpara llamar a la API de JSON con una solicitud deGetDatasetConfig:curl -X GET \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Reemplaza lo siguiente:
PROJECT_IDcon el ID del proyecto al que pertenece la configuración del conjunto de datos.LOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datosACCESS_TOKENcon el token de acceso que generaste cuando instalaste e inicializaste Google Cloud CLI.
Enumera las configuraciones del conjunto de datos
Para enumerar las configuraciones del conjunto de datos en un proyecto, completa los siguientes pasos:
Console
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Se muestra la lista de configuraciones del conjunto de datos.
Línea de comandos
Para enumerar la configuración del conjunto de datos en un proyecto, ejecuta el comando
gcloud alpha storage insights dataset-configs list:gcloud alpha storage insights dataset-configs list --location=LOCATION
Reemplaza lo siguiente:
LOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.
Puedes usar las siguientes marcas opcionales para especificar el comportamiento de la llamada de la lista:
Usa
--page-sizepara especificar la cantidad máxima de resultados que se devolverán por página.Usa
--filter=FILTERpara filtrar los resultados. Para obtener más información sobre cómo usar la marca--filter, ejecutagcloud topic filtersy consulta la documentación.Usa
--sort-by=SORT_BY_VALUEpara especificar una lista separada por comas de los nombres de claves de campo de recurso para ordenar. Por ejemplo,--sort-by=DATASET_CONFIG_ID
API de REST
API de JSON
Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado
Authorization.Usa
cURLpara llamar a la API de JSON con una solicitud deGetDatasetConfig:curl -X GET \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Reemplaza lo siguiente:
PROJECT_IDcon el ID del proyecto al que pertenece la configuración del conjunto de datos.LOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.ACCESS_TOKENcon el token de acceso que generaste cuando instalaste e inicializaste Google Cloud CLI.
Actualiza la configuración de un conjunto de datos
Para actualizar la configuración de un conjunto de datos, completa los siguientes pasos:
Console
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Haz clic en el nombre de la configuración del conjunto de datos que deseas actualizar.
En la pestaña Configuración del conjunto de datos que aparece, haz clic en Editar para actualizar los campos.
Línea de comandos
Para actualizar la configuración de un conjunto de datos, ejecuta el comando
gcloud alpha storage insights dataset-configs update:gcloud alpha storage insights dataset-configs update DATASET_CONFG_ID \ --location=LOCATION
Reemplaza lo siguiente:
DATASET_CONFIG_IDcon el nombre de la configuración del conjunto de datosLOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos.
Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:
Usa
--skip-verificationpara omitir las verificaciones y los errores del proceso de verificación, que incluye verificaciones de los permisos de IAM requeridos. Si se usa, es posible que se excluyan algunos o todos buckets del conjunto de datos.Usa
--retention-period-days=DAYSpara especificar la cantidad de días de datos móviles que se deben capturar en la instantánea del conjunto de datos. Por ejemplo,90.Usa
--description=DESCRIPTIONpara escribir una descripción de la configuración del conjunto de datos.Usa
--organization=ORGANIZATION_IDpara especificar el ID de la organización del proyecto de origen. Si no se especifica, el valor predeterminado es el ID de la organización del proyecto fuente.
API de REST
API de JSON
Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado
Authorization.Crea un archivo JSON que contenga la siguiente información opcional:
{ "organization_number": "ORGANIZATION_ID", "source_projects": { "project_numbers": "PROJECT_NUMBERS" }, "retention_period_days": RETENTION_PERIOD" }
Reemplaza lo siguiente:
Reemplaza
ORGANIZATION_IDpor el ID del recurso de la organización a la que pertenecen los proyectos de origen. Si no se especifica, se usa de forma predeterminada el ID de la organización del proyecto fuente.PROJECT_NUMBERScon los números de proyecto que deseas incluir en el conjunto de datos. Puedes especificar uno o varios proyectos. Los proyectos se deben especificar en formato de lista.RETENTION_PERIODcon la cantidad de días de datos móviles que se capturarán en la instantánea del conjunto de datos. Por ejemplo,90.
Para actualizar la configuración del conjunto de datos, usa
cURLpara llamar a la API de JSON con una solicitud dePatchDatasetConfig:curl -X PATCH --data-binary @JSON_FILE_NAME \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Reemplaza lo siguiente:
JSON_FILE_NAMEpor la ruta de acceso al archivo JSON que creaste en el paso anterior.PROJECT_IDcon el ID del proyecto al que pertenece la configuración del conjunto de datos.LOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.DATASET_CONFIG_IDpor el nombre de la configuración del conjunto de datos que deseas actualizar.RETENTION_PERIODcon la cantidad de días de datos móviles que se capturarán en la instantánea del conjunto de datos. Por ejemplo,90.ACCESS_TOKENcon el token de acceso que generaste cuando instalaste e inicializaste Google Cloud CLI.
Borra la configuración de un conjunto de datos
Para borrar la configuración de un conjunto de datos, completa los siguientes pasos:
Console
- En la consola de Google Cloud , ve a la página Storage Insights de Cloud Storage.
Haz clic en el nombre de la configuración del conjunto de datos que deseas borrar.
Haz clic en Borrar .
Línea de comandos
Para borrar la configuración de un conjunto de datos, ejecuta el comando
gcloud alpha storage insights dataset-configs delete:gcloud alpha storage insights dataset-configs delete DATASET_CONFIG_ID \ --location=LOCATION
Reemplaza lo siguiente:
DATASET_CONFIG_IDpor el nombre de la configuración del conjunto de datos que deseas borrar.LOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.
Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:
Usa
--auto-delete-linkpara desvincular el conjunto de datos que se generó a partir de la configuración del conjunto de datos que deseas borrar. Debes desvincular un conjunto de datos antes de poder borrar la configuración del conjunto de datos que lo generó.Usa
--retention-period-days=DAYSpara especificar la cantidad de días de datos que se capturarán en la instantánea del conjunto de datos. Por ejemplo,90.
Como alternativa a especificar
DATASET_CONFIG_IDyLOCATION, puedes especificar una ruta de acceso completa a la configuración del conjunto de datos. Por ejemplo:gcloud alpha storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
API de REST
API de JSON
Tener la gcloud CLI instalada e inicializada, lo que te permite generar un token de acceso para el encabezado
Authorization.Usa
cURLpara llamar a la API de JSON con una solicitud deDeleteDatasetConfig:curl -X DELETE \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Reemplaza lo siguiente:
PROJECT_IDcon el ID del proyecto al que pertenece la configuración del conjunto de datos.LOCATIONcon la ubicación del conjunto de datos y la configuración del conjunto de datos Por ejemplo,us-central1.DATASET_CONFIG_IDpor el nombre de la configuración del conjunto de datos que deseas borrar.ACCESS_TOKENcon el token de acceso que generaste cuando instalaste e inicializaste Google Cloud CLI.
¿Qué sigue?
- Ver conjuntos de datos vinculados
- Consulta un conjunto de datos vinculado.
- Analiza tus datos almacenados con Gemini Cloud Assist.