Faça a gestão das configurações do conjunto de dados do Storage Insights

Esta página mostra-lhe como gerir as configurações dos conjuntos de dados do Storage Insights para controlar a origem, o âmbito e a retenção dos seus dados. Vai saber como ver, listar, atualizar e eliminar configurações, bem como ver, consultar e desassociar os seus conjuntos de dados associados.

Obtenha as funções necessárias

Para receber as autorizações de que precisa para gerir as configurações do conjunto de dados, peça ao seu administrador que lhe conceda as seguintes funções da IAM nos seus projetos de origem:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para gerir as configurações do conjunto de dados. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para gerir configurações de conjuntos de dados:

  • Ver e listar a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Atualize e elimine a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Desassocie o conjunto de dados do BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consultar conjuntos de dados associados do BigQuery: bigquery.jobs.create or bigquery.jobs.*

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Veja e consulte conjuntos de dados associados

Para ver e consultar conjuntos de dados associados, siga estes passos:

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

    O seu projeto mostra uma lista das configurações do conjunto de dados criadas.

  2. Clique no conjunto de dados associado do BigQuery para ver a configuração do conjunto de dados que quer ver.

    A Google Cloud consola apresenta o conjunto de dados do BigQuery associado. Para ver informações sobre o esquema do conjunto de dados de metadados, consulte o artigo Esquema do conjunto de dados de metadados.

  3. Pode consultar tabelas e vistas nos seus conjuntos de dados associados da mesma forma que consultaria qualquer outra tabela do BigQuery.

Para impedir que a configuração do conjunto de dados seja publicada no conjunto de dados do BigQuery, desassocie o conjunto de dados. Para desassociar um conjunto de dados, conclua os seguintes passos:

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

  3. Na secção Conjunto de dados associado do BigQuery, clique em Desassociar conjunto de dados.

  1. Para desassociar o conjunto de dados, execute o comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

    • LOCATION com a localização do seu conjunto de dados e configuração do conjunto de dados. Por exemplo, us-central1.

    Também pode especificar um caminho de configuração do conjunto de dados completo. Por exemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substituição:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações acerca dos IDs dos projetos, consulte o artigo Criar e gerir projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

    • LOCATION com a localização do conjunto de dados e da configuração do conjunto de dados. Por exemplo, us-central1.

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um ficheiro JSON que contenha as seguintes informações:

    {
  "name": "DATASET_NAME"
}

    Substituição:

    DATASET_NAME com o nome do conjunto de dados que quer desassociar. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com um pedido de unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substituição:

    • JSON_FILE_NAME com o caminho para o ficheiro JSON que criou no passo anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project.iam.gserviceaccount.com.

Veja a configuração de um conjunto de dados

Para ver a configuração de um conjunto de dados, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que quer ver.

    São apresentados os detalhes da configuração do conjunto de dados.

Linha de comandos

  1. Para descrever uma configuração do conjunto de dados, execute o comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados.

    Também pode especificar um caminho de configuração completo do conjunto de dados. Por exemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substituição:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações acerca dos IDs dos projetos, consulte o artigo Criar e gerir projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer ver.

    • LOCATION com a localização do conjunto de dados e da configuração do conjunto de dados. Por exemplo, us-central1.

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com um pedido de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substituição:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project..

Liste as configurações do conjunto de dados

Para listar as configurações do conjunto de dados num projeto, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

    É apresentada a lista de configurações do conjunto de dados.

Linha de comandos

  1. Para listar as configurações do conjunto de dados num projeto, execute o comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Substituição:

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    Pode usar as seguintes flags opcionais para especificar o comportamento da chamada de ficha:

    • Use --page-size para especificar o número máximo de resultados a devolver por página.

    • Use --filter=FILTER para filtrar os resultados. Para mais informações sobre como usar a flag --filter, execute gcloud topic filters e consulte a documentação.

    • Use --sort-by=SORT_BY_VALUE para especificar uma lista separada por vírgulas de nomes de chaves de campos de recursos pelos quais ordenar. Por exemplo, --sort-by=DATASET_CONFIG_ID.

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com um pedido de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substituição:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project.iam.gserviceaccount.com.

Atualize a configuração de um conjunto de dados

Para atualizar uma configuração do conjunto de dados, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que quer atualizar.

  3. No separador Configuração do conjunto de dados, clique em Editar para atualizar os campos.

Linha de comandos

  1. Para atualizar uma configuração do conjunto de dados, execute o comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados.

    Use as seguintes flags para atualizar as propriedades da configuração do conjunto de dados:

    • Use --skip-verification para ignorar verificações e falhas do processo de validação, que inclui verificações de autorizações de IAM necessárias. Se forem usados, alguns ou todos os contentores podem ser excluídos do conjunto de dados.

    • Use --retention-period-days=DAYS para especificar o número de dias de dados móveis a capturar na captura instantânea do conjunto de dados. Por exemplo, 90.

    • Use --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS para especificar o período de retenção dos dados de atividade no conjunto de dados. Por predefinição, os dados de atividade são incluídos no conjunto de dados e herdam o período de retenção do conjunto de dados. Para substituir o período de retenção do conjunto de dados, especifique o número de dias durante os quais os dados de atividade devem ser retidos. Para excluir dados de atividade, defina o valor de ACTIVITY_RETENTION_PERIOD_DAYS como 0.

    • Use --description=DESCRIPTION para escrever uma descrição para a configuração do conjunto de dados.

    • Use --organization=ORGANIZATION_ID para especificar o ID da organização do projeto de origem. Se não for especificado, o valor predefinido é o ID da organização do projeto de origem.

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um ficheiro JSON que contenha as seguintes informações opcionais:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Substituição:

    • ORGANIZATION_ID com o ID do recurso da organização à qual os projetos de origem pertencem. Se não for especificado, o valor predefinido é o ID da organização do projeto de origem.

    • PROJECT_NUMBERS com os números dos projetos a incluir no conjunto de dados. Pode especificar um ou mais projetos num formato de lista.

    • RETENTION_PERIOD com o número de dias de dados móveis a captar na captura instantânea do conjunto de dados. Por exemplo, 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS com o número de dias de dados de atividade a captar no instantâneo do conjunto de dados. Por predefinição, os dados de atividade são incluídos no conjunto de dados e herdam o período de retenção do conjunto de dados. Para substituir o período de retenção do conjunto de dados, especifique o número de dias durante os quais os dados de atividade devem ser retidos. Para excluir dados de atividade, defina ACTIVITY_RETENTION_PERIOD_DAYS como 0.

  3. Para atualizar a configuração do conjunto de dados, use cURL para chamar a API JSON com um pedido Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substituição:

    • JSON_FILE_NAME com o caminho para o ficheiro JSON que criou no passo anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que quer atualizar.

    • UPDATE_MASK é a lista separada por vírgulas dos nomes dos campos que este pedido atualiza. Os campos usam o formato fieldMask e fazem parte do recurso DatasetConfig.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo,test-service-account@test-project.iam.gserviceaccount.com.

Elimine uma configuração de conjunto de dados

Para eliminar uma configuração de conjunto de dados, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que quer eliminar.

  3. Clique em Eliminar .

Linha de comandos

  1. Para eliminar uma configuração do conjunto de dados, execute o comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que quer eliminar.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    Use as seguintes flags para eliminar uma configuração do conjunto de dados:

    • Use --auto-delete-link para desassociar o conjunto de dados que foi gerado a partir da configuração do conjunto de dados que quer eliminar. Tem de desassociar um conjunto de dados antes de poder eliminar a configuração do conjunto de dados que gerou o conjunto de dados.

    Também pode especificar um caminho de configuração do conjunto de dados completo. Por exemplo:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com um pedido de Delete DatasetConfig:

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Substituição:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que quer eliminar.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project.iam.gserviceaccount.com.

O que se segue?