Gerenciar configurações de conjuntos de dados do Storage Insights

Nesta página, mostramos como gerenciar as configurações de conjuntos de dados do Storage Insights para controlar a origem, o escopo e a retenção dos seus dados. Você vai aprender a visualizar, listar, atualizar e excluir configurações, além de ver, consultar e desvincular seus conjuntos de dados vinculados.

Ter os papéis necessários

Para receber as permissões necessárias para gerenciar configurações de conjuntos de dados, peça ao administrador para conceder a você os seguintes papéis do IAM nos projetos de origem:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para gerenciar configurações de conjuntos de dados. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para gerenciar configurações de conjuntos de dados:

  • Ver e listar a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Atualizar e excluir a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Desvincular do conjunto de dados do BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consultar conjuntos de dados vinculados do BigQuery: bigquery.jobs.create or bigquery.jobs.*

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Acessar e consultar conjuntos de dados vinculados

Para acessar e consultar conjuntos de dados vinculados, siga estas etapas:

  1. No console do Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

    Seu projeto mostra uma lista de configurações de conjuntos de dados criados.

  2. Clique no conjunto de dados vinculado do BigQuery para ver a configuração que você quer.

    O Google Cloud console mostra o conjunto de dados vinculado do BigQuery. Para informações sobre o esquema de metadados do conjunto de dados, consulte Esquema de metadados do conjunto de dados.

  3. É possível consultar tabelas e visualizações nos conjuntos de dados vinculados da mesma forma que você consultaria qualquer outra tabela do BigQuery.

Para impedir que a configuração do conjunto de dados seja publicada no conjunto de dados do BigQuery, desvincule o conjunto de dados. Para desvincular um conjunto de dados, siga estas etapas:

  1. No console do Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

  3. Na seção Conjunto de dados vinculado do BigQuery, clique em Desvincular conjunto de dados.

  1. Para desvincular o conjunto de dados, execute o comando gcloud storage insights dataset-configs delete-link:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto que você quer desvincular.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    Também é possível especificar um caminho completo de configuração do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Como criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que você quer desvincular.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as informações a seguir:

    {
  "name": "DATASET_NAME"
}

    Substitua:

    DATASET_NAME com o nome do conjunto de dados que você quer desvincular. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com uma solicitação unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substitua:

    • JSON_FILE_NAME com o caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto que você quer desvincular.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project.iam.gserviceaccount.com.

Ver uma configuração de conjunto de dados

Para conferir a configuração de um conjunto de dados, siga estas etapas:

Console

  1. No console do Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração de conjunto de dados que você quer visualizar.

    Os detalhes da configuração do conjunto de dados são exibidos.

Linha de comando

  1. Para descrever uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs describe:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • LOCATION com o local do conjunto de dados e a configuração dele.

    Também é possível especificar um caminho completo de configuração do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substitua:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações sobre IDs de projetos, consulte Como criar e gerenciar projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto que você quer visualizar.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substitua:

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project..

Listar configurações de conjunto de dados

Para listar as configurações de conjunto de dados em um projeto, siga estas etapas:

Console

  1. No console do Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

    A lista de configurações de conjunto de dados é exibida.

Linha de comando

  1. Para listar as configurações de conjunto de dados em um projeto, execute o comando gcloud storage insights dataset-configs list:

    gcloud storage insights dataset-configs list --location=LOCATION

    Substitua:

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    É possível usar as seguintes flags opcionais para especificar o comportamento da chamada de listagem:

    • Use --page-size para especificar o número máximo de resultados a serem retornados por página.

    • Use --filter=FILTER para filtrar os resultados. Para mais informações sobre como usar a flag --filter, execute gcloud topic filters e consulte a documentação.

    • Use --sort-by=SORT_BY_VALUE para especificar uma lista separada por vírgulas de nomes de chaves de campo do recurso para usar na ordenação. Por exemplo, --sort-by=DATASET_CONFIG_ID.

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substitua:

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project.iam.gserviceaccount.com.

Atualizar uma configuração de conjunto de dados

Para atualizar uma configuração de conjunto de dados, siga estas etapas:

Console

  1. No console do Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que você quer atualizar.

  3. Na guia Configuração do conjunto de dados, clique em Editar para atualizar os campos.

Linha de comando

  1. Para atualizar uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs update:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID pelo nome da configuração do conjunto de dados.

    • LOCATION com o local do conjunto de dados e a configuração dele.

    Use as seguintes flags para atualizar as propriedades da configuração do conjunto de dados:

    • Use --skip-verification para pular verificações e falhas do processo de verificação, que inclui verificações de permissões do IAM obrigatórias. Se usados, alguns ou todos os agrupamentos poderão ser excluídos do conjunto de dados.

    • Use --retention-period-days=DAYS para especificar o número móvel de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • Use --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS para especificar o período de armazenamento dos dados de atividade no conjunto de dados. Por padrão, os dados de atividade são incluídos no conjunto de dados e herdam o período de retenção dele. Para substituir o período de armazenamento do conjunto de dados, especifique o número de dias em que os dados de atividade serão mantidos. Para excluir dados de atividade, defina ACTIVITY_RETENTION_PERIOD_DAYS como 0.

    • Use --description=DESCRIPTION para escrever uma descrição da configuração do conjunto de dados.

    • Use --organization=ORGANIZATION_ID para especificar o ID da organização do projeto de origem. Se não for especificado, o padrão será o ID da organização do projeto de origem.

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um arquivo JSON com as seguintes informações opcionais:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Substitua:

    • ORGANIZATION_ID com o ID do recurso da organização a que os projetos de origem pertencem. Se não for especificado, o padrão será o ID da organização do projeto de origem.

    • PROJECT_NUMBERS com os números de projeto a serem incluídos no conjunto de dados. É possível especificar um ou mais projetos em formato de lista.

    • RETENTION_PERIOD com o número móvel de dias de dados a serem capturados no snapshot do conjunto de dados. Por exemplo, 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS com o número de dias de dados de atividade a serem capturados no snapshot do conjunto de dados. Por padrão, os dados de atividade são incluídos no conjunto de dados e herdam o período de retenção dele. Para substituir o período de armazenamento do conjunto de dados, especifique o número de dias em que os dados de atividade serão mantidos. Para excluir dados de atividade, defina ACTIVITY_RETENTION_PERIOD_DAYS como 0.

  3. Para atualizar a configuração do conjunto de dados, use cURL para chamar a API JSON com uma solicitação Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substitua:

    • JSON_FILE_NAME pelo caminho para o arquivo JSON criado na etapa anterior.

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que você quer atualizar.

    • UPDATE_MASK é a lista separada por vírgulas de nomes de campos que esta solicitação atualiza. Os campos usam o formato fieldMask e fazem parte do recurso DatasetConfig.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project.iam.gserviceaccount.com.

Excluir uma configuração de conjunto de dados

Para excluir uma configuração de conjunto de dados, siga estas etapas:

Console

  1. No console do Google Cloud , acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Clique no nome da configuração do conjunto de dados que você quer excluir.

  3. Clique em Excluir .

Linha de comando

  1. Para excluir uma configuração de conjunto de dados, execute o comando gcloud storage insights dataset-configs delete:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Substitua:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que você quer excluir.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    Use as flags a seguir para excluir uma configuração de conjunto de dados:

    • Use --auto-delete-link para desvincular o conjunto de dados gerado da configuração que você quer excluir. É preciso desvincular um conjunto de dados antes de excluir a configuração que o gerou.

    Também é possível especificar um caminho completo de configuração do conjunto de dados. Exemplo:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API JSON

  1. Ter CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com uma solicitação Delete DatasetConfig:

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Substitua:

    • PROJECT_ID com o ID do projeto a que a configuração do conjunto de dados pertence.

    • LOCATION com o local do conjunto de dados e da configuração dele. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que você quer excluir.

    • SERVICE_ACCOUNT com a conta de serviço. Por exemplo, test-service-account@test-project.iam.gserviceaccount.com.

A seguir