Use conjuntos de dados das Estatísticas de armazenamento

Esta página mostra como criar e gerir conjuntos de dados do Storage Insights e configurações de conjuntos de dados. Saiba mais sobre os conjuntos de dados das Estatísticas de armazenamento.

Antes de começar

Antes de começar a criar e gerir conjuntos de dados e configurações de conjuntos de dados, siga as instruções nas subsecções seguintes.

Obtenha as funções necessárias

Para receber as autorizações de que precisa para criar e gerir conjuntos de dados, peça ao seu administrador para lhe conceder as seguintes funções de IAM nos seus projetos de origem:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para criar e gerir conjuntos de dados. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar e gerir conjuntos de dados:

  • Criar configuração do conjunto de dados: storageinsights.datasetConfigs.create
  • Veja a configuração do conjunto de dados:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
  • Faça a gestão da configuração do conjunto de dados:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
  • Faça a associação ao conjunto de dados do BigQuery: storageinsights.datasetConfigs.linkDataset
  • Desassociar do conjunto de dados do BigQuery: storageinsights.datasetConfigs.unlinkDataset
  • Consultar conjuntos de dados associados do BigQuery: bigquery.jobs.create or bigquery.jobs.*

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Ative a API Storage Insights

Consola

Ative a API storageinsights.googleapis.com

Linha de comandos

Para ativar a API Storage Insights no seu projeto atual, execute o seguinte comando:

gcloud services enable storageinsights.googleapis.com

Para mais detalhes sobre como ativar serviços para um Google Cloud projeto, consulte o artigo Ativar e desativar serviços.

Configure a inteligência de armazenamento

Certifique-se de que a inteligência de armazenamento está configurada no projeto, na pasta ou na organização que quer analisar com conjuntos de dados.

Crie uma configuração do conjunto de dados

Para criar uma configuração do conjunto de dados e gerar um conjunto de dados, siga estes passos. Para mais informações sobre os campos que pode especificar à medida que cria a configuração do conjunto de dados, consulte Propriedades de configuração do conjunto de dados.

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique em Configurar conjunto de dados.

  3. Na secção Atribua um nome ao conjunto de dados, introduza um nome para o conjunto de dados. Opcionalmente, introduza uma descrição para o conjunto de dados.

  4. Na secção Definir âmbito do conjunto de dados, faça o seguinte:

    • Selecione uma das seguintes opções:

      • Para obter metadados de armazenamento de todos os projetos na organização atual, selecione Incluir a organização.

      • Para obter metadados de armazenamento de todos os projetos nas pastas selecionadas, selecione Incluir pastas(suborganização/departamentos). Para obter informações sobre como obter IDs de pastas, consulte o artigo Ver ou listar pastas e projetos. Para adicionar pastas, faça o seguinte:

        1. No campo Pasta 1, introduza o ID da pasta.
        2. Opcionalmente, para adicionar vários IDs de pastas, clique em + Adicionar outra pasta.

      • Para obter metadados de armazenamento para os projetos selecionados, selecione Incluir projetos fornecendo os respetivos números. Para saber como encontrar os números dos projetos, consulte o artigo Encontre o nome, o número e o ID do projeto. Para adicionar projetos, faça o seguinte:

        1. No campo Projeto 1, introduza o número do projeto.
        2. Opcionalmente, para adicionar vários números de projetos, clique em + Adicionar outro projeto.

      • Para adicionar projetos ou pastas em massa, selecione Carregar uma lista de projetos /pastas através de um ficheiro CSV. O ficheiro CSV tem de conter os números dos projetos ou os IDs das pastas que quer incluir no conjunto de dados.

    • Especifique se quer incluir automaticamente futuros contentores no recurso selecionado.

    • Opcionalmente, para especificar filtros em contentores com base em regiões e prefixos de contentores, expanda a secção Filtros (opcional). Os filtros são aplicados de forma aditiva aos contentores.

      Pode incluir ou excluir contentores de regiões específicas. Por exemplo, pode excluir contentores que se encontram nas regiões me-central1 e me-central2. Também pode incluir ou excluir contentores por prefixo. Por exemplo, se quiser excluir contentores que começam por my-bucket, introduza o prefixo my-bucket*.

  5. Clique em Continuar.

  6. Na secção Selecionar período de retenção, selecione um período de retenção para os dados no conjunto de dados.

  7. Na secção Selecione a localização para armazenar o conjunto de dados configurado, selecione uma localização para armazenar o conjunto de dados e a configuração do conjunto de dados.

  8. Na secção Selecionar tipo de conta de serviço, selecione um tipo de agente de serviço para o seu conjunto de dados. Este agente de serviço é criado em seu nome quando cria a configuração do conjunto de dados. Pode selecionar um dos seguintes agentes de serviço:

    • Conta de serviço com âmbito de configuração: este agente do serviço só pode aceder e escrever no conjunto de dados gerado pela configuração do conjunto de dados específico.
    • Conta de serviço ao nível do projeto: este agente do serviço pode aceder e escrever conjuntos de dados gerados a partir de todas as configurações de conjuntos de dados no projeto.

    Após a criação do agente de serviço, tem de conceder ao agente de serviço as autorizações necessárias. Para mais informações sobre este agente de serviço, consulte as propriedades de configuração do conjunto de dados.

  9. Clique em Configurar. Pode demorar até 48 horas para ver o primeiro carregamento de dados nos conjuntos de dados associados depois de configurar o conjunto de dados.

Linha de comandos

  1. Para criar uma configuração do conjunto de dados, execute o comando gcloud alpha storage insights dataset-configs create com as flags necessárias:

    gcloud alpha storage insights dataset-configs create DATASET_CONFIG_ID \
  --location=LOCATION \
  --organization=SOURCE_ORG_NUMBER \
  --retention-period-days=RETENTION_PERIOD_DAYS \
  (SCOPE_FLAG)

    Onde:

    • DATASET_CONFIG_ID é o nome que quer dar à configuração do conjunto de dados. Os nomes são usados como o identificador das configurações do conjunto de dados e são mutáveis. O nome pode conter até 128 carateres com letras, números e sublinhados.

    • LOCATION é a localização onde a configuração e o conjunto de dados são armazenados.

    • SOURCE_ORG_NUMBER é o ID da organização à qual os projetos de origem pertencem. Para saber como encontrar o ID da sua organização, consulte o artigo Obter o ID do recurso da organização.

    • RETENTION_PERIOD_DAYS é o período de retenção dos dados no conjunto de dados.

    • SCOPE_FLAG é um dos seguintes indicadores que define o âmbito dos dados que quer recolher:

      • --enable-organization-scope: permite que o conjunto de dados recolha estatísticas de todos os contentores em toda a organização.
      • --source-folders=[SOURCE_FOLDER_NUMBERS,...]: Especifica uma lista de números de pastas a incluir no conjunto de dados. Para saber como encontrar um número de pasta, consulte o artigo Listar todos os projetos e pastas na sua hierarquia.
      • --source-folders-file=FILE_PATH: Especifica vários números de pastas carregando um ficheiro CSV para um contentor.
      • --source-projects=[SOURCE_PROJECT_NUMBERS,...]: Especifica uma lista de números de projetos a incluir no conjunto de dados. Por exemplo, 464036093014. Para saber como encontrar o número do projeto, consulte o artigo Encontre o nome, o número e o ID do projeto.
      • --source-projects-file=FILE_PATH: Especifica vários números de projetos carregando um ficheiro CSV para um contentor.

    Opcionalmente, pode usar flags adicionais para configurar o conjunto de dados:

    • Use --include-buckets=BUCKET_NAMES_OR_REGEX para incluir determinados contentores por nome ou expressão regular. Se esta flag for usada, não é possível usar o idioma --exclude-buckets.

    • Use --exclude-buckets=BUCKET_NAMES_OR_REGEX para excluir determinados contentores por nome ou expressão regular. Se esta flag for usada, não é possível usar o idioma --include-buckets.

    • Use --project=DESTINATION_PROJECT_ID para especificar um projeto a usar para armazenar a configuração do conjunto de dados e o conjunto de dados gerado. Se esta flag não for usada, o projeto de destino é o seu projeto ativo. Para mais informações sobre IDs de projetos, consulte o artigo Criar e gerir projetos.

    • Use --auto-add-new-buckets para incluir automaticamente todos os contentores que forem adicionados aos projetos de origem no futuro.

    • Use --skip-verification para ignorar verificações e falhas do processo de validação, que inclui verificações de autorizações de IAM necessárias. Se forem usados, alguns ou todos os contentores podem ser excluídos do conjunto de dados.

    • Use --identity=IDENTITY_TYPE para especificar o tipo de agente de serviço que é criado juntamente com a configuração do conjunto de dados. Os valores são IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT. Se não for especificado, o valor predefinido é IDENTITY_TYPE_PER_CONFIG.

    • Use --description=DESCRIPTION para escrever uma descrição para a configuração do conjunto de dados.

    • Use --organization=ORGANIZATION_ID com o ID do recurso da organização à qual os projetos de origem pertencem. A configuração do conjunto de dados exclui projetos de origem fora da localização especificada. Para saber como encontrar o ID da sua organização, consulte o artigo Obter o ID do recurso da organização. Se não for especificado, o valor predefinido é o ID da organização do projeto de origem.

    O exemplo seguinte cria uma configuração do conjunto de dados denominada my-dataset na região us-central1, para a organização com o ID 123456789, com um período de retenção de 30 dias e um âmbito limitado aos projetos 987654321 e 123123123:

    gcloud alpha storage insights dataset-configs create my-dataset \
  --location=us-central1 \
  --organization=123456789 \
  --retention-period-days=30 \
  --source-projects=987654321,123123123

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um ficheiro JSON que contenha as seguintes informações:

    {
  "sourceProjects": {
    "project_numbers": ["PROJECT_NUMBERS", ...]
  },
  "retentionPeriodDays": "RETENTION_PERIOD_DAYS",
  "identity": {
    "type": "IDENTITY_TYPE"
  }
}

    Substituição:

    • PROJECT_NUMBERS com os números dos projetos que quer incluir no conjunto de dados. Pode especificar um ou vários projetos. Os projetos têm de ser especificados como uma lista de strings.

      Em alternativa, pode adicionar uma organização ou uma ou várias pastas com contentores e objetos para os quais quer atualizar os metadados. Para incluir pastas ou organizações, use o campo sourceFolders ou organizationScope, respetivamente. Para mais informações, consulte a DatasetConfig referência.

    • RETENTION_PERIOD_DAYS com o número de dias de dados a capturar no instantâneo do conjunto de dados. Por exemplo, 90.

    • IDENTITY_TYPE com o tipo de conta de serviço que é criada juntamente com a configuração do conjunto de dados. Os valores são IDENTITY_TYPE_PER_CONFIG ou IDENTITY_TYPE_PER_PROJECT.

  3. Para criar a configuração do conjunto de dados, use cURL para chamar a API JSON com um pedido Create DatasetConfig:

    curl -X POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Substituição:

    • JSON_FILE_NAME com o caminho para o ficheiro JSON que criou no passo anterior. Em alternativa, pode transmitir uma instância de DatasetConfig no corpo do pedido.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados e o conjunto de dados vão pertencer.

    • LOCATION com a localização onde o conjunto de dados e a configuração do conjunto de dados vão residir. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome que quer atribuir à configuração do conjunto de dados. Os nomes são usados como o identificador das configurações do conjunto de dados e não são imutáveis. O nome pode conter até 128 carateres com letras, números e sublinhados. O nome tem de começar com uma letra.

    • ACCESS_TOKEN com o token de acesso que gerou quando instalou e inicializou a CLI gcloud.

Para resolver problemas de erros de processamento de instantâneos registados em error_attributes_view, consulte o artigo Resolva problemas de erros de conjuntos de dados.

Conceda as autorizações necessárias ao agente de serviço

Google Cloud Cria um agente de serviço com âmbito de configuração ou âmbito de projeto em seu nome quando cria uma configuração do conjunto de dados. O agente de serviço segue o formato de nomenclatura service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com e é apresentado na página IAM da Google Cloud consola quando seleciona a caixa de verificação Incluir concessões de funções fornecidas pela Google. Também pode encontrar o nome do agente de serviço vendo o recurso DatasetConfig através da API JSON.

Para permitir que o Storage Insights gere e escreva conjuntos de dados, peça ao seu administrador para conceder ao agente de serviço a função de serviço de coletor do Storage Insights (roles/storage.insightsCollectorService) na organização que contém os projetos de origem. Esta função tem de ser concedida a todos os agentes de serviço com âmbito de configuração criados para cada configuração do conjunto de dados a partir da qual quer obter dados. Se estiver a usar um agente do serviço com âmbito do projeto, esta função só tem de ser concedida uma vez para que o agente do serviço possa ler e escrever conjuntos de dados para todas as configurações de conjuntos de dados no projeto.

Para obter instruções sobre como conceder funções em projetos, consulte o artigo Faça a gestão do acesso.

Para associar um conjunto de dados ao BigQuery, conclua os seguintes passos:

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que gerou o conjunto de dados que quer associar.

  3. Na secção Conjunto de dados associado do BigQuery, clique em Associar conjunto de dados para associar o seu conjunto de dados.

  1. Para associar um conjunto de dados ao BigQuery, execute o comando gcloud alpha storage insights dataset-configs create-link:

    gcloud alpha storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer associar.

    • LOCATION com a localização do seu conjunto de dados. Por exemplo, us-central1.

    Em alternativa à especificação de DATASET_CONFIG_ID e LOCATION, pode especificar um caminho de configuração do conjunto de dados completo. Por exemplo:

    gcloud alpha storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

    Substituição:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações acerca dos IDs dos projetos, consulte o artigo Criar e gerir projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer associar.

    • LOCATION com a localização do seu conjunto de dados e configuração do conjunto de dados. Por exemplo, us-central1.

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um ficheiro JSON que contenha as seguintes informações:

    {
  "name": "DATASET_NAME"
}

    Substituição:

    • DATASET_NAME com o nome do conjunto de dados que quer associar. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com um pedido de linkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substituição:

    • JSON_FILE_NAME com o caminho para o ficheiro JSON que criou no passo anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização em que residem o conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer associar.

    • ACCESS_TOKEN com o token de acesso que gerou quando instalou e inicializou a CLI gcloud.

Veja e consulte conjuntos de dados associados

Para ver e consultar conjuntos de dados associados, siga estes passos:

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

    É apresentada uma lista das configurações do conjunto de dados criadas no seu projeto.

  2. Clique no conjunto de dados associado do BigQuery da configuração do conjunto de dados que quer ver.

    O conjunto de dados associado do BigQuery aparece na Google Cloud consola. Para ver informações sobre o esquema do conjunto de dados de metadados, consulte o artigo Esquema do conjunto de dados de metadados.

  3. Pode consultar tabelas e vistas nos seus conjuntos de dados associados da mesma forma que consultaria qualquer outra tabela do BigQuery.

Para impedir que a configuração do conjunto de dados seja publicada no conjunto de dados do BigQuery, desassocie o conjunto de dados. Para desassociar um conjunto de dados, conclua os seguintes passos:

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

  3. Na secção Conjunto de dados associado do BigQuery, clique em Desassociar conjunto de dados para desassociar o conjunto de dados.

  1. Para desassociar o conjunto de dados, execute o comando gcloud alpha storage insights dataset-configs delete-link:

    gcloud alpha storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

    • LOCATION com a localização do seu conjunto de dados e configuração do conjunto de dados. Por exemplo, us-central1.

    Em alternativa à especificação de DATASET_CONFIG_ID e LOCATION, pode especificar um caminho de configuração do conjunto de dados completo. Por exemplo:

    gcloud alpha storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substituição:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações acerca dos IDs dos projetos, consulte o artigo Criar e gerir projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

    • LOCATION com a localização do conjunto de dados e da configuração do conjunto de dados. Por exemplo, us-central1.

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um ficheiro JSON que contenha as seguintes informações:

    {
  "name": "DATASET_NAME"
}

    Substituição:

    • DATASET_NAME com o nome do conjunto de dados que quer desassociar. Por exemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

  3. Use cURL para chamar a API JSON com um pedido de unlinkDataset DatasetConfig:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substituição:

    • JSON_FILE_NAME com o caminho para o ficheiro JSON que criou no passo anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer desassociar.

    • ACCESS_TOKEN com o token de acesso que gerou quando instalou e inicializou a CLI gcloud.

Veja a configuração de um conjunto de dados

Para ver a configuração de um conjunto de dados, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que quer ver.

    São apresentados os detalhes da configuração do conjunto de dados.

Linha de comandos

  1. Para descrever uma configuração do conjunto de dados, execute o comando gcloud alpha storage insights dataset-configs describe:

    gcloud alpha storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados.

    Em alternativa à especificação de DATASET_CONFIG_ID e LOCATION, pode especificar um caminho de configuração do conjunto de dados completo. Por exemplo:

    gcloud alpha storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Substituição:

    • DESTINATION_PROJECT_ID com o ID do projeto que contém a configuração do conjunto de dados. Para mais informações acerca dos IDs dos projetos, consulte o artigo Criar e gerir projetos.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que gerou o conjunto de dados que quer ver.

    • LOCATION com a localização do conjunto de dados e da configuração do conjunto de dados. Por exemplo, us-central1.

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com um pedido de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substituição:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados.

    • ACCESS_TOKEN com o token de acesso que gerou quando instalou e inicializou a CLI gcloud.

Liste as configurações do conjunto de dados

Para listar as configurações do conjunto de dados num projeto, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

    É apresentada a lista de configurações do conjunto de dados.

Linha de comandos

  1. Para listar as configurações do conjunto de dados num projeto, execute o comando gcloud alpha storage insights dataset-configs list:

    gcloud alpha storage insights dataset-configs list --location=LOCATION

    Substituição:

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    Pode usar as seguintes flags opcionais para especificar o comportamento da chamada de fichas:

    • Use --page-size para especificar o número máximo de resultados a devolver por página.

    • Use --filter=FILTER para filtrar os resultados. Para mais informações sobre como usar a flag --filter, execute gcloud topic filters e consulte a documentação.

    • Use --sort-by=SORT_BY_VALUE para especificar uma lista separada por vírgulas de nomes de chaves de campos de recursos pelos quais ordenar. Por exemplo, --sort-by=DATASET_CONFIG_ID.

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com um pedido de Get DatasetConfig:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substituição:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • ACCESS_TOKEN com o token de acesso que gerou quando instalou e inicializou a CLI gcloud.

Atualize a configuração de um conjunto de dados

Para atualizar uma configuração do conjunto de dados, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que quer atualizar.

  3. No separador Configuração do conjunto de dados apresentado, clique em Editar para atualizar os campos.

Linha de comandos

  1. Para atualizar uma configuração do conjunto de dados, execute o comando gcloud alpha storage insights dataset-configs update:

    gcloud alpha storage insights dataset-configs update DATASET_CONFG_ID \
  --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados.

    Use as seguintes flags para atualizar as propriedades da configuração do conjunto de dados:

    • Use --skip-verification para ignorar verificações e falhas do processo de validação, que inclui verificações de autorizações de IAM necessárias. Se forem usados, alguns ou todos os contentores podem ser excluídos do conjunto de dados.

    • Use --retention-period-days=DAYS para especificar o número de dias de dados móveis a capturar na captura de ecrã do conjunto de dados. Por exemplo, 90.

    • Use --description=DESCRIPTION para escrever uma descrição para a configuração do conjunto de dados.

    • Use --organization=ORGANIZATION_ID para especificar o ID da organização do projeto de origem. Se não for especificado, o valor predefinido é o ID da organização do projeto de origem.

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Crie um ficheiro JSON que contenha as seguintes informações opcionais:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": RETENTION_PERIOD"
}

    Substituição:

    • ORGANIZATION_ID com o ID do recurso da organização à qual os projetos de origem pertencem. Se não for especificado, o valor predefinido é o ID da organização do projeto de origem.

    • PROJECT_NUMBERS com os números dos projetos que quer incluir no conjunto de dados. Pode especificar um ou vários projetos. Os projetos têm de ser especificados num formato de lista.

    • RETENTION_PERIOD com o número de dias de dados móveis a captar na captura instantânea do conjunto de dados. Por exemplo, 90.

  3. Para atualizar a configuração do conjunto de dados, use cURL para chamar a API JSON com um pedido Patch DatasetConfig:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substituição:

    • JSON_FILE_NAME com o caminho para o ficheiro JSON que criou no passo anterior.

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que quer atualizar.

    • RETENTION_PERIOD com o número de dias de dados móveis a captar na captura instantânea do conjunto de dados. Por exemplo, 90.

    • ACCESS_TOKEN com o token de acesso que gerou quando instalou e inicializou a CLI gcloud.

Elimine uma configuração de conjunto de dados

Para eliminar uma configuração de conjunto de dados, conclua os seguintes passos:

Consola

  1. Na Google Cloud consola, aceda à página Storage Insights do Cloud Storage.

    Aceder a Estatísticas de armazenamento

  2. Clique no nome da configuração do conjunto de dados que quer eliminar.

  3. Clique em Eliminar .

Linha de comandos

  1. Para eliminar uma configuração do conjunto de dados, execute o comando gcloud alpha storage insights dataset-configs delete:

    gcloud alpha storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Substituição:

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que quer eliminar.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    Use as seguintes flags para atualizar as propriedades da configuração do conjunto de dados:

    • Use --auto-delete-link para desassociar o conjunto de dados que foi gerado a partir da configuração do conjunto de dados que quer eliminar. Tem de desassociar um conjunto de dados antes de poder eliminar a configuração do conjunto de dados que gerou o conjunto de dados.

    • Use --retention-period-days=DAYS para especificar o número de dias de dados a capturar na captura instantânea do conjunto de dados. Por exemplo, 90.

    Em alternativa à especificação de DATASET_CONFIG_ID e LOCATION, pode especificar um caminho de configuração do conjunto de dados completo. Por exemplo:

    gcloud alpha storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

APIs REST

API JSON

  1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

  2. Use cURL para chamar a API JSON com um pedido de Delete DatasetConfig:

    curl -X DELETE \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer ACCESS_TOKEN" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json" \

    Substituição:

    • PROJECT_ID com o ID do projeto ao qual a configuração do conjunto de dados pertence.

    • LOCATION com a localização do conjunto de dados e a configuração do conjunto de dados. Por exemplo, us-central1.

    • DATASET_CONFIG_ID com o nome da configuração do conjunto de dados que quer eliminar.

    • ACCESS_TOKEN com o token de acesso que gerou quando instalou e inicializou a CLI gcloud.

O que se segue?