Analisar seus dados armazenados com o Gemini Cloud Assist

Esta página descreve como usar a assistência com tecnologia de IA do Gemini para entender melhor o cenário de armazenamento de dados no Cloud Storage. Ao usar o Gemini Cloud Assist, você pode inserir comandos sobre como o Cloud Storage funciona em geral e, ao ativar uma assinatura do Storage Intelligence, pode inserir comandos sobre buckets e objetos específicos.

Em seguida, use as informações fornecidas pelo Gemini Cloud Assist para fazer o seguinte:

  • Analisar padrões e tendências de uso de dados

  • Identificar oportunidades de economia nos custos de armazenamento

  • Otimizar seus dados para segurança e conformidade

  • Tomar decisões informadas sobre o gerenciamento de dados

O Gemini não usa seus comandos nem as respostas deles como dados para treinar os modelos sem permissão explícita. Para mais informações sobre como o Google usa seus dados, consulte Como o Gemini para Google Cloud usa seus dados.

Esta página é destinada a desenvolvedores, analistas ou engenheiros de dados, administradores de plataforma, operadores financeiros e responsáveis pela conformidade. Ela pressupõe que você saiba como usar o Cloud Storage e consultar conjuntos de dados vinculados.

Quais comandos o Gemini pode responder?

Para entender o armazenamento de dados, você pode fornecer ao Gemini Cloud Assist com um comando, que é uma instrução ou pergunta em linguagem natural.

Ao usar o Gemini Cloud Assist sozinho, sem uma assinatura do Storage Intelligence, você pode fazer comandos sobre como o Cloud Storage funciona em geral, como os seguintes:

  • "Como faço a transição de objetos de uma classe de armazenamento para outra?"

  • "Como faço para ativar a exclusão reversível em um bucket?"

Ao ativar uma assinatura do Storage Intelligence, você também pode fazer comandos relacionados a oportunidades de economia de custos, segurança e conformidade e descoberta de dados. O Gemini Cloud Assist pode usar os metadados contidos nos conjuntos de dados do Storage Insights para gerar insights, que são respostas a comandos sobre os metadados e o uso do bucket e do objeto. Você pode fazer comandos como os seguintes:

  • Comandos relacionados ao uso e à economia de custos:

    • "5 maiores buckets sem o Gerenciamento do ciclo de vida de objetos"

    • "5 maiores buckets sem a classe automática ativada"

  • Comandos relacionados à segurança e conformidade:

    • "5 maiores buckets sem o controle de versões de objetos ativado"

    • "5 maiores objetos com uma data de validade de retenção nos próximos 30 dias"

  • Comandos relacionados à descoberta de dados:

    • "Buckets com um grande volume de arquivos pequenos (cada um com menos de 1 MB)"

    • Objetos na classe de armazenamento Standard menores que 50 MB

Antes de começar

Para usar o Gemini Cloud Assist em comandos gerais relacionados ao Cloud Storage, primeiro configure o Gemini Cloud Assist, incluindo a obtenção dos papéis necessários.

Configurar o Gemini Cloud Assist

Verifique se o Gemini Cloud Assist está configurado para seu Google Cloud projeto.

Se você quiser inserir comandos relacionados a buckets e objetos específicos, também será necessário concluir as seguintes etapas de pré-requisito:

  1. Ative o Storage Intelligence, que dá acesso ao uso de conjuntos de dados do Storage Insights.

  2. Crie um conjunto de dados do Storage Insights, que o Gemini Cloud Assist vai analisar para fornecer informações sobre buckets e objetos específicos.

    Como alternativa, se houver um conjunto de dados que você queira usar, é possível receber os papéis do IAM necessários para acessar o conjunto de dados.

  3. Verifique se o agente de serviço do Storage Insights tem acesso ao conjunto de dados que o Gemini Cloud Assist vai analisar. Isso permite que o conjunto de dados seja lido e analisado.

Ativar o Storage Intelligence

Verifique se o Storage Intelligence está ativado no projeto, na pasta ou na organização que contém ou vai conter os conjuntos de dados que o Gemini Cloud Assist vai usar para responder aos comandos.

crie um conjunto de dados

Crie um conjunto de dados e vincule-o ao BigQuery.

Conceder os papéis necessários para acessar conjuntos de dados

Quando um usuário cria uma configuração de conjunto de dados pela primeira vez, um agente de serviço do Storage Insights é criado. O agente de serviço segue o formato de nomenclatura service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com e aparece na página do IAM do Google Cloud console quando você seleciona a caixa de seleção Incluir concessões de papéis fornecidas pelo Google.

Para usar o Gemini Cloud Assist em comandos relacionados a metadados de bucket ou objeto, é necessário ativar o agente de serviço do Storage Insights para ler conjuntos de dados. Peça ao administrador para conceder ao agente de serviço o papel de Leitor de dados do BigQuery (roles/bigquery.dataViewer) na organização, pasta ou projeto que contém o conjunto de dados que você quer analisar.

Para instruções sobre como conceder papéis a agentes de serviço, consulte Criar e conceder papéis a agentes de serviço.

Acessar os papéis necessários para acessar conjuntos de dados

Para receber as permissões que você precisa para receber insights sobre metadados de bucket e objeto, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto, na pasta ou na organização que contém os conjuntos de dados que você quer analisar:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Analisar o armazenamento de dados usando comandos em linguagem natural

Para inserir comandos no Gemini Cloud Assist, siga estas etapas:

  1. No Google Cloud console do, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Na barra de ferramentas, clique em spark (Gemini) para abrir o painel de chat do Cloud Assist.

    O painel de chat do Cloud Assist aparece.

  3. No painel de chat do Cloud Assist, insira um comando em linguagem natural sobre o armazenamento de dados. Por exemplo, você pode inserir o seguinte:

    Which is my largest bucket

  4. Clique em (Gerar).

  5. Se solicitado, insira o nome do conjunto de dados que o Gemini vai analisar para gerar a resposta e clique (Gerar).

    Se a operação for bem-sucedida, o Gemini Cloud Assist vai gerar uma resposta semelhante a esta:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:

    

    
Bucket name
Size

    

    
my-bucket
39.1 TB

    A consulta SQL subjacente usada pelo Gemini Cloud Assist também é retornada. A consulta SQL gerada é semelhante a esta:

    SELECT bucket_id, bucket_size
FROM buckets
WHERE project_id = 'example-project'
ORDER BY bucket_size DESC
LIMIT 1;

Também é possível inserir comandos sugeridos:

  1. No Google Cloud console do, acesse a página Storage Insights do Cloud Storage.

    Acessar o Storage Insights

  2. Na seção Comandos sugeridos, selecione um comando sugerido. Por exemplo, um comando sugerido pode dizer: Storage size broken down by object content type.

  3. Se a operação for bem-sucedida, o Gemini Cloud Assist vai gerar uma resposta semelhante a esta:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:

    

    
Content type
Size

    

    
MP4
483.2 GB

    

    
MOV
239.1 GB

    

    
MP3
125.8 GB

    A consulta SQL subjacente usada pelo Gemini Cloud Assist também é retornada. A consulta SQL gerada é semelhante a esta:

    SELECT
oa.contentType, ROUND(sum(oa.size) / (1024 * 1024 * 1024), 2) AS total_size_gb
FROM object_attributes_latest AS oa
GROUP BY oa.contentType
ORDER BY sum(oa.size) DESC;

Cotas de tratamento de dados

Quando você executa um comando usando o Gemini Cloud Assist para receber informações sobre seus dados no Cloud Storage, o Gemini Cloud Assist processa seus conjuntos de dados para fornecer respostas aos comandos. Se um comando exigir o tratamento de menos de 800 GB de dados para responder, o Gemini Cloud Assist vai retornar a consulta SQL subjacente para o comando e executar a consulta, retornando a resposta em SQL. Se um comando exigir o tratamento de 800 GB de dados ou mais para responder, o Gemini Cloud Assist vai retornar apenas a consulta SQL subjacente e não vai executar a consulta. Você pode executar a consulta por conta própria usando o BigQuery.

O Gemini Cloud Assist pode processar até 50 TiB de dados por mês, por organização. Se a organização exceder esse limite, o Gemini Cloud Assist vai retornar as consultas SQL subjacentes para todos os comandos adicionais que você executar, mas não vai executar as consultas. A execução de comandos adicionais resulta em uma mensagem de resposta Cota mensal excedida.

Limitações

  • Ao usar comandos para analisar recursos do Cloud Storage, é possível especificar até cinco recursos no comando. Por exemplo: 5 largest buckets without Autoclass enabled. Mesmo que você inclua mais de cinco recursos no comando, o Gemini Cloud Assist só poderá retornar resultados para os cinco principais recursos que correspondem aos critérios do comando.

  • O Gemini Cloud Assist usa os metadados de bucket e objeto contidos nos conjuntos de dados do Storage Insights para responder a comandos sobre o armazenamento de dados.

    Os dados a seguir não estão disponíveis nos conjuntos de dados do Storage Insights, o que significa que o Gemini Cloud Assist não tem o contexto adequado para responder a comandos relacionados a esses dados:

    • Dados de custo específicos, por exemplo: "quanto custa meu bucket por mês".

    • Dados de atividade, por exemplo: "qual é o último horário de acesso do meu objeto".

    • Dados sobre a configuração de determinados recursos, como a exclusão reversível. Por exemplo: "quais buckets não têm a exclusão reversível ativada".

    O Gemini Cloud Assist também não tem o contexto adequado para responder a comandos relacionados a informações de série temporal. Por exemplo: "quanto meu bucket cresceu nas últimas três semanas". Isso ocorre porque o Gemini Cloud Assist lê apenas o snapshot mais recente de um conjunto de dados.

A seguir