Introdução ao gerenciamento de atributos na Vertex AI

Em machine learning (ML), os recursos são atributos característicos de uma instância ou entidade que podem ser usados para treinar modelos ou fazer previsões on-line. Os recursos são gerados pela transformação de dados brutos de ML em atributos mensuráveis e compartilháveis com técnicas de engenharia de atributos, geralmente chamadas de transformações de atributos.

Gerenciamento de atributos refere-se ao processo de criar, manter, compartilhar e disponibilizar recursos de ML armazenados em um local ou repositório centralizado. O gerenciamento de atributos facilita a reutilização de atributos para treinar e treinar novamente modelos, reduzindo o ciclo de vida das implantações de IA e ML.

Um produto ou serviço que inclui serviços de gerenciamento de recursos para armazenar, descobrir, compartilhar e disponibilizar atributos de ML é chamado de armazenamento de recursos. A Vertex AI incorpora os seguintes serviços do Feature Store:

Nesta página, apresentamos e comparamos os dois serviços de gerenciamento de recursos e fornecemos uma visão geral dos recursos deles. Ele também descreve como migrar um armazenamento de recursos atual no Feature Store da Vertex AI (legado) para o novo Feature Store da Vertex AI.

Vertex AI Feature Store

O Feature Store da Vertex AI oferece uma nova abordagem para o gerenciamento de atributos, permitindo que você mantenha e disponibilize os dados dos atributos a partir de uma fonte de dados do BigQuery. Nessa abordagem, o Feature Store da Vertex AI atua como uma camada de metadados que fornece recursos de exibição on-line para sua fonte de dados de atributos no BigQuery e permite disponibilizar atributos on-line com base nesses dados. Não é necessário copiar ou importar os dados para um armazenamento off-line separado na Vertex AI.

A Feature Store da Vertex AI é integrada ao Catálogo universal do Dataplex para monitorar metadados de recursos. Ele também aceita embeddings e permite realizar pesquisas de similaridade vetorial para vizinhos mais próximos.

O Feature Store da Vertex AI é otimizado para disponibilização com latência ultrabaixa e permite o seguinte:

  • Armazene e mantenha seus dados de recursos off-line no BigQuery, aproveitando os recursos de gerenciamento de dados do BigQuery.

  • Adicione e reutilize recursos no registro deles.

  • Disponibilize recursos para previsões on-line com latências baixas usando a veiculação on-line do Bigtable.

  • Monitore metadados de recursos no Dataplex Universal Catalog.

Para saber mais sobre o Feature Store da Vertex AI, consulte a documentação do Feature Store da Vertex AI.

Feature Store da Vertex AI (legado)

O Feature Store da Vertex AI (legado) fornece um repositório centralizado para armazenar, organizar e disponibilizar dados de atributos de ML. Ele provisiona uma hierarquia de recursos que encapsula um armazenamento on-line e um off-line na Vertex AI. O armazenamento on-line exibe os valores de atributos mais recentes para previsões on-line. O armazenamento off-line armazena e mantém dados de recursos (incluindo dados históricos) que você pode disponibilizar em lote para treinamento de modelos de ML.

O Feature Store (legado) da Vertex AI é um serviço de gerenciamento de atributos totalmente funcional que permite fazer o seguinte:

  • Dados de recursos de importação em lote ou por streaming para o armazenamento off-line de uma fonte de dados, como um bucket do Cloud Storage ou uma fonte do BigQuery.

  • Disponibilize recursos on-line para previsões.

  • Disponibilize ou exporte recursos em lote para treinamento ou análise de modelos de ML.

  • Definir políticas de Identity and Access Management (IAM) nos recursos EntityType e Featurestore.

  • Gerencie recursos do Feature Store no console Google Cloud .

O Feature Store da Vertex AI (legado) não inclui recursos de gerenciamento de incorporações ou recuperação de vetores. Se você precisar gerenciar embeddings nos seus dados de recursos, considere usar a Pesquisa de vetores. Se você precisar realizar pesquisas de similaridade vetorial, mude para a Vertex AI Feature Store. Para informações sobre como migrar para o Feature Store da Vertex AI, consulte Migrar para o Feature Store da Vertex AI.

Para saber mais sobre o Feature Store da Vertex AI (legado), consulte a documentação da Vertex AI Feature Store (legado).

Migrar para o Vertex AI Feature Store

O Vertex AI Feature Store (legado) está descontinuado. Se você já usa a Vertex AI Feature Store (legado) e quer migrar seu projeto para a Vertex AI Feature Store, siga estas etapas. Como a hierarquia de recursos na Vertex AI Feature Store é diferente da hierarquia na Vertex AI Feature Store (legado), vai ser necessário criar manualmente os recursos após a migração dos dados de atributos.

  1. Se os dados de recursos ainda não estiverem disponíveis no BigQuery, exporte-os para o BigQuery e crie tabelas e visualizações do BigQuery. Siga as diretrizes de preparação de dados ao exportar e preparar os dados. Por exemplo:

    • Cada elemento corresponde a uma coluna. Os IDs de entidade podem ser uma coluna separada, que é possível identificar como a coluna ID.

    • O Feature Store da Vertex AI não tem os recursos EntityType e Entity. Forneça os valores de recursos para cada entidade na linha correspondente ao ID da entidade.

  2. Opcional: registre sua fonte de dados de elementos adicionando grupos de atributos e recursos. Para mais informações, consulte Criar um grupo de recursos e Criar um recurso.

  3. Configurar a exibição on-line criando instâncias de armazenamento on-line e visualização de atributos com base nos dados do atributo.

A seguir