Exportar seus dados para o BigQuery

Nesta página, descrevemos como fazer upload de dados de produtos de varejo e eventos do usuário para o BigQuery. Depois que os dados estiverem no BigQuery, você poderá usá-los para fazer previsões de vendas com a Vertex AI e ver os dados em painéis pré-criados do Looker.

Se os dados de e-commerce já estiverem em tabelas de produtos e eventos do usuário no BigQuery, no formato da Pesquisa da Vertex AI para e-commerce, você poderá pular esta página e acessar diretamente Receber painéis que mostram indicadores de performance principais e Gerar previsões de vendas com dados de varejo. Para mais informações sobre o formato, consulte Esquema de produto e Sobre eventos do usuário.

Antes de começar

Antes de exportar seus dados de comércio para o BigQuery, você precisa concluir os procedimentos em Configuração inicial.

Isso inclui:

Criar um conjunto de dados no BigQuery

Você precisa criar um ou dois conjuntos de dados no BigQuery para armazenar os dados de eventos de produtos e usuários.

É possível usar um conjunto de dados para armazenar os dois tipos de dados ou criar dois conjuntos, um para cada tipo.

É necessário criar os conjuntos de dados no mesmo projeto em que você implementou a Vertex AI para Pesquisa em e-commerce.

  1. Se você nunca usou o BigQuery no seu projeto, ative a API BigQuery e verifique se você tem o papel do IAM que permite criar conjuntos de dados e tabelas.

    Consulte Antes de começar e Controle de acesso com o IAM na documentação do BigQuery.

  2. Crie um conjunto de dados no BigQuery na multirregião dos EUA. Por exemplo, nomeie-o como retail_data.

  3. Opcional: para colocar os dados de eventos do usuário em um conjunto de dados separado dos dados de produtos, crie um segundo conjunto de dados. Por exemplo, nomeie-o como retail_user_event_data.

Para mais informações sobre como criar conjuntos de dados do BigQuery, consulte a documentação do BigQuery.

Esse conjunto de dados será usado para armazenar as tabelas de dados que você exportar. Os procedimentos a seguir descrevem como exportar.

Exportar o catálogo da Vertex AI Search for commerce para uma tabela do BigQuery

Use o método export para exportar seu catálogo do varejo para uma tabela do BigQuery.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: o ID do projeto da API Vertex AI Search para e-commerce em que você criou o conjunto de dados do BigQuery.
  • BRANCH_ID: o ID da ramificação do catálogo. Use default_branch para receber dados da ramificação padrão. Para mais informações, consulte Ramificações do catálogo.
  • DATASET_ID: o nome do conjunto de dados que você criou em Criar um conjunto de dados no BigQuery. Por exemplo, use retail_data ou retail_product_data. O conjunto de dados precisa estar no mesmo projeto. Não adicione o ID do projeto ao campo datasetId aqui.
  • TABLE_ID_PREFIX: um prefixo para o ID da tabela. O prefixo não pode ser uma string vazia. Um sufixo de _retail_products_BRANCH_ID é adicionado para completar o nome da tabela. Por exemplo, se o prefixo for test, a tabela será chamada _test_retail_products_BRANCH_ID.

Corpo JSON da solicitação:

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/BRANCH_ID/operations/17986570020347019923",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportProductsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_products_BRANCH_ID"
        }
      ]
    }
  }
}

Exportar eventos do usuário para uma tabela do BigQuery

Use o método userEvents.export para exportar seus eventos de usuário do varejo para uma tabela do BigQuery:

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: o ID do projeto da API Vertex AI Search para e-commerce em que você criou o conjunto de dados do BigQuery.
  • DATASET_ID: o nome do conjunto de dados que você criou em Criar um conjunto de dados no BigQuery. Por exemplo, use retail_data ou retail_product_data.
  • TABLE_ID_PREFIX: um prefixo para o ID da tabela. O prefixo não pode ser uma string vazia. Um sufixo de retail_products é adicionado para completar o nome da tabela. Por exemplo, se o prefixo for test, a tabela será chamada test_retail_products.

Corpo JSON da solicitação:

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/operations/17203443067109586170",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportUserEventsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_user_events"
        }
      ]
    }
  }
}

Sobre os dados exportados

Confira o que você precisa saber sobre os dados de comércio eletrônico exportados para tabelas do BigQuery:

  • Os dados exportados para as tabelas do BigQuery no seu projeto são visualizações autorizadas, não visualizações materializadas.

  • Não é possível mudar nem atualizar os dados nessas tabelas.

  • Os produtos são atualizados a cada hora.

  • Os eventos do usuário são atualizados quase em tempo real.

Sobre os dados de eventos do usuário exportados

Confira o que você precisa saber sobre as informações de produto incluídas nos dados de eventos do usuário exportados.

Informações de preços de produtos

A forma como as informações de preço do produto são retornadas pelo método userEvents.export depende do seguinte:

  • Você incluiu informações de preço nos dados de eventos do usuário no momento da ingestão. Quando você chama o método userEvents.export, o preço retornado com um evento de usuário é o preço do produto no momento do evento.

  • Você não incluiu informações de preço com os dados de eventos do usuário, mas incluiu informações de preço nos dados de produtos no momento da ingestão. Quando você chama o método userEvents.export, o preço retornado com um evento de usuário não é necessariamente o preço do produto no momento do evento. É o preço encontrado nos seus dados de produtos no momento da ingestão.

  • Você não incluiu informações de preço com os dados de eventos do usuário, e não há informações de preço disponíveis nos dados de produtos. Quando você chama o método userEvents.export, nenhum preço é retornado com os eventos de usuário.

Outras informações do produto

Todas as informações do produto (exceto o preço) são combinadas com as informações do evento do usuário no momento em que você chama o método userEvents.export. Os valores dos produtos podem mudar entre o momento do evento do usuário e o momento em que você chama userEvents.export. Por isso, os valores de produtos não relacionados a preços retornados na tabela de eventos do usuário podem ser diferentes dos valores no momento do evento.

Opcional: confirme se as novas tabelas estão no BigQuery.

Depois de exportar os dados de produtos e eventos do usuário para o BigQuery, verifique se as novas tabelas estão presentes.

  1. No BigQuery, navegue até o conjunto de dados ou os conjuntos de dados que você criou em Criar conjunto de dados no BigQuery.

  2. Abra os conjuntos de dados e verifique se as duas tabelas exportadas aparecem. Por exemplo, procure tabelas com nomes que terminam em _retail_products_BRANCH_ID e retail_user_events.

Para mais informações sobre como trabalhar com tabelas do BigQuery, consulte Consultar e visualizar dados.

Consulte a página Governança de dados para mais informações sobre como a Vertex AI para Pesquisa em E-commerce processa os dados dos clientes.