Criar stream

Um stream no Datastream permite replicar dados e alterações de esquema de uma fonte de dados para o BigQuery, tabelas do Apache Iceberg ou um bucket do Cloud Storage. No assistente do console do Google Cloud , selecione os perfis de conexão e escolha quais esquemas, tabelas ou objetos serão replicados. Também é possível configurar o preenchimento histórico junto com a replicação contínua.

Antes de iniciar a replicação, é possível validar o stream para verificar as configurações de origem, confirmar a conectividade de rede com o destino e verificar a configuração de ponta a ponta.

Antes de começar

• Verifique se você configurou o banco de dados de origem para replicação. Para informações sobre as etapas necessárias para cada tipo de origem compatível, consulte Configurar origens.
• Saiba quais etapas podem ser necessárias para configurar o destino selecionado. Para mais informações, consulte Configurar destinos.

Definir configurações do stream

1. Acesse a página Streams no console do Google Cloud .

   Acessar a página "Mural"

2. Clique em CRIAR STREAM.

3. Use a tabela a seguir para preencher os campos da seção Definir detalhes do fluxo da página Criar fluxo:

   Campo	Descrição
   Nome do fluxo	Insira o nome de exibição do stream.
   ID do stream	O Datastream preenche esse campo automaticamente com base no nome do stream que você inserir. É possível manter o ID gerado automaticamente ou alterá-lo.
   Região	Selecione a região em que o stream é armazenado. Assim como todos os recursos, os streams são salvos em uma região. A seleção da região não afeta se o stream pode se conectar ao banco de dados de origem ou ao destino, mas pode afetar a disponibilidade se a região ficar inativa. Recomendamos que você mantenha todos os recursos do stream na mesma região dos dados de origem para otimizar o custo e o desempenho.
   Tipo de origem	Selecione o tipo de perfil que você especificou ao criar um perfil de conexão para sua origem. Se você ainda não criou um perfil de conexão para o banco de dados de origem, crie um agora.
   Tipo de destino	Selecione o tipo de perfil que você especificou ao criar um perfil de conexão para um destino do BigQuery ou do Cloud Storage. Se você ainda não criou um perfil de conexão para o destino, crie um agora.
   Criptografia	Por padrão, seus dados são criptografados com uma chave gerenciada pelo Google Cloud. Se você quiser gerenciar a criptografia, use uma chave de criptografia gerenciada pelo cliente (CMEK): Marque a caixa de seleção Chave do Cloud KMS. No menu suspenso Tipo de chave, selecione Cloud KMS e escolha sua CMEK. Se você não encontrar sua chave, clique em INSERIR NOME DO RECURSO DA CHAVE para informar o nome do recurso da chave que você quer usar. Por exemplo, insira projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key no campo Nome do recurso da chave e clique em SALVAR. Como parte da criação do stream, o Datastream vai verificar se a CMEK existe e se tem permissões para usar a chave. Para mais informações sobre como criar uma CMEK ou conceder permissões do Datastream para a chave, consulte Usar chaves de criptografia gerenciadas pelo cliente (CMEK).

4. Também é possível usar rótulos para organizar os recursos do Datastream.

   1. Para criar um rótulo, clique em ADICIONAR MARCADOR e insira o par de chave-valor.
   2. Para remover o rótulo, clique no ícone da lixeira à direita da linha que contém esse rótulo.
   Observação :se a origem for o SQL Server, será possível configurar o stream para replicar as colunas adicionadas ao esquema de origem após a criação do stream adicionando o rótulo enable_ddl_support_for_ct. Para mais informações, consulte Como o Datastream lida com mudanças de DDL no esquema de origem.

5. Se quiser, adicione políticas de alertas para o stream. As políticas de alertas definem quando e como você quer receber notificações sobre falhas de stream.

   1. Para criar uma política de alertas, clique em Adicionar política de alertas.
   2. A página Criar política de alertas é exibida no Cloud Monitoring. Nesta página, você define a política de alertas para o caso de falha no stream.

   Para mais informações sobre políticas de alertas, consulte Como gerenciar políticas de alertas com base em métricas.

6. Revise os pré-requisitos necessários que são gerados automaticamente para refletir como o ambiente precisa estar preparado para um stream. Esses pré-requisitos podem incluir como configurar o banco de dados de origem e como conectá-lo ao destino. É melhor concluir esses pré-requisitos nessa etapa, mas é possível concluí-los a qualquer momento antes do teste ou do início da transmissão. Para mais informações sobre esses pré-requisitos, consulte Origens.

7. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de banco de dados de origem.

   Observação: se o tipo de banco de dados de origem for Oracle, o nome do painel será Definir perfil de conexão do Oracle. Se você selecionar um banco de dados de origem diferente, o nome dele vai aparecer no nome do painel.

Especificar informações sobre o perfil de conexão de origem

1. Se você tiver criado um perfil de conexão de origem, selecione-o na lista de perfis de conexão.

   Se você não tiver criado um perfil de conexão de origem, crie um clicando em CRIAR PERFIL DE CONEXtO na parte inferior da lista suspensa. Depois siga as mesmas etapas de Criar perfis de conexão

2. Clique em EXECUTAR TESTE para verificar se o banco de dados de origem e o Datastream podem se comunicar entre si.

   Se o teste falhar, o problema associado ao perfil de conexão será exibido. Consulte a página Diagnosticar problemas para ver as etapas de solução de problemas. Faça as alterações necessárias para corrigir o problema e teste novamente.

3. Clique em CONTINUAR. O painel Configurar origem da transmissão é exibido na página Criar stream.

Configurar informações sobre o banco de dados de origem para o fluxo

Configurar um banco de dados de origem do PostgreSQL

1. Defina as propriedades de replicação para o banco de dados de origem do PostgreSQL. Na seção Propriedades de replicação, especifique as seguintes propriedades:
1. No campo Nome do slot de replicação, insira o nome do slot que você criou especificamente para esse stream. O servidor de banco de dados usa esse slot para enviar eventos ao Datastream.
2. No campo Nome da publicação, insira o nome da publicação que você criou no banco de dados. Uma publicação é um grupo de todas as tabelas que você quer replicar usando esse stream.
2. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar as tabelas e os esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
O menu não carrega a lista de tabelas e esquemas se o banco de dados tiver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
• Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e tabelas que você quer que o Datastream extraia.

Para cada esquema selecionado, há uma caixa de seleção Tabelas futuras.

• Se essa caixa de seleção estiver marcada, todas as tabelas do esquema que você adicionar à origem após a criação do stream serão transferidas automaticamente para o destino.
• Se essa caixa de seleção não estiver marcada, após a criação do stream, o Datastream não vai transferir novas tabelas do esquema da origem para o destino.

Por padrão, a caixa de seleção Tabelas futuras está marcada para cada esquema.

Para cada tabela de esquema selecionada, há um botão SELECIONAR COLUNAS. Clique nesse botão para filtrar as colunas da tabela que você não quer que sejam transmitidas da origem para o destino. Todas as que forem desmarcadas serão excluídas do fluxo.

Por padrão, as caixas de seleção de todas as colunas da tabela estão marcadas.

• Para fornecer uma definição textual das tabelas e dos esquemas que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não ser incluídos na lista de objetos a serem extraídos.

  Insira esquemas e tabelas como uma lista separada por vírgulas usando o formato [schema].[table], em que o esquema e a tabela podem ser um caractere curinga (asterisco). Não é possível usar caracteres curinga parciais.

3. Se o destino for o BigQuery, é possível configurar o particionamento e o clustering para as tabelas:
   1. Para cada tabela em que você quer definir o particionamento ou o clustering, clique em Selecionar colunas.
   2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às tabelas.
      • Particionamento por tempo de processamento: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diária, mensal ou anual. "Diariamente" é a granularidade padrão.
      • Particionamento por campo: ao selecionar essa opção, você precisa selecionar a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar o particionamento e o clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

      Só é possível usar filtros de particionamento no modo de gravação somente para anexar.
   3. Para configurar o clustering, na seção Clustering, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream vai usar por padrão até quatro chaves primárias da tabela de origem como as chaves de clustering no BigQuery.
   O particionamento e o clustering só são aplicados a novas tabelas no BigQuery. Se você quiser configurar ou modificar as configurações de particionamento e clustering de uma tabela que já existe, primeiro exclua-a do BigQuery e, em seguida, configure ou modifique as configurações dela no Datastream.
   4. Clique em Salvar para salvar suas configurações.

   Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

4. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses esquemas e tabelas com a mesma lógica separada por vírgulas que você usa para especificar os esquemas e as tabelas que quer que o Datastream extraia.
5. Se quiser, abra o nó Escolher o modo de preenchimento para dados históricos e faça uma das seguintes seleções:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar um banco de dados de origem do MySQL

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar as tabelas e os esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
O menu não carrega a lista de tabelas e esquemas se o banco de dados tiver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
• Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e tabelas que você quer que o Datastream extraia.

Para cada esquema selecionado, há uma caixa de seleção Tabelas futuras.

• Se essa caixa de seleção estiver marcada, todas as tabelas do esquema que você adicionar à origem após a criação do stream serão transferidas automaticamente para o destino.
• Se essa caixa de seleção não estiver marcada, após a criação do stream, o Datastream não vai transferir novas tabelas do esquema da origem para o destino.

Por padrão, a caixa de seleção Tabelas futuras está marcada para cada esquema.

Para cada tabela de esquema selecionada, há um botão SELECIONAR COLUNAS. Clique nesse botão para filtrar as colunas da tabela que você não quer que sejam transmitidas da origem para o destino. Todas as que forem desmarcadas serão excluídas do fluxo.

Por padrão, as caixas de seleção de todas as colunas da tabela estão marcadas.

• Para fornecer uma definição textual das tabelas e dos esquemas que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não ser incluídos na lista de objetos a serem extraídos.

  Insira esquemas e tabelas como uma lista separada por vírgulas usando o formato [schema].[table], em que o esquema e a tabela podem ser um caractere curinga (asterisco). Não é possível usar caracteres curinga parciais.

2. Se o destino for o BigQuery, é possível configurar o particionamento e o clustering para as tabelas:
   1. Para cada tabela em que você quer definir o particionamento ou o clustering, clique em Selecionar colunas.
   2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às tabelas.
      • Particionamento por tempo de processamento: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diária, mensal ou anual. "Diariamente" é a granularidade padrão.
      • Particionamento por campo: ao selecionar essa opção, você precisa selecionar a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar o particionamento e o clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

      Só é possível usar filtros de particionamento no modo de gravação somente anexação.
   3. Para configurar o clustering, na seção Clustering, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream vai usar por padrão até quatro chaves primárias da tabela de origem como as chaves de clustering no BigQuery.
   O particionamento e o clustering só são aplicados a novas tabelas no BigQuery. Se você quiser configurar ou modificar as configurações de particionamento e clustering de uma tabela que já existe, primeiro exclua-a do BigQuery e, em seguida, configure ou modifique as configurações dela no Datastream.
   4. Clique em Salvar para salvar suas configurações.

   Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

3. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses esquemas e tabelas com a mesma lógica separada por vírgulas que você usa para especificar os esquemas e as tabelas que quer que o Datastream extraia.
4. Especifique o método CDC para seu stream:
• Replicação baseada em GTID (IDs de transação global): selecione esse método se quiser que o Datastream ofereça suporte a failovers e replicação contínua, independentemente das mudanças no cluster do banco de dados.
• Replicação baseada em binlog: selecione esse método para ler e replicar mudanças diretamente dos arquivos de registro binário de uma instância de banco de dados selecionada. Não é possível alternar um stream em execução para uma instância de origem ou réplica diferente usando esse método de CDC.
5. Se quiser, abra o nó Escolher o modo de preenchimento para dados históricos e faça uma das seguintes seleções:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar um banco de dados de origem Oracle

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar as tabelas e os esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
O menu não carrega a lista de tabelas e esquemas se o banco de dados tiver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
• Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e tabelas que você quer que o Datastream extraia.

Para cada esquema selecionado, há uma caixa de seleção Tabelas futuras.

• Se essa caixa de seleção estiver marcada, todas as tabelas do esquema que você adicionar à origem após a criação do stream serão transferidas automaticamente para o destino.
• Se essa caixa de seleção não estiver marcada, após a criação do stream, o Datastream não vai transferir novas tabelas do esquema da origem para o destino.

Por padrão, a caixa de seleção Tabelas futuras está marcada para cada esquema.

Para cada tabela de esquema selecionada, há um botão SELECIONAR COLUNAS. Clique nesse botão para filtrar as colunas da tabela que você não quer que sejam transmitidas da origem para o destino. Todas as que forem desmarcadas serão excluídas do fluxo.

Por padrão, as caixas de seleção de todas as colunas da tabela estão marcadas.

• Para fornecer uma definição textual das tabelas e dos esquemas que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não ser incluídos na lista de objetos a serem extraídos.

  Insira esquemas e tabelas como uma lista separada por vírgulas usando o formato [schema].[table], em que o esquema e a tabela podem ser um caractere curinga (asterisco). Não é possível usar caracteres curinga parciais. A menos que especificado explicitamente, os esquemas e as tabelas predefinidos do Oracle não são extraídos para o destino.

2. Se o destino for o BigQuery, será possível configurar o particionamento e o clustering para as tabelas:
   1. Para cada tabela em que você quer definir o particionamento ou o clustering, clique em Selecionar colunas.
   2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às tabelas.
      • Particionamento por tempo de processamento: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diária, mensal ou anual. "Diariamente" é a granularidade padrão.
      • Particionamento por campo: ao selecionar essa opção, você precisa selecionar a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar o particionamento e o clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

      Só é possível usar filtros de particionamento no modo de gravação somente para anexar.
   3. Para configurar o clustering, na seção Clustering, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream vai usar por padrão até quatro chaves primárias da tabela de origem como as chaves de clustering no BigQuery.
   O particionamento e o clustering só são aplicados a novas tabelas no BigQuery. Se você quiser configurar ou modificar as configurações de particionamento e clustering de uma tabela que já existe, primeiro exclua-a do BigQuery e, em seguida, configure ou modifique as configurações dela no Datastream.
   4. Clique em Salvar para salvar suas configurações.

   Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

3. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses esquemas e tabelas com a mesma lógica separada por vírgulas que você usa para especificar os esquemas e as tabelas que quer que o Datastream extraia.
4. Especifique o método CDC para seu stream:
• LogMiner: selecione esse método para consultar redo logs arquivados usando a API LogMiner. O LogMiner é compatível com a maioria das opções disponíveis para o Oracle, como opções de criptografia e de compactação.
• Leitor binário (pré-lançamento): selecione esse método para extrair mudanças diretamente dos registros da Oracle. Isso permite uma replicação mais rápida de grandes bancos de dados Oracle e reduz a latência e a sobrecarga. Quando você seleciona essa opção, um menu suspenso adicional é mostrado. Selecione como você quer acessar os arquivos de registro do Oracle:
• Gerenciamento automático de armazenamento (ASM): selecione essa opção se o banco de dados usar o ASM. Verifique se você marcou a caixa de seleção Ativar o acesso do ASM para o leitor binário e preencheu os detalhes da instância do ASM no perfil de conexão de origem.
• Diretórios de banco de dados: selecione essa opção se você não usar o ASM para armazenar os arquivos de registro. Se você selecionar diretórios de banco de dados, será necessário fornecer os nomes dos diretórios de redo logs e de registros arquivados.
5. Se quiser, abra o nó Escolher o modo de preenchimento para dados históricos e faça uma das seguintes seleções:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar um banco de dados de origem do SQL Server

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar as tabelas e os esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
O menu não carrega a lista de tabelas e esquemas se o banco de dados tiver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
• Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e tabelas que você quer que o Datastream extraia.

Para cada esquema selecionado, há uma caixa de seleção Tabelas futuras.

• Se essa caixa de seleção estiver marcada, todas as tabelas do esquema que você adicionar à origem após a criação do stream serão transferidas automaticamente para o destino.
• Se essa caixa de seleção não estiver marcada, após a criação do stream, o Datastream não vai transferir novas tabelas do esquema da origem para o destino.

Por padrão, a caixa de seleção Tabelas futuras está marcada para cada esquema.

Para cada tabela de esquema selecionada, há um botão SELECIONAR COLUNAS. Clique nesse botão para filtrar as colunas da tabela que você não quer que sejam transmitidas da origem para o destino. Todas as que forem desmarcadas serão excluídas do fluxo.

Por padrão, as caixas de seleção de todas as colunas da tabela estão marcadas.

• Para fornecer uma definição textual das tabelas e dos esquemas que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não ser incluídos na lista de objetos a serem extraídos.

  Insira esquemas e tabelas como uma lista separada por vírgulas usando o formato [schema].[table], em que o esquema e a tabela podem ser um caractere curinga (asterisco). Não é possível usar caracteres curinga parciais.

2. Se o destino for o BigQuery, é possível configurar o particionamento e o clustering para as tabelas:
   1. Para cada tabela em que você quer definir o particionamento ou o clustering, clique em Selecionar colunas.
   2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às tabelas.
      • Particionamento por tempo de processamento: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diária, mensal ou anual. "Diariamente" é a granularidade padrão.
      • Particionamento por campo: ao selecionar essa opção, você precisa selecionar a coluna de origem pela qual quer particionar a tabela e o tipo de particionamento. Só é possível selecionar colunas de origem com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Configurar o particionamento e o clustering para um destino do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa tabela. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

      Só é possível usar filtros de particionamento no modo de gravação somente para anexar.
   3. Para configurar o clustering, na seção Clustering, selecione os campos que você quer usar para agrupar a tabela. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para uma tabela, o Datastream vai usar por padrão até quatro chaves primárias da tabela de origem como as chaves de clustering no BigQuery.
   O particionamento e o clustering só são aplicados a novas tabelas no BigQuery. Se você quiser configurar ou modificar as configurações de particionamento e clustering de uma tabela que já existe, primeiro exclua-a do BigQuery e, em seguida, configure ou modifique as configurações dela no Datastream.
   4. Clique em Salvar para salvar suas configurações.

   Para mais informações sobre particionamento e clustering, consulte Configurar particionamento e clustering.

3. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses esquemas e tabelas com a mesma lógica separada por vírgulas que você usa para especificar os esquemas e as tabelas que quer que o Datastream extraia.
4. Especifique o método CDC para seu stream:
• Registros de transações: selecione esse método para processar alterações diretamente dos registros do banco de dados. Esse método oferece o melhor desempenho e é mais eficiente, mas requer outras etapas de configuração.
• Tabelas de alterações: selecione esse método para processar alterações de tabelas de alterações dedicadas. Esse método é mais fácil de configurar e tem menos limitações, mas é compatível com uma capacidade de processamento menor e produz uma carga maior no banco de dados do que o método de registros de transações.
5. Se quiser, abra o nó Escolher o modo de preenchimento para dados históricos e faça uma das seguintes seleções:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar uma organização de origem do Salesforce

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar os objetos e campos na sua organização que você quer que o Datastream transfira para o destino.
O menu não carrega a lista se houver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todos os objetos, selecione Todos os objetos.
• Se você quiser que o Datastream transfira apenas objetos específicos, selecione Objetos específicos e marque as caixas de seleção dos objetos que você quer que o Datastream extraia.

Para cada objeto selecionado, há um botão Selecionar campos. Clique neste botão para filtrar os campos do objeto que você quer excluir do streaming da origem para o destino. Todos os campos que você limpar serão excluídos do fluxo.

Por padrão, as caixas de seleção de todos os campos do objeto estão marcadas.

• Para fornecer uma definição textual dos objetos que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os objetos que você quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas, usando o formato [object].[field]. Se o banco de dados tiver um grande número de objetos, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não ser incluídos na lista de objetos a serem extraídos.
2. Defina o valor do intervalo de pesquisa em minutos. O Datastream usa esse valor para verificar se há mudanças de dados na sua organização do Salesforce. Quanto maior o valor, menor o custo e a carga na sua organização. Quanto menor o valor, mais atualizados os dados no destino.
3. Se o destino for o BigQuery, é possível configurar o particionamento e o clustering para seus objetos:
   1. Para cada objeto em que você quer definir o particionamento ou o clustering, clique em Selecionar campos.
   2. Para configurar o particionamento, na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado aos objetos.
      • Particionamento por tempo de processamento: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diária, mensal ou anual. "Diariamente" é a granularidade padrão.
      • Particionamento por campo: ao selecionar essa opção, você precisa selecionar o campo de origem pelo qual quer particionar o objeto e o tipo de particionamento. Só é possível selecionar campos com tipos de dados compatíveis. Para informações sobre os tipos de dados de origem compatíveis e os tipos de particionamento disponíveis, consulte Particionar e agrupar tabelas do BigQuery.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas para esse objeto. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

      Só é possível usar filtros de particionamento no modo de gravação somente para anexar.
   3. Para configurar o clustering, na seção Clustering, selecione os campos que você quer usar para agrupar o objeto. É possível selecionar até quatro campos. A ordem em que você adiciona os campos de clustering determina a ordem de classificação dos dados. Se você não especificar as configurações de clustering para um objeto, o Datastream vai usar por padrão até quatro chaves primárias do objeto de origem como as chaves de clustering no BigQuery.
   O particionamento e o clustering só são aplicados a novas tabelas no BigQuery. Se você quiser configurar ou modificar as configurações de particionamento e clustering de uma tabela que já existe, primeiro exclua-a do BigQuery e, em seguida, configure ou modifique as configurações dela no Datastream.
   4. Clique em Salvar para salvar suas configurações.

   Para mais informações sobre particionamento e clustering, consulte Particionar e agrupar tabelas do BigQuery.

4. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira os objetos e campos na organização de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses objetos e campos com a mesma lógica separada por vírgulas que você usa para incluir objetos.
5. Se quiser, abra o nó Escolher o modo de preenchimento para dados históricos e faça uma das seguintes seleções:
• Selecione a opção Automático para replicar todos os dados atuais, além das mudanças neles, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira os objetos na organização de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para replicar apenas as mudanças nos dados no destino.
6. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar uma instância de origem do Salesforce Marketing Cloud (pré-lançamento)

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar os objetos na instância que você quer que o Datastream transfira para o destino.
O menu não carrega a lista se houver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todos os objetos, selecione Todos os objetos.
• Se você quiser que o Datastream transfira apenas objetos específicos, selecione Objetos específicos e marque as caixas de seleção dos objetos que você quer que o Datastream extraia.
• Se você quiser fornecer uma definição textual dos objetos que quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os objetos que quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas. Se o banco de dados tiver um grande número de objetos, recomendamos usar a opção Personalizado, porque alguns objetos podem não ser incluídos na lista de objetos a serem extraídos.
2. Defina o valor do intervalo de pesquisa em minutos. O Datastream usa esse valor para verificar se há mudanças nos dados da sua instância do Salesforce Marketing Cloud em objetos que aceitam a sincronização incremental. É possível usar um valor entre 5 e 1440.
3. Defina o valor do intervalo de pesquisa de atualização completa em minutos. O Datastream usa esse valor para realizar uma atualização completa periódica de objetos que não são compatíveis com a sincronização incremental, como extensões de dados. É possível usar um valor no intervalo de 60 a 1440.
4. Se quiser, expanda o nó Mostrar opções avançadas.
5. No campo Objetos a serem excluídos, insira os objetos na instância de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses objetos com a mesma lógica separada por vírgulas que você usa se estiver especificando objetos que quer que o Datastream extraia.
6. Na seção Escolher o modo de preenchimento para dados históricos, selecione o modo de preenchimento:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira os objetos no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
7. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar uma instância de origem do ServiceNow (pré-lançamento)

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar as tabelas e os campos na instância do ServiceNow que você quer que o Datastream transfira para o destino.
O menu não carrega a lista se houver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todas as tabelas, selecione Todos os objetos.
• Se você quiser que o Datastream transfira apenas tabelas específicas, selecione Objetos específicos e marque as caixas de seleção das tabelas que você quer que o Datastream extraia.

Para cada tabela selecionada, há um botão Selecionar campos. Clique neste botão para filtrar os campos da tabela que você quer excluir do streaming da origem para o destino. O Datastream exclui todos os campos que você limpar do fluxo.

Por padrão, o Datastream marca as caixas de seleção de todos os campos da tabela.

• Se você quiser fornecer uma definição textual das tabelas que quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira as tabelas que quer que o Datastream extraia. Insira as tabelas como uma lista separada por vírgulas, usando o formato [table].[field].
2. Defina o valor do intervalo de pesquisa em minutos. O Datastream usa esse valor para verificar se há mudanças de dados na instância do ServiceNow. Quanto maior o valor, menor o custo e a carga na instância. Quanto menor o valor, mais atualizados os dados no destino.
3. Se quiser, no campo Objetos a serem excluídos, insira as tabelas e os campos na instância de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, o Datastream vai excluir o objeto do stream.
   Defina essas tabelas e campos com a mesma lógica separada por vírgulas que você usa para incluir tabelas.
4. Se quiser, na seção Escolha o modo de preenchimento para dados históricos, faça uma das seguintes seleções:
• Selecione a opção Automático para replicar todos os dados atuais, além das mudanças neles, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas na instância de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para replicar apenas as mudanças nos dados no destino.
5. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar um banco de dados de origem do MongoDB

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar os bancos de dados e as coleções que você quer que o Datastream transfira para o destino.
O menu não carrega a lista se houver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todas as coleções, selecione Todos os bancos de dados e coleções.
• Se você quiser que o Datastream transfira apenas coleções específicas, selecione Bancos de dados e coleções específicos e marque as caixas de seleção das coleções que você quer que o Datastream extraia.

Para cada coleção selecionada, há um botão Selecionar campos. Clique neste botão para filtrar os campos do objeto que você quer excluir do streaming da origem para o destino. Todos os campos que você limpar serão excluídos do fluxo.

Por padrão, as caixas de seleção de todos os campos do objeto estão marcadas.

• Para fornecer uma definição textual das coleções que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira as coleções que você quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas, usando o formato [collection].[field]. Se o banco de dados tiver um grande número de objetos, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não ser incluídos na lista de objetos a serem extraídos.
2. Se o destino for o BigQuery, será possível configurar o particionamento para suas coleções:
   1. Para cada coleção em que você quer definir o particionamento, clique em Selecionar campos.
   2. Na seção Particionamento, selecione uma das seguintes opções:
      • Sem particionamento: quando você seleciona essa opção, nenhum particionamento é aplicado às suas coleções.
      • Particionamento por tempo de processamento: quando você seleciona essa opção, os dados são organizados em partições baseadas no tempo. Selecione um valor na lista Tipo de particionamento para configurar a granularidade do particionamento com as opções disponíveis: por hora, diária, mensal ou anual. "Diariamente" é a granularidade padrão.

      Se quiser, selecione a opção Filtro de particionamento. Se você selecionar essa opção, um filtro de partição será necessário em todas as consultas dessa coleção. Um filtro de partição pode reduzir custos e melhorar o desempenho. Para mais informações, consulte Definir requisitos de filtro de partição.

      Só é possível usar filtros de particionamento no modo de gravação somente anexação.
   O particionamento só é aplicado a novas tabelas no BigQuery. Se você quiser configurar ou modificar as configurações de particionamento de uma tabela que já existe, primeiro exclua-a do BigQuery e, em seguida, configure ou modifique as configurações dela no Datastream.
   3. Clique em Salvar para salvar suas configurações.

   Para mais informações sobre particionamento e clustering, consulte Particionar e agrupar tabelas do BigQuery.

3. Se quiser, abra o nó Escolher o modo de preenchimento para dados históricos e faça uma das seguintes seleções:
• Selecione a opção Automático para replicar todos os dados atuais, além das mudanças neles, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira os objetos na organização de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para replicar apenas as mudanças nos dados no destino.
4. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar um banco de dados de origem do Spanner

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar as tabelas e os esquemas no banco de dados de origem que o Datastream pode transferir para o destino.
O menu não carrega a lista de tabelas e esquemas se o banco de dados tiver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.
• Se você quiser que o Datastream transfira apenas tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e tabelas que você quer que o Datastream extraia.

Para cada esquema selecionado, há uma caixa de seleção Tabelas futuras.

• Se essa caixa de seleção estiver marcada, todas as tabelas do esquema que você adicionar à origem após a criação do stream serão transferidas automaticamente para o destino.
• Se essa caixa de seleção não estiver marcada, após a criação do stream, o Datastream não vai transferir novas tabelas do esquema da origem para o destino.

Por padrão, a caixa de seleção Tabelas futuras está marcada para cada esquema.

Para cada tabela de esquema selecionada, há um botão SELECIONAR COLUNAS. Clique nesse botão para filtrar as colunas da tabela que você não quer que sejam transmitidas da origem para o destino. Todas as que forem desmarcadas serão excluídas do fluxo.

Por padrão, as caixas de seleção de todas as colunas da tabela estão marcadas.

• Para fornecer uma definição textual das tabelas e dos esquemas que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os esquemas e as tabelas que você quer que o Datastream extraia. Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizado, porque algumas tabelas e esquemas podem não ser incluídos na lista de objetos a serem extraídos.

  Insira esquemas e tabelas como uma lista separada por vírgulas usando o formato [schema].[table], em que o esquema e a tabela podem ser um caractere curinga (asterisco). Não é possível usar caracteres curinga parciais.

2. No campo Nome do fluxo de alterações, insira o nome do fluxo de alterações do Spanner que você criou. O Datastream lê esse fluxo de alterações para replicar as mudanças do banco de dados de origem.
3. Se quiser, no campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses esquemas e tabelas com a mesma lógica separada por vírgulas que você usa para especificar os esquemas e as tabelas que quer que o Datastream extraia.
4. Na seção Escolher o modo de preenchimento para dados históricos, selecione o modo de preenchimento:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
5. Se quiser, especifique o número máximo de tarefas simultâneas de CDC e preenchimento nos respectivos campos.
   Definir o número máximo de leituras simultâneas para consultas de fluxo de alterações (o limite de simultaneidade do CDC) pode aumentar a latência de streaming. Isso ocorre porque os fluxo de alterações são divididos em partições, e limitar a simultaneidade impede que o Datastream leia várias partições ao mesmo tempo. Recomendamos definir esse valor apenas se você tiver observado um uso significativo da CPU.
6. No menu suspenso Prioridade de RPC, selecione a prioridade de chamada de procedimento remoto para suas solicitações do Spanner:
   • Baixo
   • Médio
   • Alta
7. No campo Papel do FGAC, especifique o papel de controle de acesso refinado para as solicitações do Spanner.
8. Marque a caixa de seleção Preenchimento com Data Boost ativado se quiser usar o Data Boost para jobs de preenchimento. Para usar essa opção, o Data Boost precisa estar ativado no banco de dados. Para mais informações, consulte Visão geral do Data Boost.
9. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar um ambiente de origem do Dataverse (pré-lançamento)

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar os objetos no ambiente do Dataverse que o Datastream pode transferir para o destino.
O menu não carrega a lista se houver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todos os objetos padrão, selecione Todos os objetos.
• Se você quiser que o Datastream transfira apenas objetos padrão específicos, selecione Objetos específicos e marque as caixas de seleção dos objetos que você quer que o Datastream extraia.

Para cada objeto selecionado, há uma caixa de seleção Tabelas futuras.

• Se essa caixa de seleção estiver marcada, todos os objetos adicionados à origem após a criação do stream serão transferidos automaticamente para o destino.
• Se essa caixa de seleção não estiver marcada, após a criação do stream, o Datastream não vai transferir novos objetos da origem para o destino.

Por padrão, a caixa de seleção Tabelas futuras está marcada para cada objeto.

Para cada objeto selecionado, há um botão SELECIONAR CAMPOS. Clique neste botão para filtrar os campos dos objetos que você quer excluir do streaming da origem para o destino. Todos os campos que você limpar serão excluídos do fluxo.

Por padrão, as caixas de seleção de todos os campos do objeto estão marcadas.

• Para fornecer uma definição textual dos objetos que você quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os objetos que você quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas, usando o formato [OBJECT_NAME]. Caracteres curinga não são aceitos.
2. Na seção Definir intervalo de sondagem, defina a frequência com que o Datastream vai verificar se há mudanças nos dados do Dataverse. Considere equilibrar as necessidades de dados quase em tempo real com o uso eficiente da API para minimizar os custos e evitar problemas de desempenho. O valor inserido precisa estar no intervalo de 5 a 1440 minutos.
3. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira os objetos no ambiente de origem do Dataverse que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
4. Se quiser, abra o nó Escolher o modo de preenchimento para dados históricos e faça uma das seguintes seleções:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira as tabelas no ambiente de origem do Dataverse que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
5. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Configurar uma instância de origem do Workday (pré-lançamento)

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos a serem incluídos para especificar os objetos na instância que você quer que o Datastream transfira para o destino.
O menu não carrega a lista se houver mais de 5.000 objetos.
• Se você quiser que o Datastream transfira todos os objetos, selecione Todos os objetos.
• Se você quiser que o Datastream transfira apenas objetos específicos, selecione Objetos específicos e marque as caixas de seleção dos objetos que você quer que o Datastream extraia. Se você quiser incluir apenas colunas específicas para um objeto, clique em Definir configurações ao lado do objeto. As colunas com as caixas de seleção desmarcadas são excluídas do fluxo.
• Se você quiser fornecer uma definição textual dos objetos que quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objetos, insira os objetos que quer que o Datastream extraia. Insira os objetos como uma lista separada por vírgulas. Se a instância tiver um grande número de objetos, recomendamos usar a opção Personalizado, porque alguns objetos podem não ser incluídos na lista de objetos a serem extraídos.
2. Defina o valor do intervalo de pesquisa em minutos. O Datastream usa esse valor para verificar se há mudanças de dados na instância do Workday. É possível usar um valor no intervalo de 5 a 1440 .
3. Defina o valor do intervalo de pesquisa de atualização completa em minutos. O Datastream usa esse valor para realizar uma atualização completa periódica de objetos que não são compatíveis com a sincronização incremental, como extensões de dados. É possível usar um valor entre 60 e 1440 minutos.
4. Se quiser, expanda o nó Mostrar opções avançadas.
5. No campo Objetos a serem excluídos, insira os objetos na instância de origem que você quer impedir que o Datastream extraia. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios das listas de inclusão e exclusão, ele será excluído do stream.
   Defina esses objetos com a mesma lógica separada por vírgulas que você usa se estiver especificando objetos que quer que o Datastream extraia.
6. Na seção Escolher o modo de preenchimento para dados históricos, selecione o modo de preenchimento:
• Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino. No campo Objetos excluídos do preenchimento automático, insira os objetos na instância de origem que você quer impedir que o Datastream preencha no destino.
• Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.
7. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

Selecione um perfil de conexão de destino

1. Se você criou um perfil de conexão de destino, selecione-o na lista de perfis de conexão.

   Se você não tiver criado um perfil de conexão de destino, crie um clicando em CRIAR PERFIL DE CONEXtO na parte inferior da lista suspensa. Depois siga as mesmas etapas de Criar perfis de conexão

   Observação :para o destino de tabelas do Apache Iceberg, use ou crie um perfil de conexão do BigQuery.

2. Clique em CONTINUAR. O painel Configurar destino do stream é exibido na página Criar stream.

Configurar informações sobre o destino do stream

Nesta seção, descrevemos as informações que você precisa fornecer para configurar o destino do BigQuery ou do Cloud Storage.

Destino no BigQuery

1. Na seção Especificar como o Datastream deve transmitir para um conjunto de dados do BigQuery, selecione uma das seguintes opções no menu suspenso Agrupamento de esquemas:

   • Conjunto de dados para cada esquema: o Datastream cria um conjunto de dados do BigQuery para cada esquema de origem com base no nome do esquema.

     Se você selecionar essa opção, para cada esquema no banco de dados de origem, o Datastream vai criar um conjunto de dados no projeto que contém o stream.

     Além disso, se você selecionar a opção Conjunto de dados para cada esquema, será necessário fornecer o seguinte:

     1. Na seção Tipo de local, especifique onde você quer armazenar seus dados no BigQuery. Selecione Região para especificar uma única localização geográfica ou Multirregião para especificar uma área maior que contenha duas ou mais regiões. Se a prioridade for otimizar custos e desempenho, selecione Região e mantenha os conjuntos de dados com outros recursos do Google Cloud que você gerencia. Se você quiser limites de cota mais altos, selecione Multirregional para permitir que o BigQuery use várias regiões em um grupo. Quando você seleciona Região, o campo assume como padrão a região que você selecionou para o stream.
     2. (Opcional) No campo Prefixo do conjunto de dados, defina um prefixo para o conjunto de dados criado pelo stream. A string especificada é adicionada ao nome do esquema de origem. Por exemplo, se o esquema for chamado de <mySchema> e você definir o prefixo do conjunto de dados como <myPrefix>, o Datastream vai criar um conjunto de dados chamado <myPrefix><mySchema>.
     3. Abra a seção Mostrar opções avançadas de criptografia.

     4. Especifique como você quer que seus dados sejam criptografados no BigQuery selecionando uma chave de criptografia gerenciada pelo Google ou uma chave de criptografia gerenciada pelo cliente.

        Observação: a opção Conjunto de dados para cada esquema não é compatível com fontes do Salesforce.

   • Conjunto de dados único para todos os esquemas: o Datastream cria todas as tabelas dentro do conjunto de dados do BigQuery que você especificar. Cada tabela criada pelo Datastream é nomeada usando uma combinação do nome do esquema de origem e do nome da tabela, separados por um sublinhado (por exemplo, <mySchemaName>_<myTableName>). Os conjuntos de dados disponíveis são agrupados por região. Também é possível criar um novo conjunto de dados.

2. Especifique o Stream de modo de gravação. Selecione o modo de gravação para definir como os dados são gravados e processados no BigQuery:

   • Mesclar: selecione essa opção se quiser que seus dados sejam sincronizados com a origem.
   • Somente anexar: selecione essa opção se quiser manter todos os dados históricos dos seus eventos de alteração.

3. Especificar o limite de inatividade dos dados. Disponível apenas quando o modo Mesclar é selecionado na etapa anterior. Selecione um limite para equilibrar o desempenho e o custo das consultas do BigQuery em comparação com a atualização de dados. O BigQuery aplica as alterações em segundo plano de maneira contínua ou no ambiente de execução da consulta, de acordo com o limite de desatualização. Uma desatualização mais baixa (dados mais recentes) pode aumentar os custos de processamento do BigQuery.

   Se você selecionar 0 minutos, o BigQuery sempre vai retornar os resultados da consulta com base nos dados mais recentes. Isso resulta no custo mais alto da consulta.

4. Clique em CONTINUAR. Aparecerá a página Criar detalhes da transmissão e a página Criar stream.

Destino de tabelas do Apache Iceberg

1. Na seção Especificar como o Datastream deve transmitir para um conjunto de dados do BigQuery, selecione como você quer que o Datastream crie novos esquemas e tabelas no menu suspenso Agrupamento de esquemas:

   • Conjunto de dados para cada esquema: o Datastream cria um conjunto de dados do BigQuery para cada esquema de origem com base no nome do esquema.

     Se você selecionar essa opção, para cada esquema no banco de dados de origem, o Datastream vai criar um conjunto de dados no projeto que contém o stream.

     Além disso, se você selecionar a opção Conjunto de dados para cada esquema, será necessário fornecer o seguinte:

     1. Na seção Tipo de local, especifique onde você quer armazenar seus dados no BigQuery. Selecione Região para especificar uma única localização geográfica ou Multirregião para especificar uma área maior que contenha duas ou mais regiões. Se a prioridade for otimizar custos e desempenho, selecione Região e mantenha os conjuntos de dados com outros recursos do Google Cloud que você gerencia. Se você quiser limites de cota mais altos, selecione Multirregional para permitir que o BigQuery use várias regiões em um grupo. Quando você seleciona Região, o campo assume como padrão a região que você selecionou para o stream.
     2. (Opcional) No campo Prefixo do conjunto de dados, defina um prefixo para o conjunto de dados criado pelo stream. A string especificada é adicionada ao nome do esquema de origem. Por exemplo, se o esquema for chamado de <mySchema> e você definir o prefixo do conjunto de dados como <myPrefix>, o Datastream vai criar um conjunto de dados chamado <myPrefix><mySchema>.
     3. Abra a seção Mostrar opções avançadas de criptografia.

     4. Especifique como você quer que seus dados sejam criptografados no BigQuery selecionando uma chave de criptografia gerenciada pelo Google ou uma chave de criptografia gerenciada pelo cliente.

        Observação: a opção Conjunto de dados para cada esquema não é compatível com fontes do Salesforce.

   • Conjunto de dados único para todos os esquemas: o Datastream cria todas as tabelas dentro do conjunto de dados do BigQuery que você especificar. Cada tabela criada pelo Datastream é nomeada usando uma combinação do nome do esquema de origem e do nome da tabela, separados por um sublinhado (por exemplo, <mySchemaName>_<myTableName>). Os conjuntos de dados disponíveis são agrupados por região. Também é possível criar um novo conjunto de dados.

2. Na seção Definir a conexão do Datastream com as tabelas do Apache Iceberg, forneça as seguintes informações:

   • No menu suspenso ID da conexão, selecione o identificador da conexão do BigQuery que você criou e quer usar no stream. Para saber como criar uma conexão a recursos do Cloud no BigQuery, consulte Configurar tabelas do Apache Iceberg no BigQuery.

     Observação :para evitar que o stream falhe, verifique se o ID de conexão tem permissões de gravação no bucket subjacente do Cloud Storage.

   • Insira ou selecione o endereço URI do bucket que você criou no Cloud Storage. Para informações sobre como criar um bucket do Cloud Storage, consulte Criar um bucket.

3. Revise o Formato do arquivo e o Formato da tabela. O Datastream é compatível com o formato de arquivo Parquet e o formato de tabela Iceberg.

4. Revise o Modo de gravação de stream. O Datastream só aceita o modo de gravação Somente anexação ao fazer streaming para tabelas do Apache Iceberg.

5. Clique em CONTINUAR. Aparecerá a página Criar detalhes da transmissão e a página Criar stream.

Destino no Cloud Storage

1. Opcionalmente, no campo Prefixo do caminho do stream, insira a pasta do bucket de destino em que o Datastream transferirá esquemas, tabelas e dados de um banco de dados de origem.

   Por exemplo, se você quiser que o Datastream transfira dados do banco de dados de origem para a pasta /root/example no bucket de destino, insira /root/example no campo Prefixo do caminho do stream.

2. No campo Formato de saída, escolha o formato de arquivos gravados no Cloud Storage.

   O Datastream é compatível com dois formatos de saída: Avro e JSON.

3. Opcional. Se você selecionar o formato JSON, duas caixas de seleção vão aparecer:

   1. Incluir um arquivo de esquema de tipos unificados no caminho do arquivo: se você marcar essa caixa de seleção, o Datastream vai gravar dois arquivos no Cloud Storage: um arquivo de dados JSON e um arquivo de esquema Avro. O arquivo de esquema tem o mesmo nome do arquivo de dados, com uma extensão .schema. Se você não marcar essa caixa de seleção, o Datastream vai gravar apenas o arquivo de dados JSON no Cloud Storage. Por padrão, essa caixa de seleção não está marcada.
   2. Ativar compactação gzip: se você marcar essa caixa de seleção, o Datastream vai usar o utilitário gzip para compactar os arquivos que ele grava no Cloud Storage. Se você não marcar essa caixa de seleção, o Datastream vai gravar os arquivos no Cloud Storage sem compactá-los. Por padrão, essa caixa de seleção está marcada.

4. Clique em CONTINUAR. Aparecerá a página Criar detalhes da transmissão e a página Criar stream.

Criar o stream

1. Verifique os detalhes sobre o stream e os perfis de conexão de origem e destino que o stream vai usar para transferir dados de um banco de dados de origem para um destino.

2. Clique emEXECUTAR VALIDAÇÃO para validar o stream. Ao validar um stream, o Datastream verifica se a origem está configurada corretamente, verifica se o stream pode se conectar à origem e ao destino e verifica a configuração de ponta a ponta do stream.

   1. Se o banco de dados de origem for Oracle, o Datastream realizará as seguintes verificações:

      Checagem	Descrição
      Validade da lista de objetos	O Datastream verifica se a lista de exclusão não substitui a lista de inclusão.
      Encaminhar conectividade do túnel SSH	O Datastream verifica se ele pode se conectar a um Bastion Host por meio de um túnel SSH de encaminhamento.
      Conectividade com o banco de dados Oracle	O Datastream verifica se ele pode se conectar ao banco de dados Oracle de origem.
      Permissões do usuário da Oracle	O Datastream verifica se o usuário usado para se conectar ao banco de dados de origem tem todas as permissões necessárias para recuperar esquemas, tabelas e dados do banco de dados. Assim, o Datastream pode fazer streaming dessas informações para o destino.
      Configuração do modo de geração de registros	O Datastream verifica se o modo de geração de registros do banco de dados Oracle está definido como ARCHIVELOG.
      Configuração adicional da geração de registros	O Datastream verifica se a geração de registros complementares está ativada nas tabelas do banco de dados que estão sendo transmitidas da origem para o destino.
      Configuração do CDC do Oracle	O Datastream verifica se o método de CDC selecionado está em conformidade com a configuração do banco de dados.
      Configuração de arquivos de registro de arquivamento	O Datastream verifica se a geração de registros do arquivo está configurada na origem e se os arquivos de registros estão presentes.
      Permissões do Cloud Storage (para destinos do Cloud Storage)	O Datastream verifica se ele tem as permissões necessárias para gravar no bucket de destino no Cloud Storage.

   2. Se o banco de dados de origem for o MySQL, o Datastream realizará as seguintes verificações:

      Checagem	Descrição
      Permissões de replicação	O Datastream verifica se ele tem permissões para replicar um banco de dados MySQL.
      Versão do banco de dados	O Datastream verifica se a versão do banco de dados MySQL é compatível. Para mais informações sobre as edições compatíveis, consulte Versões.
      Configuração do formato do registro binário	O Datastream verifica se o formato de registro binário do banco de dados do MySQL está definido como ROW.
      A geração de registros binários está ativada	O Datastream verifica se os arquivos de registros binários estão configurados corretamente e se há arquivos de registros presentes.
      Configuração de imagem de linha de registro binário	O Datastream verifica se a imagem da linha do binlog está definida como FULL.
      Compactação do binlog desativada	O Datastream verifica se a compactação de binlog está desativada.
      Atualizações de réplica ou subordinado de registro ativadas	O Datastream verifica se as atualizações de réplica ou subordinado de registro estão ativadas.
      Configuração do modo GTID (applies only to GTID-based CDC)	O Datastream verifica se o modo GTID está definido como ON se a replicação baseada em GTID for usada.
      O GtidSet não contém GTIDs com tags (applies only to GTID-based CDC)	O Datastream verifica se o conjunto de GTIDs não contém GTIDs com tags.
      Permissões do Cloud Storage (para destinos do Cloud Storage)	O Datastream verifica se ele tem as permissões necessárias para gravar no bucket de destino no Cloud Storage.

      Verificação de avisos	Descrição
      Configuração de dias de expiração de registros, segundos de expiração de registros ou horas de retenção de binlog	O Datastream verifica se expire_logs_days, binlog_expire_logs_seconds e binlog retention hours estão configurados com valores maiores que 7, 604800 e 168, respectivamente.
      Configuração máxima de pacotes permitida	O Datastream verifica se o max_allowed_packet está definido como 1 GB.
      Aplicar consistência de GTID ou modo estrito de GTID (applies only to GTID-based CDC)	O Datastream verifica se a consistência do GTID ou o modo estrito do GTID está ativado.

   3. Se o banco de dados de origem for PostgreSQL, o Datastream vai realizar as seguintes verificações:

      Verificação	Descrição
      Conectividade com o banco de dados PostgreSQL	O Datastream verifica se pode se conectar ao banco de dados de origem do PostgreSQL.
      A decodificação lógica está ativada	O Datastream verifica se o parâmetro wal_level do banco de dados PostgreSQL está definido como logical.
      Configuração do slot de replicação	O Datastream verifica se o slot de replicação do PostgreSQL existe e está ativo, se o Datastream tem as permissões necessárias para acessá-lo e se ele está configurado corretamente.
      Configuração da publicação	O Datastream verifica se a publicação existe e se as tabelas a serem replicadas para o stream estão incluídas nela.
      Permissões de preenchimento	O Datastream verifica se as tabelas necessárias para preencher dados históricos existem e se tem as permissões necessárias para lê-las.

   4. Se o banco de dados de origem for o SQL Server, o Datastream vai realizar as seguintes verificações:

      Verificação	Descrição
      Edição do SQL Server	O Datastream verifica se a edição do banco de dados de origem do SQL Server é compatível. Para mais informações sobre as edições compatíveis, consulte Versões.
      Permissões de usuário do SQL Server	O Datastream verifica se o usuário tem as permissões necessárias para acessar o banco de dados de origem do SQL Server.
      O CDC do SQL Server está ativado	O Datastream verifica se a CDC está ativada para o banco de dados e todas as tabelas incluídas no stream.
      Validações do banco de dados do SQL Server	O Datastream verifica se o banco de dados de origem está configurado corretamente, se todos os requisitos de replicação foram atendidos e se não há tipos de dados incompatíveis nas colunas.
      Permissões do Cloud Storage ou do BigQuery	O Datastream verifica se o usuário tem as permissões necessárias para gravar no destino.

   5. Se o banco de dados de origem for o Salesforce, o Datastream vai realizar as seguintes verificações:

      Verificação	Descrição
      Login de credenciais	O Datastream verifica se é possível autenticar com a organização do Salesforce do cliente usando as credenciais fornecidas.
      API Bulk	O Datastream verifica se tem as permissões necessárias para acessar a API Salesforce Bulk 2.0. A API Bulk 2.0 é necessária para ler grandes quantidades de dados.

      Verificação de avisos	Descrição
      Limites da API	O Datastream calcula uma estimativa do uso esperado da API com base no número de objetos e no intervalo de sondagem selecionado. Se o número diário esperado de solicitações for maior que o limite imposto pelo Salesforce, o Datastream vai emitir um aviso. Você ainda pode criar e executar o stream, mesmo que a verificação de validação não seja aprovada.

   6. Se o banco de dados de origem for o MongoDB, o Datastream vai realizar as seguintes verificações:

      Verificação	Descrição
      Permissões do usuário	O Datastream verifica se o papel readAnyDatabase está atribuído ao usuário.
      Configurações de conexão	O Datastream usa o comando hello para verificar se as configurações de conexão são válidas.
      Versão do MongoDB	O Datastream verifica se a versão do MongoDB é 5.0 ou mais recente.
      Permissões do Cloud Storage ou do BigQuery	O Datastream verifica se o usuário tem as permissões necessárias para gravar no destino.

   7. Se o banco de dados de origem for o Spanner, o Datastream vai realizar as seguintes verificações:

      Verificação	Descrição
      API Spanner ativada	O Datastream verifica se a API Spanner está ativada.
      O banco de dados existe	O Datastream verifica se o banco de dados de origem do Spanner existe.
      Permissões do IAM	O Datastream verifica se o agente de serviço tem as permissões necessárias do IAM no banco de dados de origem.
      O fluxo de alterações existe	O Datastream verifica se o fluxo de alterações especificado existe no banco de dados.
      Tipo de captura de valor	O Datastream verifica se o fluxo de alterações está configurado com o tipo de captura de valor NEW_ROW.

   8. Se a origem for o Dataverse, o Datastream vai realizar as seguintes verificações:

      Verificação	Descrição
      Conectividade com o ambiente do Dataverse	O Datastream verifica se pode se conectar ao ambiente de origem do Dataverse.
      Permissões de usuário do Dataverse	O Datastream verifica se o usuário do aplicativo usado para se conectar ao ambiente de origem tem todas as permissões de leitura necessárias. As permissões de leitura são necessárias para recuperar tabelas e dados do ambiente para que o Datastream possa transmitir essas informações para o destino.
      Restrições de IP	O Datastream verifica se os endereços IP públicos dele podem se conectar ao endpoint da instância do Dataverse.
      Presença do campo "modifiedon"	O Datastream verifica se o campo "modifiedon" está presente e é confiável nas tabelas que estão sendo replicadas para sincronização incremental.
      Permissões do Cloud Storage ou do BigQuery	O Datastream verifica se tem as permissões necessárias para gravar no destino.

   9. Se a instância de origem for o Workday, o Datastream vai realizar as seguintes verificações:

      Verificação	Descrição
      Login de credenciais	O Datastream verifica a autenticação do OAuth 2.0 com o Workday.
      Permissões da ISU	O Datastream verifica se o usuário do sistema de integração tem as permissões necessárias da política de segurança do domínio.
      Validade do relatório	O Datastream garante que os objetos selecionados existam e sejam acessíveis usando a solução de relatório como serviço (RaaS, na sigla em inglês).

   Se a verificação for aprovada, um ícone de marca de seleção aparecerá à esquerda da verificação.

   Se uma verificação de validação não for aprovada, um ícone de ponto de exclamação será exibido à esquerda da verificação, e um botão VER DETALHES DO ERRO aparecerá abaixo da verificação. Clique no botão para abrir uma janela de diálogo que explica por que a verificação não foi aprovada e o que fazer para corrigir o problema. Depois de fazer as correções apropriadas, clique em REVALIDAR.

   Para mais informações sobre como resolver problemas de verificações de validação que não foram aprovadas, consulte Diagnosticar problemas.

3. Depois que todas as verificações de validação forem aprovadas, clique em CRIAR E INICIAR para criar o stream e iniciá-lo imediatamente ou em CRIAR para criar o stream sem iniciá-lo imediatamente.

   Se você não iniciar o stream agora, poderá iniciá-lo na página Streams clicando em INICIAR.

   Observação: o processo de criação de streams pode aumentar a carga do banco de dados de origem. Para adiar essa carga, crie o stream sem iniciá-lo. Volte ao início quando o carregamento puder ser feito.

Após criar um stream, você pode ver informações detalhadas e de alto nível sobre ele.

Criar um stream usando o fluxo automatizado

É possível usar a configuração de stream automatizada para criar streams diretamente da página de visão geral do Cloud SQL no Google Cloud. O fluxo automatizado simplifica o processo de criação de streams e pode ser usado se você estiver replicando para o BigQuery de uma instância do Cloud SQL para PostgreSQL, Cloud SQL para MySQL ou Cloud SQL para SQL Server.

Para saber como usar o fluxo de configuração automatizada de stream, consulte Criar um stream usando o fluxo automatizado.

A seguir

• Para saber mais sobre streams, consulte Ciclo de vida do stream.
• Para saber como executar um stream, consulte Executar um stream.
• Para saber como modificar seus streams, consulte Modificar um stream.
• Para saber como recuperar um stream, consulte Recuperar um stream.