Origem de lote do banco de dados

Nesta página, você encontra orientações sobre como configurar o plug-in de origem em lote do banco de dados no Cloud Data Fusion.

Use essa fonte genérica sempre que precisar ler um banco de dados. Por exemplo, você pode usar esse recurso para criar snapshots diários de uma tabela de banco de dados genérica e gravar a saída no BigQuery.

Configurar o plug-in

  1. Acesse a interface da Web do Cloud Data Fusion e clique em Studio.
  2. Verifique se Pipeline de dados – lote está selecionado (não Tempo real).
  3. No menu Origem, clique em Banco de dados.
  4. Para configurar o plug-in, mantenha o ponteiro sobre o nó dele e clique em Propriedades.

  5. Insira as seguintes propriedades. Para mais informações sobre cada propriedade, consulte Propriedades.

    1. Insira um rótulo para o nó do banco de dados, por exemplo, database tables.

    2. Insira os detalhes da conexão. É possível configurar uma conexão única ou uma conexão reutilizável.

      Nova conexão

      Para adicionar uma conexão única ao banco de dados, siga estas etapas:

      1. Mantenha a opção Usar conexão desativada.
      2. Insira as seguintes propriedades de conexão:
        1. No campo de nome do driver JDBC, insira o nome do driver, se houver. Caso contrário, mantenha a opção Nenhum plug-in JDBC selecionada.
        2. No campo String de conexão, insira a string de conexão JDBC, incluindo o nome do banco de dados.
        3. Opcional: se o banco de dados exigir autenticação, insira as credenciais de nome de usuário e senha do banco de dados.
        4. Opcional: se o driver JDBC precisar de outras configurações, no campo Argumentos de conexão, insira argumentos de chave-valor para a conexão.

      Conexão reutilizável

      Para reutilizar uma conexão, siga estas etapas:

      1. Ative a opção Usar conexão.
      2. Clique em Procurar conexões.

      3. Selecione a conexão.

      4. Opcional: se uma conexão não existir e você quiser criar uma nova e reutilizável, clique em Adicionar conexão e consulte as etapas na guia Nova conexão desta página.

    3. Opcional: para testar a conectividade, clique em Gerar esquema. Esse esquema é usado no lugar de qualquer esquema retornado pela consulta. Ele precisa corresponder ao esquema retornado pela consulta, exceto que é possível marcar campos como anuláveis e ele pode conter um subconjunto dos campos.

    4. No campo Consulta de importação, insira uma consulta SELECT para importar dados da tabela especificada. Por exemplo, select id, name, email, phone from users;.

    5. Opcional: no campo Consulta de restrição, insira os valores mínimo e máximo a serem lidos. Por exemplo, SELECT * FROM table WHERE $CONDITIONS.

    6. Opcional: no campo Nome do campo de divisão, insira o nome do campo que gera as divisões.

    7. Opcional: no campo Número de divisões a serem geradas, insira um número, por exemplo, 2.

    8. Opcional: no campo Tamanho da busca, insira um número, por exemplo, 1000.

    9. Opcional: insira Propriedades avançadas, como mudar o uso de maiúsculas e minúsculas nos nomes das colunas.

  6. Opcional: clique em Validar e corrija os erros encontrados.

  7. Clique em Fechar. As propriedades são salvas, e você pode continuar criando seu pipeline de dados no Cloud Data Fusion Studio.

Propriedades

Propriedade Ativada para macros Obrigatório Descrição
Rótulo Não Sim O nome do nó no pipeline de dados.
Usar conexão Não Não Procure uma conexão com a fonte. Se a opção Usar conexão estiver selecionada, não será necessário fornecer credenciais.
Conexão Sim Sim Nome da conexão a ser usada. Se a opção Usar conexão estiver selecionada, esse campo vai aparecer. As informações do banco de dados e da tabela são fornecidas pela conexão.
Nome do driver JDBC Sim Sim O driver JDBC a ser usado.
O padrão é Nenhum plug-in JDBC.
String de conexão Sim Sim String de conexão JDBC, incluindo o nome do banco de dados.
Nome de usuário Sim Não Identidade do usuário para se conectar ao banco de dados. Obrigatório para bancos de dados que precisam de autenticação. Opcional para bancos de dados que não exigem autenticação.
Senha Sim Não Senha usada para se conectar ao banco de dados especificado. Obrigatório para bancos de dados que precisam de autenticação. Opcional para bancos de dados que não exigem autenticação.
Argumentos de conexão Sim Não Uma lista de pares de tag/valor de string arbitrários como argumentos de conexão. Para drivers JDBC que precisam de configuração adicional, esses argumentos são transmitidos ao driver JDBC como argumentos de conexão no seguinte formato: key1=value1;key2=value.
Nome de referência Não Sim Um nome que identifica exclusivamente essa origem para linhagem e anotação de metadados. Geralmente é o nome da tabela ou da visualização.
Gerar esquema Não Não O esquema dos registros gerados pela origem. Ele é usado no lugar do esquema retornado pela consulta. Ele precisa corresponder ao esquema retornado pela consulta, exceto que permite marcar campos como anuláveis e pode conter um subconjunto dos campos.
Consulta de importação Sim Sim A consulta SELECT para importar dados da tabela especificada. É possível especificar um número arbitrário de colunas para importar ou importar todas as colunas usando *. A consulta precisa conter a string $CONDITIONS. Por exemplo, SELECT * FROM table WHERE $CONDITIONS. A string $CONDITIONS é substituída pelo limite do campo splitBy especificado no campo Consulta de caixa delimitadora. A string $CONDITIONS não é obrigatória se o campo Número de divisões estiver definido como 1.
Consulta de caixa delimitadora Sim Não A consulta de limite que retorna o mínimo e o máximo dos valores da coluna de divisão. Por exemplo: SELECT MIN(id),MAX(id) FROM table Não é obrigatório se o número de divisões for definido como 1.
Nome do campo de divisão Sim Não O nome do campo usado para gerar divisões. Não é necessário se o número de divisões a serem geradas for definido como 1.
Número de divisões a serem geradas Sim Não Número de divisões a serem geradas.
O padrão é 1.
Tamanho da busca Sim Não O número de linhas a serem buscadas por vez por divisão. Um tamanho de busca maior pode causar uma importação mais rápida, mas com o custo de um uso maior da memória.
O padrão é 1000.
Ativar o commit automático Não Não Se o commit automático deve ser ativado para consultas executadas por essa origem. Mantenha essa opção definida como False, a menos que você use um driver JDBC que cause um erro quando a operação de commit for executada.
O padrão é False.
Caixa do nome da coluna Sim Não Define o uso de maiúsculas e minúsculas dos nomes das colunas retornadas da consulta. Você pode escolher maiúsculas ou minúsculas. Por padrão ou para qualquer outra entrada, os nomes das colunas não são modificados, e o uso de maiúsculas e minúsculas retornado do banco de dados é usado. Definir essa propriedade oferece previsibilidade de capitalização de nomes de colunas em diferentes bancos de dados, mas pode causar conflitos se vários nomes de colunas forem iguais quando a capitalização for ignorada.
O padrão é Nenhuma mudança.
Nível de isolamento da transação Sim Não O nível de isolamento da transação para consultas executadas por esse gravador. Para mais informações, consulte o setTransactionIsolation(). O driver JDBC do Phoenix gera uma exceção se o banco de dados do Phoenix não tiver transações ativadas e esse campo estiver definido como true. Para drivers assim, defina esse campo como TRANSACTION_NONE.
O padrão é TRANSACTION_SERIALIZABLE.
Padrão a ser substituído Não Não O padrão a ser substituído no nome do campo na tabela (normalmente usado com a propriedade Substituir por). Se a propriedade Substituir por não estiver definida, o padrão será removido do nome do campo.
Substituir por Não Não A string que é substituída no nome do campo na tabela. Você também precisa configurar o campo Padrão a ser substituído.
Esquema de saída Não Não Especifica o esquema que é gerado. Somente as colunas definidas no esquema são incluídas no registro de saída.

Práticas recomendadas

Verifique se um plug-in mais específico está disponível para seu banco de dados. Por exemplo, se você tiver uma origem de banco de dados Oracle, use o plug-in de origem em lote do banco de dados Oracle, porque ele foi projetado para funcionar com o esquema do Oracle.

A seguir