Ler várias tabelas do Microsoft SQL Server

Esta página descreve como ler várias tabelas de um banco de dados do Microsoft SQL Server usando a fonte Multi Table source. Use a fonte de várias tabelas quando quiser que o pipeline leia a partir de várias tabelas. Se você quiser que seu pipeline leia a partir de uma única tabela, consulte Como ler uma tabela do SQL Server.

A origem de várias tabelas gera dados com vários esquemas e inclui um campo de nome da tabela que indica a tabela de onde vieram os dados. Ao usar a fonte de várias tabelas, use um dos coletores de várias tabelas, BigQuery Multi Table ou GCS Multi File.

Antes de começar

  1. Faça login na sua Google Cloud conta do. Se você não conhece o Google Cloud, crie uma conta para avaliar a performance dos nossos produtos em cenários reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Ative as APIs do Cloud Data Fusion, Cloud Storage, BigQuery e Dataproc.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    Ativar as APIs

  7. Crie uma instância do Cloud Data Fusion.
  8. Verifique se o banco de dados do SQL Server pode aceitar conexões do Cloud Data Fusion. Para fazer isso com segurança, recomendamos que você crie uma instância particular do Cloud Data Fusion.

Conferir a instância do Cloud Data Fusion

Ao usar o Cloud Data Fusion, você usa o Google Cloud console e a interface separada do Cloud Data Fusion. No Google Cloud consol, é possível criar um Google Cloud projeto e criar e excluir instâncias do Cloud Data Fusion. Na interface do Cloud Data Fusion, é possível usar as várias páginas, como o Studio ou o Administrador, para usar os recursos do Cloud Data Fusion.

  1. No console Google Cloud , acesse a página do Cloud Data Fusion.

  2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

    Acesse "Instâncias"

Armazenar a senha do SQL Server como uma chave segura

Adicione a senha do SQL Server como uma chave segura para criptografar na instância do Cloud Data Fusion. Posteriormente neste guia, você garantirá que sua senha seja recuperada usando o Cloud KMS.

  1. No canto superior direito de qualquer página do Cloud Data Fusion, clique em Administrador do sistema.

  2. Clique na guia Configuration.

  3. Clique em Fazer chamadas HTTP.

    Configuration do HBase.

  4. No menu suspenso, escolha PUT.

  5. No campo do caminho, digite namespaces/NAMESPACE_ID/securekeys/PASSWORD.

  6. No campo Corpo, digite {"data":"SQL_SERVER_PASSWORD"}.

  7. Clique em Enviar.

    Senha.

Verifique se a Resposta recebida é o código de status 200.

Acessar o driver JDBC para SQL Server

Usando o Hub

  1. Na interface do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, digite Microsoft SQL Server JDBC Driver.

  3. Clique em Driver JDBC do Microsoft SQL Server.

  4. Clique em Fazer download. Siga as etapas de download mostradas.

  5. Clique em Implantar. Faça o upload do arquivo JAR na etapa anterior.

  6. Clique em Concluir.

Usando o Studio

  1. Acesse Microsoft.com.

  2. Escolha o download e clique em Fazer o download.

  3. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  4. Clique em Adicionar.

  5. Em Driver, clique em Fazer upload.

  6. Faça o upload do arquivo JAR baixado na etapa 2.

  7. Clique em Próxima.

  8. Configure o driver inserindo um Nome.

  9. No campo Nome da classe, digite com.microsoft.sqlserver.jdbc.SQLServerDriver.

  10. Clique em Concluir.

Implantar os plug-ins de várias tabelas

  1. Na UI da Web do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, digite Multiple table plugins.

  3. Clique em Múltiplos plug-ins de tabela.

    Senha.

  4. Clique em Implantar.

  5. Clique em Concluir.

  6. Clique em Criar um pipeline.

Conectar-se ao SQL Server

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. No Studio, expanda o menu Origem.

  3. Clique em Várias tabelas de banco de dados.

    Várias tabelas.

  4. Coloque o ponteiro sobre o nó Várias tabelas de banco de dados e clique em Propriedades.

    Propriedades

  5. No campo Nome de referência, especifique um nome de referência que será usado para identificar sua origem do SQL Server.

  6. No campo String de conexão JDBC, insira a string de conexão JDBC. Por exemplo, jdbc:sqlserver://mydbhost:1433. Para mais informações, consulte Como criar o URL de conexão.

  7. Insira o Nome do plug-in JDBC, o Nome de usuário do banco de dados e a Senha do usuário do banco de dados.

  8. Clique em Validar.

  9. Clique em Fechar.

Conectar ao BigQuery ou ao Cloud Storage

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. Expanda Coletor.

  3. Clique em BigQuery Multi Table ou GCS Multi File.

  4. Conecte o nó Várias tabelas de banco de dados com BigQuery Multi Table ou GCS Multi File.

    Conecte o coletor.

  5. Mantenha o ponteiro sobre o BigQuery Multi Table ou GCS Multi File nó, clique em Properties e configure o coletor.

    Para mais informações, consulte Coletor de várias tabelas do Google BigQuery e Coletor de vários arquivos do Google Cloud Storage.

  6. Clique em Validar.

  7. Clique em Fechar.

Executar a visualização do pipeline

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. Clique em Visualização.

  3. Clique em Executar. Aguarde a conclusão da visualização.

Implantar o pipeline

  1. Na interface do Cloud Data Fusion, clique em Menu e navegue até a página Studio.

  2. Clique em Implantar.

Executar o pipeline

  1. Na interface do Cloud Data Fusion, clique em Menu.

  2. Clique em Lista.

  3. Clique no pipeline.

  4. Na página de detalhes do pipeline, clique em Executar.

A seguir