Ler de uma tabela do SQL Server

Nesta página, descrevemos como configurar seu pipeline de dados para ler dados de uma tabela do Microsoft SQL Server.

Antes de começar

  1. Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Ative as APIs Cloud Data Fusion, BigQuery, Cloud Storage e Dataproc.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    Ativar as APIs

  7. Crie uma instância do Cloud Data Fusion.
  8. O banco de dados do SQL Server precisa aceitar conexões do Cloud Data Fusion. Por motivos de segurança, use uma instância particular do Cloud Data Fusion.

Abrir a instância do Cloud Data Fusion

  1. No Google Cloud console, acesse a página Instâncias do Cloud Data Fusion.

    Acesse "Instâncias"

  2. Na coluna Ações da instância, clique em Ver instância para abrir a instância no Cloud Data Fusion.

Armazenar a senha do SQL Server como uma chave segura

Adicione a senha do SQL Server como uma chave segura na instância do Cloud Data Fusion.

  1. No Cloud Data Fusion, clique em Administrador do sistema.

  2. Clique na guia Configuração.

  3. Clique em Fazer chamadas HTTP.

    Configuration do HBase.

  4. Selecione PUT.

  5. No campo do caminho, digite namespaces/NAMESPACE_ID/securekeys/password .

  6. No campo Corpo, digite {"data":"password"}. Substitua password pela sua senha do SQL Server.

  7. Clique em Send.

    Senha.

A resposta precisa ter o código de status 200 para continuar.

Acessar o driver JDBC para SQL Server

É possível acessar o driver no Hub ou no Pipeline Studio no Cloud Data Fusion.

Hub

  1. Na interface do Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, digite SQL Server JDBC Driver e selecione o driver.

  3. Clique em Fazer download. Siga as etapas de download mostradas.

  4. Clique em Implantar. Faça o upload do arquivo JAR na etapa anterior.

  5. Clique em Concluir.

Pipeline Studio

  1. Acesse Microsoft.com.

  2. Escolha o download e clique em Fazer o download.

  3. No Cloud Data Fusion, clique em Menu e acesse a página Pipeline Studio.

  4. Clique em Adicionar.

  5. Para o driver, clique em Fazer upload.

  6. Selecione o arquivo JAR localizado na pasta jre7.

  7. Clique em Próxima.

  8. Para configurar o driver, insira um Nome e um Nome da classe.

  9. Clique em Concluir.

Implantar o plug-in do SQL Server

  1. No Cloud Data Fusion, clique em Hub.

  2. Na barra de pesquisa, digite SQL Server Plugins.

  3. Clique em Plug-ins do servidor SQL.

  4. Clique em Implantar.

  5. Clique em Finish.

  6. Clique em Criar um pipeline.

Conectar-se ao SQL Server

É possível se conectar ao SQL Server no Cloud Data Fusion no Wrangler ou no Pipeline Studio.

Wrangler

  1. No Cloud Data Fusion, clique em Menu e acesse a página Wrangler.

  2. Clique em Adicionar conexão.

    Uma janela Adicionar conexão será aberta.

  3. Clique em SQL Server para verificar se o driver está instalado.

    Upload do JAR realizado.

  4. Insira os detalhes nos campos de conexão obrigatórios. No campo Senha, selecione a chave segura armazenada anteriormente. Isso garante que a senha seja recuperada usando o Cloud KMS.

    Escolher a senha.

  5. Para verificar se uma conexão pode ser estabelecida com o banco de dados, clique em Testar conexão.

  6. Clique em Adicionar conexão.

Depois que o banco de dados do SQL Server estiver conectado e criado um pipeline que seja lido na tabela do SQL Server, será possível aplicar transformações e gravar a saída em um coletor.

Pipeline Studio

  1. Abra a instância do Cloud Data Fusion e acesse a página Pipeline Studio.

  2. Expanda o menu Origem e clique em SQL Server.

    SQL Server

  3. No nó SQL Server, clique em Propriedades.

    Propriedades

  4. No campo Nome de referência, insira um nome que identifique a origem do SQL Server.

  5. No campo Banco de dados, insira o nome do banco de dados a que você quer se conectar.

  6. No campo Importar consulta, insira a consulta a ser executada. Por exemplo, SELECT * FROM table WHERE $CONDITIONS.

  7. Clique em Validate (Validar).

  8. Clique em close .

Depois que o banco de dados do SQL Server estiver conectado e criado um pipeline que seja lido na tabela do SQL Server, adicione as transformações desejadas e grave a saída em um coletor.

A seguir