Configurar o acesso à instância do Cloud SQL

O serviço de transferência de dados do BigQuery permite transferir dados de uma instância particular do Cloud SQL em diferentes projetos do Google Cloud por um endereço IP interno. Para estabelecer essa conexão particular para o conector do MySQL do serviço de transferência de dados do BigQuery ou o conector do PostgreSQL do serviço de transferência de dados do BigQuery, configure o peering de nuvem privada virtual, um proxy do Cloud SQL e um anexo de rede.

Informações gerais da arquitetura

Para transferir dados de uma instância particular do Cloud SQL em um projeto para o BigQuery em outro projeto, o serviço de transferência de dados do BigQuery requer uma rede de conectores para estabelecer a conectividade de rede particular.

O peering de rede VPC é compatível com a comunicação apenas entre redes com peering direto e não encaminha o tráfego de outras conexões. Portanto, o tráfego que entra em uma rede VPC por um anexo de rede do Private Service Connect não pode cruzar uma conexão de peering para alcançar uma rede do Cloud SQL com peering. Para estabelecer essa conexão, uma VM do Compute Engine na rede do conector executa o proxy de autenticação do Cloud SQL. O proxy encerra a conexão de entrada do anexo de rede e estabelece uma conexão autenticada com a instância do Cloud SQL pela rede com peering.

O diagrama a seguir ilustra os componentes de rede e o caminho de dados entre o serviço de transferência de dados do BigQuery e uma instância particular do Cloud SQL:

Arquitetura de rede do serviço de transferência de dados do BigQuery para o Cloud SQL.

Antes de começar

Verifique se você tem o seguinte:

  • Acesso a um projeto do Google Cloud com o conector do serviço de transferência de dados do BigQuery e outro projeto do Google Cloud com a instância do Cloud SQL.
  • Um banco de dados MySQL ou PostgreSQL em um projeto do Google Cloud .
  • As permissões adequadas para criar uma VPC, criar regras de firewall e instalar software.
  • Uma instância de máquina virtual (VM).

Configurar o peering de VPC

Para configurar o peering de VPC, é preciso criar um peering de VPC no projeto do conector do serviço de transferência de dados do BigQuery, criar um peering de VPC no projeto do banco de dados do Cloud SQL para o projeto do serviço de transferência de dados do BigQuery e configurar as rotas e as regras de firewall.

Criar peering de VPC no projeto do conector do serviço de transferência de dados do BigQuery

  1. No console do Google Cloud , acesse a página Peering de rede VPC do projeto do conector do serviço de transferência de dados do BigQuery.

    Acessar o peering de rede VPC

  2. Clique em Criar conexão de peering.

  3. No campo Nome, digite um nome para sua configuração de peering.

  4. Em Sua rede VPC, selecione a rede VPC com que você quer fazer peering no projeto do conector do serviço de transferência de dados do BigQuery.

  5. Em Rede VPC com peering, selecione a opção Em outro projeto.

  6. Em ID do projeto, insira o ID do projeto do Cloud SQL.

  7. Em Nome da rede VPC, insira o nome da rede VPC no projeto do Cloud SQL.

  8. Clique em Criar.

Criar peering de VPC no projeto de banco de dados do Cloud SQL

Para criar um peering de VPC no projeto de banco de dados do Cloud SQL para o projeto do serviço de transferência de dados do BigQuery, faça o seguinte:

  1. No console do Google Cloud , acesse a página Peering de rede VPC do projeto do conector do serviço de transferência de dados do BigQuery.

    Acessar o peering de rede VPC

  2. Clique em Criar conexão de peering.

  3. No campo Nome, digite um nome para sua configuração de peering.

  4. Selecione a rede VPC com que você quer fazer peering no projeto de banco de dados do Cloud SQL.

  5. Em ID do projeto de peering, insira o ID do projeto do serviço de transferência de dados do BigQuery.

  6. Em Rede VPC com peering, insira o nome da rede VPC no projeto do conector do serviço de transferência de dados do BigQuery.

  7. Clique em Criar.

Configurar rotas e regras de firewall

Se você não selecionou as rotas de importação e exportação ao configurar as conexões de peering anteriormente, siga estas etapas para fazer isso agora:

  1. Acesse a página Rotas do projeto do conector do serviço de transferência de dados do BigQuery.

    Acessar a página Rotas

  2. Verifique se as rotas existem para permitir o tráfego entre os ambientes de VPC com peering.

  3. Acesse a página Políticas de firewall.

    Acesse as políticas de firewall

  4. Crie regras de firewall para permitir o tráfego nas portas necessárias (por exemplo, porta 3306 para MySQL e porta 5432 para PostgreSQL) entre as redes com peering.

  5. Adicione as regras de firewall personalizadas necessárias do projeto do conector do serviço de transferência de dados do BigQuery ao projeto hospedado no banco de dados do Cloud SQL.

  6. Configure rotas e regras de firewall para o projeto com a instância do Cloud SQL, como você fez nas etapas anteriores.

Configurar o proxy do Cloud SQL

  1. Use o SSH para se conectar a uma instância de máquina virtual (VM) no projeto do conector do serviço de transferência de dados do BigQuery.

  2. No terminal, faça o download do proxy do Cloud SQL:

    wget https://dl.google.com/cloudsql/cloud_sql_proxy.linux.amd64 -O cloud_sql_proxy

  3. Atualize as permissões dos arquivos baixados:

    chmod +x cloud_sql_proxy

  4. Execute o proxy do Cloud SQL:

    ./cloud_sql_proxy -instances=NAME=tcp:3306 or 5432 &

    Substitua NAME pelo nome da conexão da instância do Cloud SQL.

Conectar-se ao endereço IP interno do Cloud SQL

  1. Use o endereço IP interno da instância do Cloud SQL para conexões.
  2. Configure o aplicativo ou a ferramenta para se conectar ao endereço IP interno, especificando as credenciais e os detalhes do banco de dados apropriados.

Ao se conectar de um projeto do Google Cloud diferente, use o endereço IP interno da VM de proxy que você implantou anteriormente. Essa solução resolve problemas de peering transitivo.

Criar o anexo de rede

Para criar o anexo de rede no projeto do conector do serviço de transferência de dados do BigQuery, siga estas etapas:

  1. No console do Google Cloud , acesse a página Anexos de rede.

    Acessar "Anexos de rede"

  2. Clique em Criar anexo de rede.

  3. Dê um nome para o anexo de rede.

  4. Selecione a rede VPC apropriada.

  5. Em Região, especifique a região em que o conector do serviço de transferência de dados do BigQuery está localizado.

  6. Em Sub-rede, selecione a opção adequada que corresponde à sua configuração.

  7. Clique em Criar anexo de rede.

Testar a conexão

  1. Verifique se a VM com o proxy do Cloud SQL pode se conectar à instância do Cloud SQL:

    mysql -u USERNAME -p -h IP_ADDRESS

    Substitua:

    • USERNAME: o nome de usuário do banco de dados.
    • IP_ADDRESS: o endereço IP da instância do Cloud SQL.

  2. Verifique se os aplicativos no projeto do conector do serviço de transferência de dados do BigQuery podem se conectar à instância do Cloud SQL usando o IP interno.

Resolver problemas

Se você tiver problemas para definir a configuração de rede, faça o seguinte:

  • Verifique se o peering de VPC foi estabelecido e se as rotas estão configuradas corretamente.
  • Verifique se as regras de firewall permitem o tráfego nas portas necessárias.
  • Verifique se há erros nos registros do proxy do Cloud SQL e se ele está funcionando corretamente.
  • Verifique se o anexo de rede está configurado e conectado corretamente.