Resolver problemas de acesso aos dados entre nuvens

Neste documento, mostramos como resolver problemas comuns ao usar o recurso de acesso a dados entre nuvens do Lakehouse sem fronteiras.

Os dados e recursos estão desatualizados ou não estão sendo atualizados

Os catálogos federados do Lakehouse sincronizam metadados de uma nuvem remota com base em um intervalo de atualização. A atualização de metadados em segundo plano de um catálogo pode levar mais tempo quanto mais recursos houver (compartilhamentos, esquemas, namespaces, tabelas). Se a atualização anterior for excedida, a atual será ignorada, mas a próxima será reprogramada no intervalo seguinte.

Se os dados consultados parecerem desatualizados, a atualização de metadados em segundo plano do catálogo pode estar ultrapassando o limite ou falhando. Os recursos de nuvem remota também estão sujeitos ao mesmo comportamento. Se você excluir um recurso na nuvem remota, ele só será excluído do Lakehouse na próxima atualização de metadados em segundo plano bem-sucedida.

Verifique o status da atualização de metadados em segundo plano em um catálogo federado na página do console do Lakehouse Google Cloud ou executando a CLI gcloud:

Acessar o Lakehouse

gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

gcloud biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

Problemas de conectividade ou roteamento

Se você tiver problemas de conectividade ou roteamento ao usar uma interconexão privada, verifique o seguinte:

  • Verifique a propagação de rotas:verifique o Cloud Router em Google Cloud para confirmar se ele aprendeu os prefixos da VPC da AWS. Verifique as tabelas de rota da AWS para confirmar se elas têm rotas de volta para a VPC do Google Cloud .
  • Verifique a integridade do ILB:no console do Google Cloud , acesse Serviços de rede > Balanceamento de carga. Verifique se os back-ends (NEGs) do serviço de back-end do ILB estão íntegros. Se não estiverem, verifique a conectividade de rede e as regras do grupo de segurança da AWS.
  • Teste a conectividade de Google Cloud:inicie uma instância de VM de teste na mesma VPC e sub-redeGoogle Cloud que o endpoint do ILB ou do Diretório de Serviços e tente se conectar aos endereços IP da ENI da AWS na porta 443 (por exemplo, usando curl ou telnet).
  • Resolução do Diretório de Serviços:verifique se a conta de serviço do catálogo tem permissões para resolver endpoints do Diretório de Serviços (roles/servicedirectory.viewer, roles/servicedirectory.pscAuthorizedService).
  • Grupos de segurança e regras de firewall:verifique se as regras de firewall do Google Cloud e os grupos de segurança da AWS permitem o tráfego na porta TCP 443 entre os intervalos de IP relevantes.