Lorsque vous accédez à des données cross-cloud avec Lakehouse, vous pouvez diagnostiquer et résoudre les problèmes liés à l'actualisation des métadonnées en arrière-plan, au routage via interconnexion cross-cloud et à la résolution des points de terminaison de l'Annuaire des services. La résolution de ces problèmes permet de maintenir à jour les métadonnées des tables fédérées et de restaurer l'exécution des requêtes cross-cloud privées.
Les données et les ressources sont obsolètes ou ne sont pas mises à jour
Les catalogues fédérés Lakehouse synchronisent les métadonnées d'un cloud distant en fonction d'un intervalle d'actualisation. L'actualisation des métadonnées en arrière-plan d'un catalogue fédéré peut prendre plus de temps lorsque le catalogue fédéré contient de nombreuses ressources (partages, schémas, espaces de noms et tables). Si une actualisation précédente dépasse le délai, l'actualisation actuelle est ignorée et l'actualisation suivante s'exécute à l'intervalle planifié suivant.
Si les données interrogées semblent obsolètes, il est possible que l'actualisation des métadonnées en arrière-plan du catalogue fédéré soit en cours d'exécution ou ait échoué. Si vous supprimez une ressource dans le cloud distant, elle est supprimée de Lakehouse lors de la prochaine actualisation des métadonnées en arrière-plan.
Vérifiez l'état de l'actualisation des métadonnées en arrière-plan sur un catalogue fédéré sur la page Lakehouse de la console Google Cloud ou à l'aide de la Google Cloud CLI :
gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \ --project="PROJECT_ID" gcloud biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \ --project="PROJECT_ID"
Résoudre les problèmes liés à AWS Glue Data Catalog
Si l'actualisation des métadonnées en arrière-plan échoue après la configuration de --metadata-service-directory-name sur un catalogue fédéré AWS Glue dans le catalogue d'environnements d'exécution Lakehouse, vérifiez les points suivants :
- Vérifiez le mappage du point de terminaison du catalogue privé : vérifiez que le groupe de points de terminaison du réseau (NEG) de connectivité hybride ou le point de terminaison Annuaire des services pour l'actualisation des métadonnées en arrière-plan pointe vers l'adresse IP privée de votre point de terminaison d'interface VPC AWS Glue (
com.amazonaws.AWS_REGION.glue) sur le port TCP443, plutôt que vers votre point de terminaison d'interface VPC Amazon S3. - Vérifiez la stratégie de confiance et les autorisations du rôle IAM : vérifiez que la stratégie de confiance du rôle IAM Amazon Web Services (AWS) autorise le compte de serviceGoogle Cloud du catalogue fédéré (
biglake-service-account) à assumer le rôle (sts:AssumeRoleWithWebIdentity), et que le rôle dispose des autorisations nécessaires pour lire les métadonnées de votre base de données et de votre table AWS Glue (glue:GetDatabase,glue:GetDatabases,glue:GetTable,glue:GetTables). - Vérifiez les règles du groupe de sécurité du point de terminaison VPC : vérifiez que le groupe de sécurité AWS associé à votre point de terminaison VPC de l'interface AWS Glue autorise le trafic HTTPS entrant sur le port TCP
443à partir de votre sous-réseau de cloud privé virtuel (VPC)Google Cloud et des plages CIDR du sous-réseau proxy réservé.
Dépannage de Databricks Unity Catalog
Les tables sont vides ou ne sont pas détectées lors de l'actualisation des métadonnées en arrière-plan
Si l'actualisation des métadonnées en arrière-plan du catalogue fédéré indique qu'elle est terminée (par exemple, Refresh successfully completed), mais que les tables du catalogue fédéré n'apparaissent pas ou que la liste des tables renvoie 0 éléments, vérifiez les points suivants :
- Privilège
EXTERNAL USE SCHEMA: vérifiez que le principal de service Databricks dispose du privilègeEXTERNAL USE SCHEMAsur les schémas ou le catalogue cibles dans Databricks Unity Catalog. Sans ce droit, l'actualisation des métadonnées en arrière-plan et la distribution des identifiants pour les requêtes échouent. - Paramètre d'accès aux données externes : vérifiez que l'accès aux données externes est activé sur le metastore Databricks Unity Catalog.
- Emplacement externe : vérifiez que votre catalogue et vos tables Databricks Unity utilisent un emplacement de stockage externe (tel qu'Amazon S3, Microsoft Azure Data Lake Storage Gen2 ou Cloud Storage) plutôt que l'espace de stockage par défaut.
Échec de l'actualisation des métadonnées en arrière-plan sur interconnexion cross-cloud
Si l'actualisation des métadonnées en arrière-plan échoue lorsque --metadata-service-directory-name est configuré pour Databricks Unity Catalog dans le catalogue d'environnements d'exécution Lakehouse, vérifiez les points suivants :
- Cible du point de terminaison privé de l'espace de travail : vérifiez que le point de terminaison de l'Annuaire des services de métadonnées ou le backend de l'équilibreur de charge réseau proxy interne régional cible l'adresse IP privée du point de terminaison de l'interface AWS PrivateLink de votre espace de travail Databricks ou du point de terminaison privé Azure sur le port TCP
443, plutôt que votre point de terminaison de stockage distant, et que--unity-instance-namecorrespond au nom d'hôte de votre espace de travail. - Paramètres d'accès privé à l'espace de travail : si votre espace de travail Databricks applique des paramètres d'accès privé ou des listes d'accès IP, vérifiez que les requêtes arrivant via votre point de terminaison privé depuis votre réseau VPC Google Cloudsont autorisées.
L'actualisation des métadonnées en arrière-plan échoue ou renvoie une erreur 401 "Unauthorized"
Si l'état de l'actualisation des métadonnées en arrière-plan signale une erreur (telle que 401 Unauthorized) ou ne parvient pas à détecter les schémas, vérifiez les points suivants :
- Règle de fédération du principal de service : dans la console de compte Databricks (Paramètres du compte > Sécurité > Configuration du fournisseur d'identité > Règles de fédération), vérifiez que la règle de fédération du principal de service est configurée comme suit :
- URL de l'émetteur :
https://accounts.google.com- Objet : ID numérique unique du compte de service
biglake-service-accountdu catalogue fédéré (et non son adresse e-mail).
- Objet : ID numérique unique du compte de service
- Audience :
https://accounts.cloud.databricks.com
- URL de l'émetteur :
- Autorisations Secret Manager : si vous utilisez l'authentification basée sur un secret, vérifiez que le secret existe dans l'emplacement régional spécifié et que le rôle d'accesseur de secrets Secret Manager (
roles/secretmanager.secretAccessor) est attribué àbiglake-service-account. - Autorisations du principal de service : assurez-vous que le principal de service Databricks dispose d'un accès en lecture à l'espace de travail cible et à Databricks Unity Catalog.
La requête interactive échoue avec une erreur 401 Unauthorized ou une erreur de validation du jeton
Lorsque la fédération d'identité des utilisateurs est activée, les requêtes interactives génèrent de manière dynamique un jeton d'identité d'utilisateur final et le valident par rapport à une règle de fédération à l'échelle du compte dans Databricks. Si les requêtes échouent avec des erreurs de validation de jeton ou 401 Unauthorized alors que l'actualisation des métadonnées en arrière-plan est opérationnelle, vérifiez les points suivants :
- Règle de fédération à l'échelle du compte configurée : assurez-vous qu'une règle de fédération à l'échelle du compte (distincte de la règle du principal de service) est créée dans la console de compte Databricks sous Paramètres du compte > Sécurité > Configuration du fournisseur d'identité > Règles de fédération.
- Correspondance d'audience sensible à la casse : Databricks valide la revendication
aud(audience) en respectant strictement la casse. Vérifiez que le champ Audiences de la règle de fédération à l'échelle du compte Databricks correspond exactement à la casse de la revendicationaudience(databricks-METASTORE_ID) limitée au metastore récupérée à partir de votre catalogue fédéré. Toute différence de casse (par exemple, dans le préfixedatabricks-ou l'UUID du metastore) entraîne le rejet de la requête par la validation du jeton Databricks avec401 Unauthorized. - URL de l'émetteur : vérifiez que l'URL de l'émetteur correspond exactement à la revendication
issuer-urldu catalogue fédéré :https://www.gstatic.com/biglake/federation/organizations/ORGANIZATION_ID. - Disponibilité de l'audience du metastore : la revendication
audiencelimitée au metastore n'est renseignée qu'une fois le premier cycle d'actualisation des métadonnées en arrière-plan terminé (généralement dans un délai de cinq minutes). Si vous configurez la règle avec une valeur d'espace réservé ou avant la fin du premier cycle d'actualisation, les requêtes échouent. Exécutezgcloud biglake iceberg catalogs describepour vérifier que la revendicationaudiencedu catalogue fédéré a été renseignée avant de configurer la règle.
Dépannage du catalogue Snowflake Horizon
Échec de l'actualisation des métadonnées en arrière-plan avec le code 16 (non authentifié)
Si l'actualisation des métadonnées en arrière-plan pour un catalogue Snowflake Horizon échoue avec l'état Code 16 (UNAUTHENTICATED), vérifiez les points suivants :
- Formatage de la charge utile du secret : assurez-vous que le jeton secret dans Secret Manager contient la structure JSON requise (
{"client_secret": "SNOWFLAKE_PAT_TOKEN", "scope": "session:role:SNOWFLAKE_ROLE"}) plutôt que la chaîne de jeton d'accès programmatique (PAT) brute. - Expiration et autorisations du jeton : vérifiez que le PAT Snowflake est valide et que l'utilisateur et le rôle associés disposent des droits nécessaires pour lire le catalogue et les bases de données cibles.
- Identifiant de compte PrivateLink ou Private Link : si vous avez configuré
--metadata-service-directory-namepour synchroniser les métadonnées sur interconnexion cross-cloud à l'aide d'AWS PrivateLink ou d'Azure Private Link, vérifiez que--snowflake-account-identifierspécifie votre identifiant de compte Snowflake.privatelink(par exemple,myorg-myaccount.privatelink) plutôt que votre identifiant de compte public. - Règle de réseau : si l'actualisation des métadonnées en arrière-plan se connecte via l'Internet public et qu'une règle de réseau Snowflake est active, vérifiez que les plages d'adresses IP de sortie de Google de
goog.jsonsont incluses dans la liste d'adresses IP autorisées de votre règle de réseau.
Échec de l'actualisation des métadonnées en arrière-plan sur interconnexion cross-cloud
Si l'actualisation des métadonnées en arrière-plan échoue lorsque --metadata-service-directory-name est configuré pour le catalogue Snowflake Horizon dans le catalogue d'environnements d'exécution Lakehouse, vérifiez les points suivants :
- Cible du point de terminaison privé Snowflake : vérifiez que le point de terminaison de l'Annuaire des services de métadonnées ou le backend de l'équilibreur de charge réseau proxy interne régional pointe vers l'adresse IP privée de votre point de terminaison d'interface AWS PrivateLink Snowflake ou de votre point de terminaison privé Azure sur le port TCP
443, plutôt que vers le point de terminaison de votre store d'objets distant. - Identifiant de compte privé : vérifiez que
--snowflake-account-identifierutilise l'identifiant de votre compte.privatelink(par exemple,myorg-myaccount.privatelink).
Problèmes de connectivité ou de routage
Si vous rencontrez des échecs de transport de requêtes ou d'actualisation des métadonnées en arrière-plan lors du routage du trafic via interconnexion cross-cloud, vérifiez les points suivants :
- Vérifiez la propagation des routes : vérifiez Cloud Router dansGoogle Cloud pour vous assurer qu'il a appris vos préfixes de VPC AWS ou de réseau virtuel Azure (VNet). Vérifiez vos tables de routage AWS ou Azure pour vous assurer qu'elles contiennent des routes vers votre réseau VPC Google Cloud. Si vous utilisez un équilibreur de charge réseau proxy interne régional, vérifiez que Cloud Router annonce la plage CIDR de votre sous-réseau proxy réservé via des annonces de routage BGP personnalisées.
- Vérifiez l'état de l'équilibreur de charge interne : dans la console Google Cloud , accédez à Services réseau > Équilibrage de charge, puis vérifiez que les backends du groupe de points de terminaison du réseau (NEG) de connectivité hybride pour vos services de backend de transport et de métadonnées sont opérationnels. Si un backend n'est pas opérationnel, vérifiez la connectivité interconnexion cross-cloud et les règles de sécurité à distance.
- Tester la connectivité à partir de Google Cloud : créez une instance de VM de test dans le même réseau VPC et le même sous-réseau Google Cloud que l'équilibreur de charge interne ou le point de terminaison de l'Annuaire des services, puis testez la connectivité à vos adresses IP d'interface réseau AWS Elastic (ENI) ou d'interface réseau de point de terminaison privé Azure (NIC) sur le port TCP
443(par exemple, en utilisantcurlounc). - Vérifiez la configuration et les autorisations de l'Annuaire des services : vérifiez que les services de l'Annuaire des services configurés dans
--service-directory-name(pour le transport des requêtes) et--metadata-service-directory-name(pour l'actualisation des métadonnées en arrière-plan) se trouvent dans la même région Google Cloud que votre catalogue fédéré. Si l'actualisation des métadonnées en arrière-plan d'un catalogue fédéré échoue avec une erreurPermission 'servicedirectory.services.resolve' denied, vérifiez que l'ID de compte de service unique du catalogue fédéré (champbiglake-service-account) dispose des rôlesroles/servicedirectory.vieweretroles/servicedirectory.pscAuthorizedServicesur chaque projet qui héberge un service d'annuaire. - Vérifiez les groupes de sécurité et les règles de pare-feu : vérifiez que les règles de pare-feuGoogle Cloud , les groupes de sécurité AWS et les groupes de sécurité réseau (NSG) Azure autorisent le trafic TCP sur le port
443entre vos plages CIDR de VPC Google Cloud (y compris toute plage CIDR de sous-réseau proxy réservé) et vos points de terminaison privés distants.