כשאתם ניגשים לנתונים חוצי-עננים באמצעות Lakehouse, אתם יכולים לאבחן ולפתור בעיות ברענון המטא-נתונים ברקע, בניתוב דרך Cross-Cloud Interconnect וברזולוציית נקודות הקצה של Service Directory. פתרון הבעיות האלה עוזר לשמור על עדכניות המטא-נתונים של הטבלה המאוגדת, ומאפשר להריץ שאילתות פרטיות חוצות-עננים.
הנתונים והמשאבים לא עדכניים או לא מתעדכנים
קטלוגים מאוחדים של Lakehouse מסנכרנים מטא-נתונים מענן מרוחק על סמך מרווח רענון. רענון המטא-נתונים ברקע של קטלוג מאוחד יכול להימשך זמן רב יותר כשהקטלוג המאוחד מכיל משאבים רבים (שיתופים, סכימות, מרחבי שמות וטבלאות). אם הרענון הקודם חורג מהזמן, הרענון הנוכחי לא יתבצע והרענון הבא יתבצע במרווח הזמן הבא שתוזמן.
אם הנתונים ששלפתם נראים מיושנים, יכול להיות שרענון המטא-נתונים ברקע של הקטלוג המאוחד נכשל או חורג מהזמן המוקצב. אם מוחקים משאב בענן המרוחק, הוא יוסר מ-Lakehouse בפעם הבאה שיושלם רענון המטא-נתונים ברקע.
כדי לבדוק את סטטוס הרענון של המטא-נתונים ברקע בקטלוג מאוחד, נכנסים לדף Lakehouse במסוף Google Cloud או משתמשים ב-Google Cloud CLI:
gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \ --project="PROJECT_ID" gcloud biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \ --project="PROJECT_ID"
פתרון בעיות ב-AWS Glue Data Catalog
אם רענון המטא-נתונים ברקע נכשל אחרי שהגדרתם את --metadata-service-directory-name בקטלוג מאוחד של AWS Glue בקטלוג הייעודי לזמן ריצה של Lakehouse, בדקו את הדברים הבאים:
- אימות המיפוי של נקודת הקצה של הקטלוג הפרטי: מוודאים שקבוצת נקודות הקצה ברשת (NEG) של הקישוריות ההיברידית או נקודת הקצה של Service Directory לרענון המטא-נתונים ברקע מפנות לכתובת ה-IP הפרטית של נקודת הקצה של AWS Glue Interface VPC (
com.amazonaws.AWS_REGION.glue) ביציאת TCP443, ולא לנקודת הקצה של Amazon S3 Interface VPC. - אימות מדיניות האמון וההרשאות של תפקיד IAM: מוודאים שמדיניות האמון של תפקיד IAM ב-Amazon Web Services (AWS) מאפשרת לGoogle Cloud חשבון השירות (
biglake-service-account) של הקטלוג המאוחד לקבל את התפקיד (sts:AssumeRoleWithWebIdentity), ושלתפקיד יש הרשאות לקרוא את המטא-נתונים של מסד הנתונים והטבלה ב-AWS Glue (glue:GetDatabase,glue:GetDatabases,glue:GetTable,glue:GetTables). - בודקים את הכללים של קבוצת האבטחה של נקודת הקצה של ה-VPC: מוודאים שקבוצת האבטחה של AWS שמצורפת לנקודת הקצה של ה-VPC של ממשק AWS Glue מאפשרת תנועה נכנסת של HTTPS ביציאת TCP
443מטווחי ה-CIDR של רשת המשנה שלGoogle Cloud הענן הווירטואלי הפרטי (VPC) ושל רשת המשנה של שרת ה-proxy בלבד.
פתרון בעיות ב-Databricks Unity Catalog
הטבלאות ריקות או לא נמצאו במהלך רענון המטא-נתונים ברקע
אם רענון המטא-נתונים ברקע של הקטלוג המאוחד מציין שהפעולה הושלמה (למשל Refresh successfully completed), אבל הטבלאות בקטלוג המאוחד לא מופיעות או שהצגת הטבלאות מחזירה 0 פריטים, בדקו את הדברים הבאים:
- הרשאת
EXTERNAL USE SCHEMA: מוודאים שחשבון השירות של Databricks קיבל את הרשאתEXTERNAL USE SCHEMAבסכימות או בקטלוג היעד ב-Databricks Unity Catalog. בלי ההרשאה הזו, רענון המטא-נתונים ברקע והנפקת פרטי הכניסה לשאילתות ייכשלו. - הגדרת הגישה לנתונים חיצוניים: מוודאים שהאפשרות External data access מופעלת במאגר המטא-נתונים של Databricks Unity Catalog.
- מיקום חיצוני: מוודאים ש-Databricks Unity Catalog והטבלאות משתמשים במיקום אחסון חיצוני (כמו Amazon S3, Microsoft Azure Data Lake Storage Gen2 או Cloud Storage) ולא באחסון שמוגדר כברירת מחדל.
רענון המטא-נתונים ברקע נכשל ב-Cross-Cloud Interconnect
אם רענון המטא-נתונים ברקע נכשל כש---metadata-service-directory-name מוגדר ל-Databricks Unity Catalog בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך לוודא את הדברים הבאים:
- יעד נקודת הקצה הפרטית של Workspace: מוודאים שנקודת הקצה של ספריית השירותים של המטא-נתונים או הקצה העורפי של מאזן עומסי הרשת של שרת ה-proxy הפנימי האזורי מטרגטים את כתובת ה-IP הפרטית של נקודת הקצה של ממשק AWS PrivateLink או נקודת הקצה הפרטית של Azure בסביבת העבודה של Databricks, ביציאת TCP
443, ולא את נקודת הקצה של האחסון המרוחק, ושהערך של--unity-instance-nameתואם לשם המארח של סביבת העבודה. - הגדרות גישה פרטית של סביבת העבודה: אם סביבת העבודה של Databricks אוכפת הגדרות גישה פרטית או רשימות גישה של כתובות IP, ודאו שהבקשות שמגיעות דרך נקודת הקצה הפרטית מרשת ה-VPC של Google Cloudמורשות.
רענון המטא-נתונים ברקע נכשל או מחזיר את השגיאה 401 Unauthorized (לא מורשה)
אם סטטוס הרענון של המטא-נתונים ברקע מדווח על שגיאה (כמו 401 Unauthorized) או לא מצליח לזהות סכימות, צריך לבדוק את הדברים הבאים:
- מדיניות האיחוד של Service Principal: במסוף החשבון ב-Databricks (הגדרות החשבון > אבטחה > הגדרת ספק זהויות > מדיניות איחוד), מוודאים שמדיניות האיחוד של Service Principal מוגדרת באופן הבא:
- כתובת ה-URL של המנפיק:
https://accounts.google.com- Subject: המזהה הייחודי המספרי של חשבון השירות
biglake-service-accountשל הקטלוג המאוחד (לא כתובת האימייל שלו).
- Subject: המזהה הייחודי המספרי של חשבון השירות
- קהל:
https://accounts.cloud.databricks.com
- כתובת ה-URL של המנפיק:
- הרשאות ב-Secret Manager: אם אתם משתמשים באימות שמבוסס על סודות, ודאו שהסוד קיים במיקום האזורי שצוין, ושל-
biglake-service-accountהוקצה התפקיד "גישה לסודות ב-Secret Manager" (roles/secretmanager.secretAccessor). - הרשאות של חשבון השירות: ודאו שלחשבון השירות של Databricks יש גישת קריאה לסביבת העבודה של היעד ול-Databricks Unity Catalog.
שאילתה אינטראקטיבית נכשלת עם השגיאה 401 Unauthorized או שגיאת אימות אסימון
כשהאפשרות "איחוד שירותי אימות הזהות של המשתמשים" מופעלת, שאילתות אינטראקטיביות יוצרות באופן דינמי אסימון זהות של משתמש קצה ומאמתות אותו מול מדיניות איחוד ברמת החשבון ב-Databricks. אם השאילתות נכשלות עם שגיאות 401 Unauthorized או שגיאות אימות של טוקנים, אבל רענון המטא-נתונים ברקע תקין, צריך לבדוק את הדברים הבאים:
- מדיניות איחוד ברמת החשבון: ודאו שנוצרה מדיניות איחוד ברמת החשבון (שונה מהמדיניות של מנהל השירות) במסוף החשבון של Databricks, בקטע Account settings > Security > Identity provider setup > Federation policies.
- התאמת קהל תלוית אותיות רישיות: Databricks מאמת את הטענה
aud(קהל) באופן קפדני ותלוי אותיות רישיות. מוודאים שהשדה Audiences במדיניות האיחוד ברמת החשבון ב-Databricks תואם בדיוק לאותיות הרישיות של ההצהרהaudience(databricks-METASTORE_ID) ברמת המטא-סטור שאוחזרה מהקטלוג המאוחד. כל אי התאמה בין אותיות רישיות לאותיות קטנות (לדוגמה, בתחיליתdatabricks-או במזהה ה-UUID של המטא-סטור) גורמת לאימות האסימון של Databricks לדחות את השאילתה עם השגיאה401 Unauthorized. - Issuer URL: מוודאים שכתובת ה-URL של המנפיק (Issuer URL) תואמת בדיוק ל-claim של
issuer-urlמהקטלוג המאוחד:https://www.gstatic.com/biglake/federation/organizations/ORGANIZATION_ID. - זמינות הקהל של Metastore: הטענה
audienceברמת Metastore מאוכלסת רק אחרי שמסתיים מחזור הרענון הראשון של המטא-נתונים ברקע (בדרך כלל תוך 5 דקות). אם מגדירים את המדיניות עם ערך זמני לשמירת מקום (פלייסהולדר) או לפני שמחזור הרענון הראשון מסתיים, השאילתות נכשלות. מריצים אתgcloud biglake iceberg catalogs describeכדי לוודא שהטענה (claim) שלaudienceבקטלוג המאוחד אוכלסה לפני שמגדירים את המדיניות.
פתרון בעיות ב-Snowflake Horizon Catalog
רענון המטא-נתונים ברקע נכשל עם קוד 16 (לא מאומת)
אם רענון המטא-נתונים ברקע של Snowflake Horizon Catalog נכשל עם הסטטוס Code 16 (UNAUTHENTICATED), צריך לוודא את הדברים הבאים:
- פורמט המטען הייעודי של הסוד: ודאו שהטוקן הסודי ב-Secret Manager מכיל את מבנה ה-JSON הנדרש (
{"client_secret": "SNOWFLAKE_PAT_TOKEN", "scope": "session:role:SNOWFLAKE_ROLE"}) ולא את המחרוזת הגולמית של טוקן הגישה הפרוגרמטית (PAT). - תפוגת תוקף והרשאות של טוקנים: מוודאים שה-PAT של Snowflake תקין, ושלמשתמש ולתפקיד המשויכים יש הרשאות לקרוא את הקטלוג ומסדי הנתונים של היעד.
- מזהה חשבון PrivateLink או Private Link: אם הגדרתם את
--metadata-service-directory-nameלסנכרון מטא-נתונים דרך Cross-Cloud Interconnect באמצעות AWS PrivateLink או Azure Private Link, ודאו שב---snowflake-account-identifierציינתם את מזהה החשבון שלכם ב-Snowflake.privatelink(לדוגמה,myorg-myaccount.privatelink) ולא את מזהה החשבון הציבורי שלכם. - מדיניות רשת: אם רענון המטא-נתונים ברקע מתחבר דרך האינטרנט הציבורי ומדיניות הרשת של Snowflake פעילה, צריך לוודא שטווח כתובות ה-IP של Google לתעבורת נתונים יוצאת מ-
goog.jsonנכלל ברשימת כתובות ה-IP המותרות של מדיניות הרשת.
רענון המטא-נתונים ברקע נכשל ב-Cross-Cloud Interconnect
אם רענון המטא-נתונים ברקע נכשל כש---metadata-service-directory-name מוגדר ל-Snowflake Horizon Catalog בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך לוודא את הדברים הבאים:
- יעד נקודת הקצה הפרטית של Snowflake: מוודאים שנקודת הקצה של ספריית השירות של המטא-נתונים או הקצה העורפי של מאזן העומסים ברשת של שרת ה-proxy הפנימי האזורי מפנים לכתובת ה-IP הפרטית של נקודת הקצה של ממשק AWS PrivateLink או נקודת הקצה הפרטית של Azure ב-Snowflake, ביציאת TCP
443, ולא לנקודת הקצה של מאגר האובייקטים המרוחק. - מזהה חשבון פרטי: מוודאים ש-
--snowflake-account-identifierמשתמש במזהה החשבון שלכם ב-.privatelink(לדוגמה,myorg-myaccount.privatelink).
בעיות בקישוריות או בניתוב
אם נתקלתם בכשלים בהעברת שאילתות או ברענון מטא-נתונים ברקע בזמן ניתוב התנועה דרך Cross-Cloud Interconnect, ודאו את הדברים הבאים:
- אימות הפצת הנתיבים: בודקים את Cloud Router ב-Google Cloud כדי לוודא שהוא למד את הקידומות של AWS VPC או של Azure Virtual Network (VNet). בודקים את טבלאות הניתוב ב-AWS או ב-Azure כדי לוודא שיש בהן נתיבים חזרה לרשת ה-VPC ב- Google Cloud. אם אתם משתמשים במאזן עומסי רשת פנימי אזורי עם שרת proxy, ודאו ש-Cloud Router מפרסם את טווח ה-CIDR של רשת המשנה של שרת ה-proxy בלבד באמצעות פרסומי ניתוב (route advertisements) של BGP בהתאמה אישית.
- בדיקת התקינות של מאזן העומסים הפנימי: במסוף Google Cloud , נכנסים לדף Network Services > Load balancing ומוודאים שהקצוות העורפיים של קבוצת נקודות הקצה ברשת (NEG) לקישוריות היברידית תקינים בשירותי הקצה העורפי של התעבורה והמטא-נתונים. אם אחד מה-backends לא תקין, בודקים את הקישוריות של Cross-Cloud Interconnect ואת כללי האבטחה מרחוק.
- בדיקת הקישוריות מ- Google Cloud: יוצרים מכונה וירטואלית לבדיקה באותה רשת VPC ובאותה רשת משנה של Google Cloud כמו מאזן העומסים הפנימי או נקודת הקצה של Service Directory, ובודקים את הקישוריות לכתובות ה-IP של ממשק הרשת האלסטית (ENI) של AWS או של ממשק הרשת (NIC) של נקודת הקצה הפרטית של Azure ביציאת TCP
443(לדוגמה, באמצעותcurlאוnc). - אימות ההגדרות וההרשאות של ספריית השירותים: מוודאים שהשירותים של ספריית השירותים שהוגדרו ב-
--service-directory-name(להעברת שאילתות) וב---metadata-service-directory-name(לרענון המטא-נתונים ברקע) נמצאים באותו אזור של Google Cloud כמו הקטלוג המאוחד. אם רענון המטא-נתונים ברקע של קטלוג מאוחד נכשל עם השגיאהPermission 'servicedirectory.services.resolve' denied, ודאו שלמזהה הייחודי של חשבון השירות של הקטלוג המאוחד (השדהbiglake-service-account) יש את התפקידיםroles/servicedirectory.viewerו-roles/servicedirectory.pscAuthorizedServiceבכל פרויקט שמארח שירות של Service Directory. - בודקים את קבוצות האבטחה ואת כללי חומת האש: מוודאים ש
Google Cloud כללי חומת האש, קבוצות האבטחה של AWS ו
קבוצות האבטחה של הרשת (NSG) ב-Azure מאפשרים תעבורת נתונים של TCP
ביציאה
443בין טווחי ה-CIDR של ה-VPC ב- Google Cloud (כולל כל טווח CIDR של תת-רשת של שרת proxy בלבד) לבין נקודות הקצה הפרטיות המרוחקות.