פתרון בעיות בגישה לנתונים בין עננים שונים

כשאתם ניגשים לנתונים חוצי-עננים באמצעות Lakehouse, אתם יכולים לאבחן ולפתור בעיות ברענון המטא-נתונים ברקע, בניתוב דרך Cross-Cloud Interconnect וברזולוציית נקודות הקצה של Service Directory. פתרון הבעיות האלה עוזר לשמור על עדכניות המטא-נתונים של הטבלה המאוגדת, ומאפשר להריץ שאילתות פרטיות חוצות-עננים.

הנתונים והמשאבים לא עדכניים או לא מתעדכנים

קטלוגים מאוחדים של Lakehouse מסנכרנים מטא-נתונים מענן מרוחק על סמך מרווח רענון. רענון המטא-נתונים ברקע של קטלוג מאוחד יכול להימשך זמן רב יותר כשהקטלוג המאוחד מכיל משאבים רבים (שיתופים, סכימות, מרחבי שמות וטבלאות). אם הרענון הקודם חורג מהזמן, הרענון הנוכחי לא יתבצע והרענון הבא יתבצע במרווח הזמן הבא שתוזמן.

אם הנתונים ששלפתם נראים מיושנים, יכול להיות שרענון המטא-נתונים ברקע של הקטלוג המאוחד נכשל או חורג מהזמן המוקצב. אם מוחקים משאב בענן המרוחק, הוא יוסר מ-Lakehouse בפעם הבאה שיושלם רענון המטא-נתונים ברקע.

כדי לבדוק את סטטוס הרענון של המטא-נתונים ברקע בקטלוג מאוחד, נכנסים לדף Lakehouse במסוף Google Cloud או משתמשים ב-Google Cloud CLI:

מעבר אל Lakehouse

gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

gcloud biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

פתרון בעיות ב-AWS Glue Data Catalog

אם רענון המטא-נתונים ברקע נכשל אחרי שהגדרתם את --metadata-service-directory-name בקטלוג מאוחד של AWS Glue בקטלוג הייעודי לזמן ריצה של Lakehouse, בדקו את הדברים הבאים:

  • אימות המיפוי של נקודת הקצה של הקטלוג הפרטי: מוודאים שקבוצת נקודות הקצה ברשת (NEG) של הקישוריות ההיברידית או נקודת הקצה של Service Directory לרענון המטא-נתונים ברקע מפנות לכתובת ה-IP הפרטית של נקודת הקצה של AWS Glue Interface VPC‏ (com.amazonaws.AWS_REGION.glue) ביציאת TCP‏ 443, ולא לנקודת הקצה של Amazon S3 Interface VPC.
  • אימות מדיניות האמון וההרשאות של תפקיד IAM: מוודאים שמדיניות האמון של תפקיד IAM ב-Amazon Web Services (AWS) מאפשרת לGoogle Cloud חשבון השירות (biglake-service-account) של הקטלוג המאוחד לקבל את התפקיד (sts:AssumeRoleWithWebIdentity), ושלתפקיד יש הרשאות לקרוא את המטא-נתונים של מסד הנתונים והטבלה ב-AWS Glue (glue:GetDatabase, glue:GetDatabases, glue:GetTable, glue:GetTables).
  • בודקים את הכללים של קבוצת האבטחה של נקודת הקצה של ה-VPC: מוודאים שקבוצת האבטחה של AWS שמצורפת לנקודת הקצה של ה-VPC של ממשק AWS Glue מאפשרת תנועה נכנסת של HTTPS ביציאת TCP‏ 443 מטווחי ה-CIDR של רשת המשנה שלGoogle Cloud הענן הווירטואלי הפרטי (VPC) ושל רשת המשנה של שרת ה-proxy בלבד.

פתרון בעיות ב-Databricks Unity Catalog

הטבלאות ריקות או לא נמצאו במהלך רענון המטא-נתונים ברקע

אם רענון המטא-נתונים ברקע של הקטלוג המאוחד מציין שהפעולה הושלמה (למשל Refresh successfully completed), אבל הטבלאות בקטלוג המאוחד לא מופיעות או שהצגת הטבלאות מחזירה 0 פריטים, בדקו את הדברים הבאים:

  • הרשאת EXTERNAL USE SCHEMA: מוודאים שחשבון השירות של Databricks קיבל את הרשאת EXTERNAL USE SCHEMA בסכימות או בקטלוג היעד ב-Databricks Unity Catalog. בלי ההרשאה הזו, רענון המטא-נתונים ברקע והנפקת פרטי הכניסה לשאילתות ייכשלו.
  • הגדרת הגישה לנתונים חיצוניים: מוודאים שהאפשרות External data access מופעלת במאגר המטא-נתונים של Databricks Unity Catalog.
  • מיקום חיצוני: מוודאים ש-Databricks Unity Catalog והטבלאות משתמשים במיקום אחסון חיצוני (כמו Amazon S3,‏ Microsoft Azure Data Lake Storage Gen2 או Cloud Storage) ולא באחסון שמוגדר כברירת מחדל.

רענון המטא-נתונים ברקע נכשל ב-Cross-Cloud Interconnect

אם רענון המטא-נתונים ברקע נכשל כש---metadata-service-directory-name מוגדר ל-Databricks Unity Catalog בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך לוודא את הדברים הבאים:

  • יעד נקודת הקצה הפרטית של Workspace: מוודאים שנקודת הקצה של ספריית השירותים של המטא-נתונים או הקצה העורפי של מאזן עומסי הרשת של שרת ה-proxy הפנימי האזורי מטרגטים את כתובת ה-IP הפרטית של נקודת הקצה של ממשק AWS PrivateLink או נקודת הקצה הפרטית של Azure בסביבת העבודה של Databricks, ביציאת TCP‏ 443, ולא את נקודת הקצה של האחסון המרוחק, ושהערך של --unity-instance-name תואם לשם המארח של סביבת העבודה.
  • הגדרות גישה פרטית של סביבת העבודה: אם סביבת העבודה של Databricks אוכפת הגדרות גישה פרטית או רשימות גישה של כתובות IP, ודאו שהבקשות שמגיעות דרך נקודת הקצה הפרטית מרשת ה-VPC של Google Cloudמורשות.

רענון המטא-נתונים ברקע נכשל או מחזיר את השגיאה 401 Unauthorized (לא מורשה)

אם סטטוס הרענון של המטא-נתונים ברקע מדווח על שגיאה (כמו 401 Unauthorized) או לא מצליח לזהות סכימות, צריך לבדוק את הדברים הבאים:

  • מדיניות האיחוד של Service Principal: במסוף החשבון ב-Databricks (הגדרות החשבון > אבטחה > הגדרת ספק זהויות > מדיניות איחוד), מוודאים שמדיניות האיחוד של Service Principal מוגדרת באופן הבא:
    • כתובת ה-URL של המנפיק: https://accounts.google.com
      • ‫Subject: המזהה הייחודי המספרי של חשבון השירות biglake-service-account של הקטלוג המאוחד (לא כתובת האימייל שלו).
    • קהל: https://accounts.cloud.databricks.com
  • הרשאות ב-Secret Manager: אם אתם משתמשים באימות שמבוסס על סודות, ודאו שהסוד קיים במיקום האזורי שצוין, ושל-biglake-service-account הוקצה התפקיד "גישה לסודות ב-Secret Manager" ‏(roles/secretmanager.secretAccessor).
  • הרשאות של חשבון השירות: ודאו שלחשבון השירות של Databricks יש גישת קריאה לסביבת העבודה של היעד ול-Databricks Unity Catalog.

שאילתה אינטראקטיבית נכשלת עם השגיאה ‎401 Unauthorized או שגיאת אימות אסימון

כשהאפשרות "איחוד שירותי אימות הזהות של המשתמשים" מופעלת, שאילתות אינטראקטיביות יוצרות באופן דינמי אסימון זהות של משתמש קצה ומאמתות אותו מול מדיניות איחוד ברמת החשבון ב-Databricks. אם השאילתות נכשלות עם שגיאות 401 Unauthorized או שגיאות אימות של טוקנים, אבל רענון המטא-נתונים ברקע תקין, צריך לבדוק את הדברים הבאים:

  • מדיניות איחוד ברמת החשבון: ודאו שנוצרה מדיניות איחוד ברמת החשבון (שונה מהמדיניות של מנהל השירות) במסוף החשבון של Databricks, בקטע Account settings > Security > Identity provider setup > Federation policies.
  • התאמת קהל תלוית אותיות רישיות: Databricks מאמת את הטענה aud (קהל) באופן קפדני ותלוי אותיות רישיות. מוודאים שהשדה Audiences במדיניות האיחוד ברמת החשבון ב-Databricks תואם בדיוק לאותיות הרישיות של ההצהרה audience (databricks-METASTORE_ID) ברמת המטא-סטור שאוחזרה מהקטלוג המאוחד. כל אי התאמה בין אותיות רישיות לאותיות קטנות (לדוגמה, בתחילית databricks- או במזהה ה-UUID של המטא-סטור) גורמת לאימות האסימון של Databricks לדחות את השאילתה עם השגיאה 401 Unauthorized.
  • ‫Issuer URL: מוודאים שכתובת ה-URL של המנפיק (Issuer URL) תואמת בדיוק ל-claim של issuer-url מהקטלוג המאוחד: https://www.gstatic.com/biglake/federation/organizations/ORGANIZATION_ID.
  • זמינות הקהל של Metastore: הטענה audience ברמת Metastore מאוכלסת רק אחרי שמסתיים מחזור הרענון הראשון של המטא-נתונים ברקע (בדרך כלל תוך 5 דקות). אם מגדירים את המדיניות עם ערך זמני לשמירת מקום (פלייסהולדר) או לפני שמחזור הרענון הראשון מסתיים, השאילתות נכשלות. מריצים את gcloud biglake iceberg catalogs describe כדי לוודא שהטענה (claim) של audience בקטלוג המאוחד אוכלסה לפני שמגדירים את המדיניות.

פתרון בעיות ב-Snowflake Horizon Catalog

רענון המטא-נתונים ברקע נכשל עם קוד 16 (לא מאומת)

אם רענון המטא-נתונים ברקע של Snowflake Horizon Catalog נכשל עם הסטטוס Code 16 (UNAUTHENTICATED), צריך לוודא את הדברים הבאים:

  • פורמט המטען הייעודי של הסוד: ודאו שהטוקן הסודי ב-Secret Manager מכיל את מבנה ה-JSON הנדרש ({"client_secret": "SNOWFLAKE_PAT_TOKEN", "scope": "session:role:SNOWFLAKE_ROLE"}) ולא את המחרוזת הגולמית של טוקן הגישה הפרוגרמטית (PAT).
  • תפוגת תוקף והרשאות של טוקנים: מוודאים שה-PAT של Snowflake תקין, ושלמשתמש ולתפקיד המשויכים יש הרשאות לקרוא את הקטלוג ומסדי הנתונים של היעד.
  • מזהה חשבון PrivateLink או Private Link: אם הגדרתם את --metadata-service-directory-name לסנכרון מטא-נתונים דרך Cross-Cloud Interconnect באמצעות AWS PrivateLink או Azure Private Link, ודאו שב---snowflake-account-identifier ציינתם את מזהה החשבון שלכם ב-Snowflake .privatelink (לדוגמה, myorg-myaccount.privatelink) ולא את מזהה החשבון הציבורי שלכם.
  • מדיניות רשת: אם רענון המטא-נתונים ברקע מתחבר דרך האינטרנט הציבורי ומדיניות הרשת של Snowflake פעילה, צריך לוודא שטווח כתובות ה-IP של Google לתעבורת נתונים יוצאת מ-goog.json נכלל ברשימת כתובות ה-IP המותרות של מדיניות הרשת.

רענון המטא-נתונים ברקע נכשל ב-Cross-Cloud Interconnect

אם רענון המטא-נתונים ברקע נכשל כש---metadata-service-directory-name מוגדר ל-Snowflake Horizon Catalog בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך לוודא את הדברים הבאים:

  • יעד נקודת הקצה הפרטית של Snowflake: מוודאים שנקודת הקצה של ספריית השירות של המטא-נתונים או הקצה העורפי של מאזן העומסים ברשת של שרת ה-proxy הפנימי האזורי מפנים לכתובת ה-IP הפרטית של נקודת הקצה של ממשק AWS PrivateLink או נקודת הקצה הפרטית של Azure ב-Snowflake, ביציאת TCP‏ 443, ולא לנקודת הקצה של מאגר האובייקטים המרוחק.
  • מזהה חשבון פרטי: מוודאים ש---snowflake-account-identifier משתמש במזהה החשבון שלכם ב-.privatelink (לדוגמה, myorg-myaccount.privatelink).

בעיות בקישוריות או בניתוב

אם נתקלתם בכשלים בהעברת שאילתות או ברענון מטא-נתונים ברקע בזמן ניתוב התנועה דרך Cross-Cloud Interconnect, ודאו את הדברים הבאים:

  • אימות הפצת הנתיבים: בודקים את Cloud Router ב-Google Cloud כדי לוודא שהוא למד את הקידומות של AWS VPC או של Azure Virtual Network (VNet). בודקים את טבלאות הניתוב ב-AWS או ב-Azure כדי לוודא שיש בהן נתיבים חזרה לרשת ה-VPC ב- Google Cloud. אם אתם משתמשים במאזן עומסי רשת פנימי אזורי עם שרת proxy, ודאו ש-Cloud Router מפרסם את טווח ה-CIDR של רשת המשנה של שרת ה-proxy בלבד באמצעות פרסומי ניתוב (route advertisements) של BGP בהתאמה אישית.
  • בדיקת התקינות של מאזן העומסים הפנימי: במסוף Google Cloud , נכנסים לדף Network Services > Load balancing ומוודאים שהקצוות העורפיים של קבוצת נקודות הקצה ברשת (NEG) לקישוריות היברידית תקינים בשירותי הקצה העורפי של התעבורה והמטא-נתונים. אם אחד מה-backends לא תקין, בודקים את הקישוריות של Cross-Cloud Interconnect ואת כללי האבטחה מרחוק.
  • בדיקת הקישוריות מ- Google Cloud: יוצרים מכונה וירטואלית לבדיקה באותה רשת VPC ובאותה רשת משנה של Google Cloud כמו מאזן העומסים הפנימי או נקודת הקצה של Service Directory, ובודקים את הקישוריות לכתובות ה-IP של ממשק הרשת האלסטית (ENI) של AWS או של ממשק הרשת (NIC) של נקודת הקצה הפרטית של Azure ביציאת TCP‏ 443 (לדוגמה, באמצעות curl או nc).
  • אימות ההגדרות וההרשאות של ספריית השירותים: מוודאים שהשירותים של ספריית השירותים שהוגדרו ב---service-directory-name (להעברת שאילתות) וב---metadata-service-directory-name (לרענון המטא-נתונים ברקע) נמצאים באותו אזור של Google Cloud כמו הקטלוג המאוחד. אם רענון המטא-נתונים ברקע של קטלוג מאוחד נכשל עם השגיאה Permission 'servicedirectory.services.resolve' denied, ודאו שלמזהה הייחודי של חשבון השירות של הקטלוג המאוחד (השדה biglake-service-account) יש את התפקידים roles/servicedirectory.viewer ו-roles/servicedirectory.pscAuthorizedService בכל פרויקט שמארח שירות של Service Directory.
  • בודקים את קבוצות האבטחה ואת כללי חומת האש: מוודאים ש Google Cloud כללי חומת האש, קבוצות האבטחה של AWS ו קבוצות האבטחה של הרשת (NSG) ב-Azure מאפשרים תעבורת נתונים של TCP ביציאה 443 בין טווחי ה-CIDR של ה-VPC ב- Google Cloud (כולל כל טווח CIDR של תת-רשת של שרת proxy בלבד) לבין נקודות הקצה הפרטיות המרוחקות.