נקודות קצה אזוריות של Lakehouse

במאמר הזה מוסבר איך משתמשים בנקודות קצה אזוריות של Private Service Connect כדי לגשת למשאבים בקטלוג הייעודי לזמן ריצה של Lakehouse. נקודות קצה אזוריות מאפשרות להריץ את עומסי העבודה באופן שתואם לדרישות של מיקום אחסון הנתונים וריבונות הנתונים, שבהן תנועת הבקשות מנותבת ישירות לאזור שצוין בנקודת הקצה.

סקירה כללית

נקודות קצה אזוריות מגבילות את הבקשות כך שהן ימשיכו רק אם המשאב המושפע בקטלוג נמצא במיקום שצוין בנקודת הקצה. לדוגמה, אם משתמשים בנקודת הקצה https://biglake.us-central1.rep.googleapis.com כדי לגשת לקטלוג, למרחב שמות או לטבלה, הבקשה תתבצע רק אם הקטלוג נמצא ב-us-central1.

בניגוד לנקודות קצה גלובליות, שבהן הבקשות יכולות להיות מנותבות דרך מיקום שונה מזה שבו נמצא המשאב, נקודות קצה אזוריות מגבילות את הבקשות למיקום שצוין בנקודת הקצה שבה נמצא המשאב. נקודות קצה אזוריות מסיימות סשנים של Transport Layer Security ‏ (TLS) במיקום שצוין על ידי נקודת הקצה לבקשות שהתקבלו מהאינטרנט, ממשאבים אחרים של Google Cloud כמו מכונות וירטואליות של Compute Engine, משירותים מקומיים שמשתמשים ב-Cloud VPN או ב-Cloud Interconnect ומעננים וירטואליים פרטיים (VPC).

נקודות קצה אזוריות עוזרות להבטיח את מיקום אחסון הנתונים, כי הן שומרות את הבקשות לקטלוג שנמצאות במעבר בתוך המיקום שצוין בנקודת הקצה. למידע נוסף על הטיפול במטא-נתונים של שירותים, קראו את ההערה על נתוני לקוחות ונתוני שירות.

אפשר להשתמש בנקודות הקצה הבאות בקטלוג הייעודי לזמן ריצה של Lakehouse עם נקודות קצה אזוריות:

נקודת הקצה של הקטלוג כתובת ה-URL של נקודת הקצה האזורית חומרי עזר
נקודת קצה של קטלוג REST של Apache Iceberg https://biglake.LOCATION.rep.googleapis.com/iceberg/v1/restcatalog REST
נקודת קצה של קטלוג Apache Hive https://biglake.LOCATION.rep.googleapis.com/hive/v1 REST

מיקומים נתמכים

אפשר להשתמש בנקודות קצה אזוריות עם קטלוג ייעודי לזמן ריצה של Lakehouse במיקומים הבאים:

  • אסיה-פסיפיק

    • דלהי asia-south2
    • מומבאי asia-south1
  • אירופה

    • בלגיה europe-west1
    • ברלין europe-west10
    • פרנקפורט europe-west3
    • לונדון europe-west2
    • מילאנו europe-west8
    • הולנד europe-west4
    • פריז europe-west9
    • ציריך europe-west6
  • המזרח התיכון

    • דמאם me-central2
  • אמריקה

    • קולומבוס, אוהיו us-east5
    • דאלאס us-south1
    • איווה us-central1
    • לאס וגאס us-west4
    • לוס אנג'לס us-west2
    • מונטריאול northamerica-northeast1
    • צפון וירג'יניה us-east4
    • אורגון us-west1
    • סולט לייק סיטי us-west3
    • קרוליינה הדרומית us-east1
    • טורונטו northamerica-northeast2

פעולות ומיקומי אחסון נתמכים

אפשר להשתמש בנקודות קצה אזוריות רק כדי לבצע פעולות שמאפשרות גישה למשאבי קטלוג שמשוכפלים במיקום שצוין בנקודת הקצה, או כדי לשנות אותם:

  • בידוד קטלוגים אזוריים: הצגת קטלוגים באמצעות https://biglake.LOCATION.rep.googleapis.com מחזירה רק קטלוגים שנמצאים ב-LOCATION. בקשות לקבל, לעדכן או למחוק קטלוג, מרחב שמות או טבלה שנמצאים מחוץ ל-LOCATION מחזירות שגיאה מסוג 404 NOT_FOUND.
  • מיקום האחסון שמוגדר כברירת מחדל: כשיוצרים קטלוג באמצעות נקודת קצה אזורית, הקטגוריה של Cloud Storage שצוינה ב-default_location לקטלוג עם כמה קטגוריות (CATALOG_TYPE_BIGLAKE) או הקטגוריה שמשויכת לקטלוג עם קטגוריה אחת (CATALOG_TYPE_GCS_BUCKET) צריכה להיות ב-LOCATION.
  • מיקומים מוגבלים של קטלוגים עם כמה קטגוריות: בקטלוגים עם כמה קטגוריות, אתם יכולים להגדיר קטגוריות נוספות של Cloud Storage ב-restricted_locations, כל עוד הקטגוריות האלה נמצאות באותה סמכות שיפוט גיאוגרפית (כמו ארה"ב או אירופה) כמו LOCATION. מידע נוסף זמין במאמר קטלוג עם כמה קטגוריות.

מגבלות והגבלות

אי אפשר להשתמש בנקודות קצה אזוריות כדי לבצע את הפעולות הבאות:

  • פעולות שקוראות או משנות קטלוגים, מרחבי שמות או טבלאות שנמצאים מחוץ לאזור שצוין על ידי נקודת הקצה.
  • ניתוב נקודות קצה במספר אזורים (כמו US או EU). בנקודות קצה אזוריות צריך לציין אזור אחד.

כשמשתמשים בנקודות קצה אזוריות, חשוב לזכור את ההגבלות הבאות:

הגדרת כלים ומנועי שאילתות

אתם יכולים להגדיר את Google Cloud CLI, את Apache Spark, את Trino ואת בקשות ה-API הישירות בארכיטקטורת REST כך שישתמשו בנקודות קצה אזוריות.

‫CLI של gcloud

כדי להגדיר את ה-CLI של gcloud כך שישתמש בנקודות קצה אזוריות עם פקודות gcloud biglake, מגדירים את המאפיין api_endpoint_overrides/biglake לנקודת הקצה האזורית שבה רוצים להשתמש:

gcloud config set api_endpoint_overrides/biglake https://biglake.LOCATION.rep.googleapis.com/

לחלופין, אתם יכולים להגדיר את משתנה הסביבה CLOUDSDK_API_ENDPOINT_OVERRIDES_BIGLAKE לפקודות ספציפיות:

CLOUDSDK_API_ENDPOINT_OVERRIDES_BIGLAKE=https://biglake.LOCATION.rep.googleapis.com/ \
    gcloud biglake iceberg catalogs list --project=PROJECT_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫LOCATION: האזור הנתמך של הקטלוג (לדוגמה, us-central1).
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .

Apache Spark

כשמגדירים סשן של Spark כדי להתחבר לנקודת הקצה של קטלוג REST של Apache Iceberg, מגדירים את המאפיין spark.sql.catalog.CATALOG_NAME.uri לכתובת ה-URL של נקודת הקצה האזורית:

from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
    .config('spark.sql.defaultCatalog', 'CATALOG_NAME') \
    .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \
    .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \
    .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.LOCATION.rep.googleapis.com/iceberg/v1/restcatalog') \
    .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'bl://projects/PROJECT_ID/catalogs/CATALOG_ID') \
    .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \
    .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \
    .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \
    .config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation', 'vended-credentials') \
    .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
    .getOrCreate()

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CATALOG_NAME: שם לקטלוג Spark המקומי (לדוגמה, my_catalog).
  • ‫APP_NAME: שם לסשן של Spark.
  • ‫LOCATION: האזור הנתמך שבו נמצא הקטלוג (לדוגמה, us-central1).
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫CATALOG_ID: המזהה של הקטלוג עם כמה קטגוריות.

אפשרויות הגדרה נוספות מפורטות במאמר הגדרת נקודת הקצה של קטלוג REST של Apache Iceberg.

Trino

כשיוצרים אשכול Managed Service for Apache Spark עם רכיב Trino, מגדירים את trino-catalog:CATALOG_NAME.iceberg.rest-catalog.uri לכתובת ה-URL של נקודת הקצה האזורית:

gcloud dataproc clusters create CLUSTER_NAME \
    --enable-component-gateway \
    --region=LOCATION \
    --image-version=DATAPROC_VERSION \
    --network=NETWORK_ID \
    --optional-components=TRINO \
    --properties="\
    trino-catalog:CATALOG_NAME.connector.name=iceberg,\
    trino-catalog:CATALOG_NAME.iceberg.catalog.type=rest,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.uri=https://biglake.LOCATION.rep.googleapis.com/iceberg/v1/restcatalog,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.warehouse=bl://projects/PROJECT_ID/catalogs/CATALOG_ID,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.biglake.project-id=PROJECT_ID,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: שם לאשכול.
  • ‫LOCATION: האזור הנתמך של האשכול והקטלוג.
  • ‫DATAPROC_VERSION: גרסת האימג' של Managed Service for Apache Spark (לדוגמה, 2.2).
  • ‫NETWORK_ID: מזהה הרשת של האשכול.
  • ‫CATALOG_NAME: השם של קטלוג Trino.
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫CATALOG_ID: המזהה של הקטלוג עם כמה קטגוריות.

ממשקי API בארכיטקטורת REST

במקום לשלוח בקשת REST לנקודת הקצה הגלובלית (https://biglake.googleapis.com), שולחים את הבקשה לנקודת הקצה האזורית בפורמט הבא: https://biglake.LOCATION.rep.googleapis.com.

לדוגמה, כדי להציג רשימה של קטלוגים ב-LOCATION באמצעות ה-API של תוספי נקודות הקצה של קטלוג REST של Apache Iceberg:

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "x-goog-user-project: PROJECT_ID" \
    "https://biglake.LOCATION.rep.googleapis.com/iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs"

הגבלת השימוש בנקודת קצה גלובלית ל-API

כדי לאכוף את השימוש בנקודות קצה אזוריות, אפשר להשתמש באילוץ של מדיניות הארגון constraints/gcp.restrictEndpointUsage כדי לחסום בקשות לנקודת קצה ל-API הגלובלית (biglake.googleapis.com). מידע נוסף זמין במאמר הגבלת השימוש בנקודות קצה.

בקובץ ה-YAML הבא לדוגמה של מדיניות הארגון, נדחות בקשות לנקודת הקצה הגלובלית של biglake.googleapis.com, ומאושרות בקשות לנקודות קצה אזוריות:

name: projects/PROJECT_ID/policies/gcp.restrictEndpointUsage
spec:
  rules:
  - values:
      deniedValues:
      - under:services/biglake.googleapis.com

המאמרים הבאים