- משאב: IcebergCatalog
- CredentialMode
- CatalogType
- רפליקה
- מדינה
- RestrictedLocationsConfig
- EncryptionConfig
- FederatedCatalogOptions
- IdentityFederationOrganizationServiceAccount
- UnityCatalogInfo
- GlueCatalogInfo
- SnowflakeCatalogInfo
- WorkdayCatalogInfo
- IdentityMode
- UserIdentityFederationOidcClaims
- UserIdentityFederationOidc
- RefreshOptions
- RefreshSchedule
- RefreshScope
- RefreshStatus
- CrossCloudCacheOptions
- Methods
משאב: IcebergCatalog
פרטי קטלוג ה-REST של Iceberg.
| ייצוג ב-JSON |
|---|
{ "name": string, "credential-mode": enum ( |
| שדות | |
|---|---|
name |
מזהה. שם הקטלוג, |
credential-mode |
זה שינוי אופציונלי. מצב פרטי הכניסה של הקטלוג. |
biglake-service-account |
פלט בלבד. חשבון השירות שמשמש להנפקת פרטי כניסה, פלט בלבד. יכול להיות שהשדה יהיה ריק אם אף פעם לא הופעלה מכירת פרטי כניסה בקטלוג. בקטלוגים מאוחדים, חשבון השירות תמיד יוקצה וישמש לגישה לקטלוג המרוחק לצורך רענון המטא-נתונים ברקע. אם |
biglake-service-account-id |
פלט בלבד. המזהה הייחודי של חשבון השירות. הוא משמש לתרחישים של איחוד. |
catalog-type |
חובה. סוג הקטלוג. נדרש ל-catalogs.create. אי אפשר לשנות את סוג הקטלוג, חוץ מאשר המרה מ-CATALOG_TYPE_GCS_BUCKET ל-CATALOG_TYPE_BIGLAKE. |
default-location |
זה שינוי אופציונלי. מיקום האחסון שמוגדר כברירת מחדל לקטלוג, למשל בקטלוגים של BigLake, צריך לציין את השדה הזה והוא צריך להפנות לקטגוריה של Google Cloud Storage או לנתיב בתוך הקטגוריה הזו. הנתיב הזה משמש כספריית הבסיס לבניית הנתיב המלא לספריות הנתונים והמטא-נתונים של הטבלה, כשלא מצוין מיקום ברמת מרחב השמות או הטבלה. הנתיב המלא נוצר על ידי הוספת המזהים של מרחב השמות והטבלה למיקום ברירת המחדל. |
storage-regions[] |
פלט בלבד. האזורים ב-Google Cloud של הקטגוריה במיקום ברירת המחדל, למשל |
create-time |
פלט בלבד. מתי הקטלוג נוצר. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
update-time |
פלט בלבד. מתי הקטלוג עודכן לאחרונה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
replicas[] |
פלט בלבד. הרפליקות של המטא-נתונים של הקטלוג. |
description |
זה שינוי אופציונלי. תיאור של הקטלוג שהמשתמש סיפק. התיאור צריך להיות מחרוזת UTF-8 באורך של עד 1,024 תווים. |
restricted-locations-config |
זה שינוי אופציונלי. הגדרת מיקומים מוגבלים. השדה הזה משמש כרגע רק לקטלוגים של BigLake. אם השדה הזה לא מוגדר, או אם |
federated-catalog-options |
זה שינוי אופציונלי. אפשרויות להגדרת קטלוגים מאוחדים. |
cross-cloud-cache-options |
זה שינוי אופציונלי. אפשרויות הגדרה לשמירה במטמון חוצה-עננים של קובצי נתונים ומטא-נתונים. |
encryption-config |
זה שינוי אופציונלי. הגדרת הצפנה בהתאמה אישית (למשל, מפתחות Cloud KMS). |
CredentialMode
מצב פרטי הכניסה שמשמש לקטלוג.
| טיפוסים בני מנייה (enum) | |
|---|---|
CREDENTIAL_MODE_UNSPECIFIED |
ערך ברירת מחדל/לא מוגדר. הערך הזה לא בשימוש. |
CREDENTIAL_MODE_END_USER |
מצב פרטי כניסה של משתמש קצה, ברירת מחדל. למשתמש המאמת צריכה להיות גישה למשאבי הקטלוג ולאובייקטים הבסיסיים של Google Cloud Storage. |
CREDENTIAL_MODE_VENDED_CREDENTIALS |
מצב הפצת פרטי כניסה. המשתמש המאמת צריך רק גישה למשאבי הקטלוג, והמערכת תספק למתקשר פרטי כניסה עם היקף מצומצם כדי לגשת לאובייקטים של Google Cloud Storage. בכל הפעולות בטבלה במצב הזה, צריך להגדיר את הכותרת פרטים נוספים זמינים בכתובת https://docs.cloud.google.com/lakehouse/docs/credential-vending. |
CatalogType
קובע את סוג הקטלוג.
| טיפוסים בני מנייה (enum) | |
|---|---|
CATALOG_TYPE_UNSPECIFIED |
ערך ברירת מחדל/לא מוגדר. הערך הזה לא בשימוש. |
CATALOG_TYPE_GCS_BUCKET |
סוג הקטלוג של קטגוריית Google Cloud Storage. |
CATALOG_TYPE_BIGLAKE |
סוג הקטלוג של BigLake. |
CATALOG_TYPE_FEDERATED |
סוג הקטלוג המאוחד. |
CATALOG_TYPE_ALLOYDB_AGENT_MODE |
קטלוג לשליחת שאילתות לטבלאות AlloyDB במצב סוכן. |
רפליקה
הרפליקה של הקטלוג.
| ייצוג ב-JSON |
|---|
{
"region": string,
"state": enum ( |
| שדות | |
|---|---|
region |
פלט בלבד. האזור של הרפליקה. לדוגמה, "us-east1" |
state |
פלט בלבד. המצב הנוכחי של הרפליקה. |
מדינה
אם הקטלוג משוכפל לכמה אזורים, ה-enum הזה מתאר את המצב הנוכחי של הרפליקה.
| טיפוסים בני מנייה (enum) | |
|---|---|
STATE_UNKNOWN |
ערך ברירת מחדל/לא מוגדר. הערך הזה לא בשימוש. |
STATE_PRIMARY |
הרפליקה היא הרפליקה הראשית שניתן לכתוב בה. |
STATE_PRIMARY_IN_PROGRESS |
הרפליקה הוקצתה לאחרונה כראשית, אבל עדיין לא ניתן לכתוב בכל מרחבי השמות. |
STATE_SECONDARY |
הרפליקה היא רפליקה משנית לקריאה בלבד. |
RestrictedLocationsConfig
הגדרת הגבלות מיקום.
| ייצוג ב-JSON |
|---|
{ "restricted-locations": [ string ] } |
| שדות | |
|---|---|
restricted-locations[] |
זה שינוי אופציונלי. קטגוריות ומיקומים נוספים של Google Cloud Storage (למשל, אם השדה |
EncryptionConfig
הגדרת הצפנה בהתאמה אישית (למשל, מפתחות Cloud KMS).
| ייצוג ב-JSON |
|---|
{ "kms-key-name": string } |
| שדות | |
|---|---|
kms-key-name |
זה שינוי אופציונלי. שם המפתח ב-Cloud KMS שמשמש להצפנת נתונים שנשמרו במטמון ונשלפו מהקטלוג. פורמט: |
FederatedCatalogOptions
אפשרויות להגדרת קטלוג מאוחד.
| ייצוג ב-JSON |
|---|
{ "identity-mode": enum ( |
| שדות | |
|---|---|
identity-mode |
זה שינוי אופציונלי. מצב הזהות של הקטלוג המאוחד. |
refresh-options |
זה שינוי אופציונלי. מרעננים את ההגדרות. |
refresh-status |
פלט בלבד. הסטטוס של פעולות הרענון של המטא-נתונים ברקע. |
| ברשימה הבאה מפורטים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים: | |
identity-federation-organization-service-account |
פלט בלבד. חשבון השירות ברמת הארגון שמשמש לאיחוד שירותי אימות הזהות. |
| סוף השדות שמוציאים זה את זה. | |
| מידע ספציפי לקטלוג REST של Iceberg מרחוק. ברשימה הבאה מפורטים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים: | |
unity-catalog-info |
זה שינוי אופציונלי. מידע ספציפי ל-Databricks Unity Catalog. |
glue-catalog-info |
זה שינוי אופציונלי. מידע ספציפי ל-AWS Glue Data Catalog. |
snowflake-catalog-info |
זה שינוי אופציונלי. מידע ספציפי ל-Snowflake Horizon Catalog. |
workday-catalog-info |
זה שינוי אופציונלי. מידע ספציפי על Workday Data Lake. |
| סוף השדות שמוציאים זה את זה. | |
secret-name |
זה שינוי אופציונלי. שם המשאב של הסוד ב-Secret Manager, בפורמט מזהה הפרויקט צריך להתאים לפרויקט של הקטלוג, והמיקום צריך להתאים למיקום של הקטלוג. אם לא מציינים גרסה, המערכת משתמשת בגרסה האחרונה. המערכת לא משתמשת בשדה הזה אם מוגדרים השדות |
service-directory-name |
זה שינוי אופציונלי. שם המשאב של Service Directory שמשמש לניתוב תנועה בשכבת התעבורה עם הקטלוג המרוחק (למשל, גישה לקובצי נתונים בקטגוריות אחסון) דרך חיבור לרשת פרטית. פורמט: הוא משמש את השאילתות של BigQuery כדי לפתור נקודות קצה פרטיות לאחזור קובצי נתונים (למשל, נתוני Iceberg ב-S3 או ב-Azure Data Lake Storage) דרך חיבור לרשת פרטית כמו Cross-Cloud Interconnect. |
metadata-service-directory-name |
זה שינוי אופציונלי. שם המשאב של Service Directory שמשמש לניתוב תנועה בשכבת המטא-נתונים עם הקטלוג המרוחק דרך חיבור לרשת פרטית. פורמט: משמש לאחזור מטא-נתונים של קטלוג (כמו הגדרות, מרחבי שמות וטבלאות של Iceberg) דרך חיבור לרשת פרטית, כמו Cross-Cloud Interconnect. משמש גם לאחזור אסימוני OAuth כשלא מוגדר |
user-identity-federation-oidc-claims |
פלט בלבד. הוצא משימוש: צריך להשתמש ב- הצהרות ה-OIDC שמונפקות בטוקן של המזהה לאיחוד זהויות של משתמשים. |
user-identity-federation-oidc |
פלט בלבד. הגדרת ה-OIDC לאיחוד שירותי אימות הזהות של המשתמשים. |
IdentityFederationOrganizationServiceAccount
חשבון השירות ברמת הארגון שמשמש לאיחוד שירותי אימות הזהות, פלט בלבד. יכול להיות שהשדה יהיה ריק אם איחוד שירותי אימות הזהות לא הופעל אף פעם בקטלוג.
| ייצוג ב-JSON |
|---|
{ "service-account": string, "service-account-unique-id": string } |
| שדות | |
|---|---|
service-account |
פלט בלבד. כתובת האימייל של חשבון השירות ברמת הארגון. |
service-account-unique-id |
פלט בלבד. המזהה הייחודי של חשבון השירות ברמת הארגון. |
UnityCatalogInfo
מידע ספציפי ל-Databricks Unity Catalog. נקודת הקצה של קטלוג REST של Iceberg היא בפורמט: https://<instanceName>/api/2.1/unity-catalog/iceberg-rest/v1/config?warehouse=<catalogName>.
| ייצוג ב-JSON |
|---|
{ "instance-name": string, "catalog-name": string, "service-principal-application-id": string } |
| שדות | |
|---|---|
instance-name |
חובה. לא ניתן לשינוי. שם המכונה של סביבת העבודה ב-Databricks. לדוגמה, בכתובת ה-URL של סביבת העבודה ב-Databricks |
catalog-name |
חובה. לא ניתן לשינוי. שם הקטלוג ב-Databricks Unity Catalog. |
service-principal-application-id |
זה שינוי אופציונלי. מזהה האפליקציה של חשבון השירות של Databricks שמשמש לגישה ל-Databricks Unity Catalog בתהליך האימות של OIDC. |
GlueCatalogInfo
מידע ספציפי ל-AWS Glue Data Catalog. נקודת הקצה של קטלוג REST של Iceberg היא בפורמט: https://glue.<awsRegion>.amazonaws.com/iceberg/v1/config?warehouse=<warehouse>.
| ייצוג ב-JSON |
|---|
{ "warehouse": string, "aws-region": string, "aws-role-arn": string } |
| שדות | |
|---|---|
warehouse |
חובה. לא ניתן לשינוי. מיקום המחסן ב-AWS Glue Data Catalog. בקטלוג ברירת המחדל של החשבון, משתמשים במזהה החשבון ב-AWS שמורכב מ-12 ספרות (לדוגמה, |
aws-region |
חובה. לא ניתן לשינוי. האזור ב-AWS של AWS Glue Data Catalog (לדוגמה, |
aws-role-arn |
חובה. שם המשאב ב-Amazon (ARN) של תפקיד AWS IAM שהקטלוג המאוחד מקבל כדי לגשת ל-AWS Glue Data Catalog. |
SnowflakeCatalogInfo
מידע ספציפי ל-Snowflake Horizon Catalog. נקודת הקצה של קטלוג REST של Iceberg היא בפורמט: https://<accountIdentifier>.snowflakecomputing.com/polaris/api/catalog/v1/config?warehouse=<warehouse>.
| ייצוג ב-JSON |
|---|
{ "account-identifier": string, "warehouse": string, "snowflake-role": string } |
| שדות | |
|---|---|
account-identifier |
חובה. לא ניתן לשינוי. מזהה החשבון ב-Snowflake. לדוגמה, בכתובת ה-URL של פריסת Snowflake מזהה החשבון יכול להכיל אותיות, ספרות וקווים תחתונים, עם מקטעים שמופרדים במקפים ( |
warehouse |
חובה. לא ניתן לשינוי. שם מסד הנתונים ב-Snowflake Horizon Catalog. |
snowflake-role |
זה שינוי אופציונלי. התפקיד ב-Snowflake שמשמש להגדרת היקף הגישה ל-Snowflake Horizon Catalog בתהליך האימות של איחוד שירותי אימות הזהות של עומסי עבודה (OIDC). |
WorkdayCatalogInfo
מידע ספציפי על Workday Data Lake. נקודת הקצה של קטלוג REST של Iceberg היא בפורמט: https://<baseUrl>/datalake/api/catalog/v1/config?warehouse=workday.
| ייצוג ב-JSON |
|---|
{ "base-url": string, "tenant": string, "api-client-client-id": string } |
| שדות | |
|---|---|
base-url |
חובה. לא ניתן לשינוי. כתובת ה-URL הבסיסית של המכונה ב-Workday. לדוגמה, |
tenant |
חובה. לא ניתן לשינוי. שם הדייר ב-Workday. |
api-client-client-id |
זה שינוי אופציונלי. מזהה הלקוח של לקוח ה-API של Workday שמשמש לגישה ל-Workday Data Lake בתהליך האימות של OIDC. |
IdentityMode
מצב הזהות שבו הקטלוג משתמש לשאילתות.
| טיפוסים בני מנייה (enum) | |
|---|---|
IDENTITY_MODE_UNSPECIFIED |
ערך ברירת מחדל/לא מוגדר. הערך הזה מטופל כמו IDENTITY_MODE_SERVICE_IDENTITY. |
IDENTITY_MODE_SERVICE_IDENTITY |
השאילתות מופעלות באמצעות חשבון השירות ב-google.cloud.biglake.v1main.IcebergCatalog.biglake_service_account. |
IDENTITY_MODE_USER_IDENTITY_FEDERATION |
השאילתות מופעלות באמצעות הזהות של משתמש הקצה ומופצות לקטלוג המרוחק. צריך להגדיר איחוד זהויות בקטלוג המרוחק. מידע נוסף זמין בכתובת https://docs.cloud.google.com/lakehouse/docs/about-cross-cloud-data-access#identity-mode. |
UserIdentityFederationOidcClaims
הצהרות OIDC שמונפקות בטוקן של המזהה כש-IDENTITY_MODE_USER_IDENTITY_FEDERATION מופעל.
הערכים האלה מזהים את ספק הזהויות (המנפיק) ואת הנמען המיועד (הקהל) של האסימון. כדי להפעיל איחוד זהויות של משתמשים, המשתמשים צריכים להגדיר את הקטלוג המרוחק שלהם כך שיסמוך על המנפיק הזה ויצפה לקהל הזה.
| ייצוג ב-JSON |
|---|
{ "issuer-url": string, "audience": string } |
| שדות | |
|---|---|
issuer-url |
פלט בלבד. כתובת ה-URL של המנפיק של ספק הזהויות. |
audience |
פלט בלבד. הקהל שהקטלוג הזה מצפה לו באסימון. |
UserIdentityFederationOidc
הגדרת OIDC שמשמשת כש-IDENTITY_MODE_USER_IDENTITY_FEDERATION מופעל.
כדי להפעיל איחוד זהויות של משתמשים, המשתמשים צריכים להגדיר את הקטלוג המרוחק שלהם כך שיאשר אסימונים עם הפרמטרים האלה.
| ייצוג ב-JSON |
|---|
{ "issuer-url": string, "audience": string, "jwks-url": string } |
| שדות | |
|---|---|
issuer-url |
פלט בלבד. כתובת ה-URL של המנפיק של ספק הזהויות. |
audience |
פלט בלבד. הקהל שהקטלוג הזה מצפה לו באסימון. |
jwks-url |
פלט בלבד. כתובת ה-URL של JSON Web Key Set (JWKS) שמספקת את המפתחות הציבוריים שמשמשים לאימות הטוקן. מוגדר רק לקטלוגים מאוחדים של Snowflake Horizon, שבהם הוא משמש כ- |
RefreshOptions
מרעננים את ההגדרות.
| ייצוג ב-JSON |
|---|
{ "refresh-schedule": { object ( |
| שדות | |
|---|---|
refresh-schedule |
זה שינוי אופציונלי. התזמון קובע אם ומתי צריך לתזמן רענון של המטא-נתונים. |
refresh-scope |
זה שינוי אופציונלי. רענון הגדרות ההיקף. |
RefreshSchedule
התזמון קובע אם ומתי צריך לתזמן רענון של המטא-נתונים.
| ייצוג ב-JSON |
|---|
{ "refresh-interval": string } |
| שדות | |
|---|---|
refresh-interval |
זה שינוי אופציונלי. מרווח הזמן לרענון המטא-נתונים מהקטלוג המרוחק. אם המדיניות לא מוגדרת או שהערך הוא <= 0, רענון המטא-נתונים ברקע יושבת. אם מעדכנים את השדה הזה בקטלוג מאוחד קיים, רענון המטא-נתונים הקודם ברקע צריך להסתיים לפני שמרווח הרענון החדש ייכנס לתוקף. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-" |
RefreshScope
ההיקף מגדיר קבוצת משנה של מרחבי שמות שצריך לרענן.
| ייצוג ב-JSON |
|---|
{ "namespace-filters": [ string ] } |
| שדות | |
|---|---|
namespace-filters[] |
זה שינוי אופציונלי. מסננים שקובעים אילו מרחבי שמות נכללים בתהליך הרענון. - רשימה ריקה פירושה לכלול את כל מרחבי השמות. - "[namespaces]" פירושו לכלול את מרחבי השמות שצוינו. ['ns1', 'ns2'] : גילוי רק של מרחבי השמות 'ns1' ו-'ns2'. |
RefreshStatus
סטטוס הרענון של המטא-נתונים ברקע של הקטלוג המרוחק.
| ייצוג ב-JSON |
|---|
{
"start-time": string,
"end-time": string,
"status": {
object ( |
| שדות | |
|---|---|
start-time |
פלט בלבד. כשהרענון של הקטלוג התחיל, כולל רענונים בתהליך. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
end-time |
פלט בלבד. כשרענון הקטלוג מסתיים, צריך לבטל את ההגדרה של רענונים בתהליך. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
status |
פלט בלבד. הסטטוס של פעולת הרענון האחרונה של המטא-נתונים ברקע, לא מוגדר לפעולות רענון שמתבצעות. |
CrossCloudCacheOptions
אפשרויות הגדרה לשמירה במטמון חוצה-עננים של קובצי נתונים ומטא-נתונים.
| ייצוג ב-JSON |
|---|
{ "enabled": boolean } |
| שדות | |
|---|---|
enabled |
זה שינוי אופציונלי. המדיניות הזו קובעת אם מופעלת שמירה במטמון חוצה-עננים של קובצי נתונים ומטא-נתונים. הפעולה הזו משפיעה רק על שאילתות דרך BigQuery. אם הערך הוא אם הערך הוא |
Methods |
|
|---|---|
|
יוצר את קטלוג REST של Iceberg. |
|
מחיקת קטלוג REST של Iceberg. |
|
מעבירים את הקטלוג לאזור חדש של רפליקה ראשית. |
|
הפונקציה מחזירה את אפשרויות ההגדרה של קטלוג REST של Iceberg. |
|
הצגת רשימה של קטלוגי REST של Iceberg. |
|
מעדכנים את אפשרויות ההגדרה של קטלוג REST של Iceberg. |