יצירת שירות Dataproc Metastore

בדף הזה מוסבר איך ליצור שירות Dataproc Metastore.

אחרי שיוצרים את שירות Dataproc Metastore, אפשר לייבא מטא-נתונים ולהתחבר לאחד מהשירותים הבאים:

אחרי שמקשרים אחד מהשירותים האלה, הוא משתמש בשירות Dataproc Metastore בתור Hive metastore במהלך ביצוע השאילתה.

לפני שמתחילים

תפקידים נדרשים

כדי לקבל את ההרשאה שדרושה ליצירת Dataproc Metastore, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט, בהתאם לעקרון של הרשאות מינימליות:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד שמוגדר מראש מכיל את ההרשאה metastore.services.create, שנדרשת כדי ליצור Dataproc Metastore.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים אחרים שמוגדרים מראש.

למידע נוסף על תפקידים והרשאות ספציפיים ב-Dataproc Metastore, אפשר לעיין במאמר ניהול גישה באמצעות ניהול זהויות והרשאות גישה (IAM).

יצירת Dataproc Metastore באמצעות הגדרות ברירת מחדל

כשיוצרים Dataproc Metastore באמצעות הגדרות ברירת המחדל, השירות מוגדר עם רמה ארגונית, גודל בינוני של מכונה, הגרסה העדכנית של Hive metastore, נקודת קצה של Thrift ומיקום נתונים של us-central1.

Dataproc Metastore 2

בהוראות הבאות מוסבר איך ליצור Dataproc Metastore 2 באמצעות נקודת קצה של Thrift והגדרות ברירת מחדל אחרות שסופקו.

המסוף

  1. נכנסים לדף Dataproc Metastore במסוף Google Cloud .

    מעבר אל Dataproc Metastore

  2. בסרגל הניווט, לוחצים על +יצירה.

    תיפתח תיבת הדו-שיח Create metastore service.

  3. בוחרים באפשרות Dataproc Metastore 2.

  4. בקטע תמחור וקיבולת, בוחרים גודל של מופע.

    מידע נוסף זמין במאמר בנושא תוכניות תמחור והגדרות של שינוי גודל.

  5. בשדה שם השירות, מזינים שם ייחודי לשירות.

    מידע על מוסכמות למתן שמות זמין במאמר מוסכמות למתן שמות למשאבים.

  6. בוחרים את מיקום הנתונים.

    מידע נוסף על בחירת האזור המתאים זמין במאמרים אזורים ותחומים זמינים ונקודת קצה אזורית.

  7. לגבי שאר אפשרויות ההגדרה של השירות, משתמשים בערכי ברירת המחדל שסופקו.

  8. כדי ליצור ולהפעיל את השירות, לוחצים על Submit (שליחה).

    שירות ה-Metastore החדש מופיע בדף Dataproc Metastore. הסטטוס Creating (יצירה) מוצג עד שהשירות מוכן לשימוש. כשהוא מוכן, הסטטוס משתנה לפעיל. יכול להיות שיחלפו כמה דקות עד שהשירות יוקצה.

  • ‫CLI של gcloud

    כדי ליצור שירות Dataproc Metastore‏ 2 באמצעות ברירות המחדל שסופקו, מריצים את הפקודה הבאה של gcloud metastore services create:

    gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫SERVICE: השם של שירות Dataproc Metastore החדש.

    • ‫LOCATION: האזור Google Cloud שבו רוצים ליצור את Dataproc Metastore. אפשר גם להגדיר מיקום ברירת מחדל.

      מידע על מוסכמות למתן שמות זמין במאמר מוסכמות למתן שמות למשאבים.

    • ‫INSTANCE_SIZE: גודל המופע של Dataproc Metastore. לדוגמה, small,‏ medium או large. אם מציינים ערך למאפיין INSTANCE_SIZE, לא מציינים ערך למאפיין SCALING_FACTOR.

    • ‫SCALING_FACTOR: גורם לקביעת קנה מידה של שירות Dataproc Metastore. לדוגמה, 0.1. אם מציינים ערך למאפיין SCALING_FACTOR, לא מציינים ערך למאפיין INSTANCE_SIZE.

REST

פועלים לפי ההוראות ל-API כדי ליצור שירות באמצעות APIs Explorer.

Dataproc Metastore 1

בהוראות הבאות מוסבר איך ליצור Dataproc Metastore‏ 1 באמצעות נקודת קצה של Thrift והגדרות ברירת מחדל אחרות שסופקו.

המסוף

  1. נכנסים לדף Dataproc Metastore במסוף Google Cloud .

    מעבר אל Dataproc Metastore

  2. בסרגל הניווט, לוחצים על +יצירה.

    תיפתח תיבת הדו-שיח Create metastore service.

  3. בוחרים באפשרות Dataproc Metastore 1.

  4. בשדה שם השירות, מזינים שם ייחודי לשירות.

    מידע על מוסכמות למתן שמות זמין במאמר מוסכמות למתן שמות למשאבים.

  5. בוחרים את מיקום הנתונים.

    מידע נוסף על בחירת האזור המתאים זמין במאמרים אזורים ותחומים זמינים ונקודת קצה אזורית.

  6. לגבי שאר אפשרויות ההגדרה של השירות, משתמשים בערכי ברירת המחדל שסופקו.

  7. כדי ליצור ולהפעיל את השירות, לוחצים על Submit (שליחה).

    שירות ה-Metastore החדש מופיע בדף Dataproc Metastore. הסטטוס Creating (יצירה) מוצג עד שהשירות מוכן לשימוש. כשהוא מוכן, הסטטוס משתנה לפעיל. הקצאת השירות עשויה להימשך כמה דקות.

  • ‫CLI של gcloud

    כדי ליצור שירות בסיסי של מאגר מטא-נתונים באמצעות ברירות המחדל שסופקו, מריצים את הפקודה הבאה של gcloud metastore services create:

    gcloud metastore services create SERVICE \
  --location=LOCATION

    מחליפים את מה שכתוב בשדות הבאים:

REST

פועלים לפי ההוראות לשימוש ב-API כדי ליצור שירות באמצעות APIs Explorer.

יצירת Dataproc Metastore באמצעות הגדרות מתקדמות

במאמר בנושא יצירת Dataproc Metastore באמצעות ההגדרות המתקדמות מוסבר איך לשנות הגדרות כמו הגדרות רשת, הגדרות קנה מידה, הגדרות נקודת קצה, הגדרות אבטחה ותכונות אופציונליות.

‫Dataproc Metastore 2 או 1

בהוראות הבאות מוסבר איך ליצור שירות Dataproc Metastore 2 או Dataproc Metastore 1 באמצעות הגדרות מתקדמות.

המסוף

שנתחיל?

  1. במסוף Google Cloud , פותחים את הדף Dataproc Metastore:

    פתיחת Dataproc Metastore

  2. בתפריט הניווט, לוחצים על +Create (יצירה).

    תיפתח תיבת הדו-שיח Create metastore service.

  3. בוחרים את הגרסה של ה-metastore שרוצים להשתמש בה, Dataproc Metastore 1 או Dataproc Metastore 2.

    מידע על השירות

    יצירת דף שירות
    דוגמה לדף create service

    1. (אופציונלי): ל-Dataproc Metastore 2. בקטע תמחור וקיבולת, בוחרים גודל של מופע.

      מידע נוסף זמין במאמר בנושא תוכניות תמחור והגדרות של שינוי גודל.

    2. בשדה שם השירות, מזינים שם ייחודי לשירות.

      מידע על מוסכמות למתן שמות זמין במאמר מוסכמות למתן שמות למשאבים.

    3. בוחרים את מיקום הנתונים.

      מידע נוסף על בחירת האזור המתאים זמין במאמרים אזורים ותחומים זמינים ונקודת קצה אזורית.

    4. בוחרים את הגרסה של Hive Metastore.

      אם לא משנים את הערך הזה, השירות משתמש בגרסה הנתמכת האחרונה של Hive (נכון לעכשיו, גרסה 3.1.2).

      מידע נוסף על בחירת הגרסה הנכונה זמין במאמר בנושא מדיניות הגרסאות.

    5. בוחרים את ערוץ ההפצה.

      אם לא משנים את הערך הזה, מאגר המטא-נתונים משתמש בערך Stable. מידע נוסף מופיע במאמר בנושא ערוץ הפצה.

    6. מזינים את היציאה של TCP.

      יציאת ה-TCP שאליה מתחברת נקודת הקצה של Thrift. אם לא משנים את הערך הזה, נעשה שימוש במספר היציאה 9083. אם משנים את נקודת הקצה ל-gRPC, הערך הזה משתנה אוטומטית ל-443 ואי אפשר לשנות אותו.

    7. (אופציונלי) ל-Dataproc Metastore 1. בוחרים את רמת השירות.

      רמת השירות משפיעה על הקיבולת של השירות. מידע נוסף מופיע במאמר בנושא מסלול שירות.

    פרוטוקול של נקודת קצה

    • אופציונלי: בוחרים פרוטוקול של נקודת קצה.

      אפשרות ברירת המחדל היא Apache Thrift. מידע נוסף על נקודות הקצה השונות זמין במאמר בחירת פרוטוקול נקודת הקצה.

    הגדרת הרשת

    1. בוחרים הגדרת רשת.

      כברירת מחדל, אפשר להגדיר את השירותים שלכם כך שיהיה אפשר לגשת אליהם בכמה רשתות VPC. אפשר לציין עד חמש רשתות משנה.

      כדי לבצע את הפעולות הבאות, צריך לשנות את הגדרות הרשת:

      • חיבור שירות Dataproc Metastore לשירותי Dataproc Metastore בפרויקטים אחרים.
      • שימוש בשירות Dataproc Metastore עם שירותים אחרים שלGoogle Cloud , כמו אשכול Dataproc.

    2. אופציונלי: לוחצים על שימוש ברשת VPC משותפת ומזינים את מזהה הפרויקט ואת שם רשת המשנה של ה-VPC.

    3. אופציונלי: לוחצים על חשיפת השירות ברשת VPC אחת ובוחרים את הרשת או רשת ה-VPC המשותפת שבה רוצים להפוך את השירות לזמין.

    4. אופציונלי: לוחצים על Make services accessible in multiple VPC subnetworks (הפיכת השירותים לנגישים בכמה רשתות משנה של VPC) ובוחרים את רשתות המשנה. אפשר לציין עד חמש רשתות משנה.

    5. לוחצים על סיום.

    שילוב מטא-נתונים

    חלון זמן לתחזוקה

    • אופציונלי: בוחרים את היום בשבוע ואת השעה ביום לחלון זמן לתחזוקה.

      מידע נוסף מופיע במאמר בנושא חלונות תחזוקה.

    אבטחה

    1. אופציונלי: הפעלת Kerberos.

      1. כדי להפעיל את Kerberos, לוחצים על המתג.
      2. בוחרים או מזינים את מזהה המשאב הסודי.
      3. בוחרים להשתמש בגרסה העדכנית של הסוד או בוחרים גרסה ישנה יותר.

      4. מזינים את השם הראשי של Kerberos.

        זהו העיקרון שהוקצה לשירות Dataproc Metastore הזה.

      5. עוברים לקובץ krb5 config.

    2. אופציונלי: בוחרים סוג הצפנה.

      • אפשרות ברירת המחדל היא Google-managed encryption key.

      • כדי לבחור מפתח בניהול הלקוח, לוחצים על Use a customer-managed encryption key (CMEK) (שימוש במפתח הצפנה בניהול הלקוח).

        מידע נוסף מופיע במאמר בנושא שימוש במפתחות הצפנה בניהול הלקוח.

    החלפת הגדרות של Metastore

    • אופציונלי: כדי להחיל מיפוי על מאגר המידע של Hive, לוחצים על + הוספת שינויים.

    הגדרת גרסה משנית

    • אופציונלי: כדי להוסיף הגדרת תצורה של גרסה משנית, לוחצים על הפעלה.

      מידע נוסף זמין במאמר בנושא גרסאות עזר.

    סוג מסד הנתונים

    • אופציונלי: בוחרים סוג מסד נתונים.

      בקטע סוג מסד נתונים, בוחרים באפשרות MySQL או Spanner. ‫MySQL הוא סוג מסד הנתונים שמוגדר כברירת מחדל.

      מידע נוסף על בחירת סוג מסד נתונים ספציפי זמין במאמר סוגי מסדי נתונים.

    תוויות

    • אופציונלי: כדי להוסיף או להסיר תוויות אופציונליות שמתארות את המטא-נתונים, לוחצים על + הוספת תוויות.

הפעלת השירות

כדי ליצור ולהפעיל את השירות, לוחצים על Submit (שליחה).

שירות ה-Metastore החדש מופיע בדף Dataproc Metastore. הסטטוס Creating (יצירה) מוצג עד שהשירות מוכן לשימוש. כשהוא מוכן, הסטטוס משתנה לפעיל. יכול להיות שיחלפו כמה דקות עד שהשירות יוקצה.

‫CLI של gcloud

  1. כדי ליצור מאגר מטא-נתונים, מריצים את הפקודה הבאה של gcloud metastore services create:

    gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR \
  --port=PORT \
  --tier=TIER \
  --endpoint-protocol=ENDPOINT_PROTOCOL \
  --database-type=DATABASE_TYPE \
  --hive-metastore-version=HIVE_METASTORE_VERSION \
  --data-catalog-sync=DATA_CATALOG_SYNC \
  --release-channel=RELEASE_CHANNEL \
  --hive-metastore-configs=METADATA_OVERRIDE \
  --labels=LABELS \
  --auxiliary-versions=AUXILIARY_VERSION \
  --network=NETWORK \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
  --kerberos-principal=KERBEROS_PRINCIPAL \
  --krb5-config=KRB5_CONFIG \
  --keytab=CLOUD_SECRET \
  --encryption-kms-key=KMS_KEY

    מחליפים את מה שכתוב בשדות הבאים:

    הגדרות שירות:

    • ‫SERVICE: השם של שירות Dataproc Metastore החדש.
    • ‫LOCATION: האזור Google Cloud שבו רוצים ליצור את Dataproc Metastore. אפשר גם להגדיר מיקום ברירת מחדל.
    • ‫PORT: אופציונלי: יציאת ה-TCP שבה משתמשת נקודת הקצה של Thrift. אם לא מגדירים את המדיניות, המערכת תשתמש ביציאה 9083. אם בוחרים להשתמש בנקודת קצה מסוג gRPC, מספר היציאה משתנה אוטומטית ל-443.
    • ‫TIER: אופציונלי ל-Dataproc Metastore 1: רמת השירות של השירות החדש. אם לא מגדירים את המדיניות, המערכת תשתמש בערך Developer.
    • ‫ENDPOINT_PROTOCOL: אופציונלי: בוחרים את פרוטוקול נקודת הקצה של השירות.
    • DATABASE_TYPE: אופציונלי: בוחרים את סוג מסד הנתונים של השירות. מידע נוסף על בחירת סוג מסד נתונים ספציפי זמין במאמר סוגי מסדי נתונים.
    • ‫DATA_CATALOG_SYNC: אופציונלי: מפעילים את התכונה סנכרון עם Data Catalog.
    • ‫HIVE_METASTORE_VERSION: אופציונלי: גרסת Hive Metastore שרוצים להשתמש בה בשירות. לדוגמה, 3.1.2. אם לא מגדירים גרסה, המערכת משתמשת בגרסה האחרונה של Hive.
    • ‫RELEASE_CHANNEL: אופציונלי: ערוץ ההפצה של השירות. אם לא מגדירים את המדיניות, המערכת תשתמש בערך Stable.
    • ‫METADATA_OVERRIDE: אופציונלי: הגדרות ההחלפה של Hive metastore שרוצים להחיל על השירות. צריך להשתמש ברשימה של טווחים המופרדים באמצעות פסיקים, בפורמט הבא: k1=v1,k2=v2,k3=v3.
    • ‫LABELS: אופציונלי: צמדי מפתח/ערך להוספת מטא-נתונים נוספים לשירות. צריך להשתמש ברשימה של טווחים המופרדים באמצעות פסיקים, בפורמט הבא: k1=v1,k2=v2,k3=v3. Dataproc Metastore
    • ‫AUXILIARY_VERSION: אופציונלי: הפעלת גרסאות עזר. מידע נוסף זמין במאמר בנושא גרסאות עזר.

    הגדרות שינוי הגודל:

    • ‫INSTANCE_SIZE: אופציונלי ל-Dataproc Metastore 2: גודל המופע של Dataproc Metastore. לדוגמה, small, ‏ medium או large. אם מציינים ערך למאפיין INSTANCE_SIZE, לא מציינים ערך למאפיין SCALING_FACTOR.
    • ‫SCALING_FACTOR: אופציונלי ל-Dataproc Metastore 2: גורם לקביעת קנה מידה של שירות Dataproc Metastore. לדוגמה, 0.1. אם מציינים ערך למאפיין SCALING_FACTOR, לא מציינים ערך למאפיין INSTANCE_SIZE

    הגדרות הרשת:

    • ‫NETWORK: השם של רשת ה-VPC שאליה מתחברים לשירות. אם לא מגדירים את המדיניות, המערכת תשתמש בערך default.

      אם אתם משתמשים ברשת VPC ששייכת לפרויקט אחר מהפרויקט של השירות, אתם צריכים לספק את שם המשאב היחסי המלא. לדוגמה, projects/HOST_PROJECT/global/networks/NETWORK_ID.

    • ‫SUBNET1, SUBNET2: אופציונלי: רשימה של רשתות משנה שיכולות לגשת לשירות. אפשר להשתמש במזהה, בכתובת ה-URL שמוגדרת במלואה או בשם היחסי של רשת המשנה. אפשר לציין עד 5 רשתות משנה.

    הגדרות Kerberos:

    • ‫KERBEROS_PRINCIPAL (אופציונלי): שם משתמש ב-Kerberos שקיים גם בקובץ keytab וגם ב-KDC. דוגמה אופיינית לזהות ראשית היא מהצורה primary/instance@REALM, אבל אין פורמט מדויק.
    • ‫KRB5_CONFIG: אופציונלי: קובץ התצורה krb5.config מציין את ה-KDC ואת פרטי תחום Kerberos, כולל מיקומי KDC וערכי ברירת מחדל עבור התחום ואפליקציות Kerberos.
    • ‫CLOUD_SECRET: אופציונלי: השם היחסי של משאב של גרסת סוד ב-Secret Manager.
    • ‫KMS_KEY: אופציונלי: מזהה המשאב של המפתח.

  2. מוודאים שהיצירה הצליחה.

REST

פועלים לפי ההוראות לשימוש ב-API כדי ליצור שירות באמצעות APIs Explorer.

הגדרת שינוי של הגדרות Hive metastore ב-Dataproc Metastore

אם ספריית מחסן הנתונים של Apache Hive נמצאת ב-Cloud Storage, צריך להגדיר החלפה של הגדרות ה-metastore. ההחלפה הזו מגדירה את מחסן הנתונים המותאם אישית שלכם כספריית מחסן ברירת המחדל בשירות Dataproc Metastore.

לפני שמגדירים את ההחלפה הזו, צריך לוודא שלשירות Dataproc Metastore יש הרשאות קריאה וכתיבה לאובייקט כדי לגשת לספריית מחסן הנתונים. מידע נוסף זמין במאמר בנושא ספריית מחסן נתונים של Hive.

בהוראות הבאות מוסבר איך להגדיר החלפה של הגדרות Hive Metastore בשביל שירות Dataproc Metastore חדש. בהוראות הבאות מוסבר איך להגדיר החלפה של הגדרות Hive metastore בשביל שירות Dataproc Metastore חדש.

המסוף

  1. במסוף Google Cloud , פותחים את הדף Dataproc Metastore:

    פתיחת Dataproc Metastore

  2. בסרגל הניווט, לוחצים על +יצירה.

  3. בקטע Metastore config overrides (החלפת הגדרות של Metastore), מזינים את הערכים הבאים:

    • מקרא: hive.metastore.warehouse.dir.
    • ערך: מיקום ספריית מחסן הנתונים ב-Cloud Storage. לדוגמה: gs://my-bucket/path/to/location.

  4. מגדירים את שאר האפשרויות של השירות לפי הצורך, או משתמשים בברירות המחדל שסופקו.

  5. לוחצים על שליחה.

    חוזרים לדף Dataproc Metastore ומוודאים שהשירות נוצר בהצלחה.

‫CLI של gcloud

  1. כדי ליצור שירות Dataproc Metastore עם שינוי ברירת מחדל של Hive, מריצים את הפקודה הבאה של gcloud metastore services create:

    gcloud metastore services create SERVICE \
  --location=LOCATION \
  --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫SERVICE: השם של שירות Dataproc Metastore החדש.
    • ‫LOCATION: האזור Google Cloud שבו רוצים ליצור את Dataproc Metastore. אפשר גם להגדיר מיקום ברירת מחדל.
    • ‫CUSTOMER_DIR: המיקום ב-Cloud Storage של ספריית מחסן הנתונים. לדוגמה: gs://my-bucket/path/to/location.

  2. מוודאים שהיצירה הצליחה.

יצירת Dataproc Metastore עם התאמה אוטומטית לעומס

‫Dataproc Metastore 2 תומך בהתאמה אוטומטית לעומס. אם מפעילים את התכונה 'שינוי גודל אוטומטי', אפשר להגדיר גורם מינימלי וגורם מקסימלי לקביעת קנה מידה. אחרי שמגדירים את זה, השירות מגדיל או מקטין באופן אוטומטי את גורם קביעת קנה המידה שנדרש להפעלת עומסי העבודה.

שיקולים לגבי התאמה אוטומטית לעומס

  • אפשר להשתמש רק באחת מהאפשרויות האלה: שינוי גודל אוטומטי או גורמים לקביעת קנה מידה. לדוגמה, אם מפעילים התאמה אוטומטית לעומס, אי אפשר להגדיר באופן ידני גורם לקביעת קנה מידה או גודל.
  • אפשר להשתמש בהתאמה אוטומטית לעומס רק במופעים של Dataproc Metastore באזור יחיד.
  • כשהתכונה 'התאמה אוטומטית לעומס' מופעלת, ההגדרות הקיימות של גורמי קנה המידה נמחקות.
  • כשמשביתים את שינוי הגודל האוטומטי:
    • ההגדרות הקיימות של התאמה אוטומטית לעומס נמחקות.
    • מקדם ההרחבה מוגדר לערך האחרון autoscaling_factor שהוגדר בשירות.
  • הגדרת גורמי המינימום והמקסימום של התאמה אוטומטית לעומס היא אופציונלית. אם לא מגדירים את המדיניות, ערכי ברירת המחדל הם 0.1 ו-6, בהתאמה.

בוחרים באחת מהכרטיסיות הבאות כדי ללמוד איך ליצור שירות Dataproc Metastore 2 עם הפעלה של התאמה אוטומטית לעומס.

המסוף

  1. נכנסים לדף Dataproc Metastore במסוף Google Cloud .

    מעבר אל Dataproc Metastore

  2. בסרגל הניווט, לוחצים על +יצירה.

    תיפתח תיבת הדו-שיח Create metastore service.

  3. בוחרים באפשרות Dataproc Metastore 2.

  4. בקטע תמחור וקיבולת, בוחרים באפשרות Enterprise – אזור יחיד.

  5. בקטע Instance Size, לוחצים על Enable autoscaling.

  6. בקטע גודל המכונה, משתמשים בפס ההזזה כדי לבחור את הגודל המינימלי והמקסימלי של המכונה.

  7. כדי ליצור ולהפעיל את השירות, לוחצים על Submit (שליחה).

    שירות ה-Metastore החדש מופיע בדף Dataproc Metastore. הסטטוס Creating (יצירה) מוצג עד שהשירות מוכן לשימוש. כשהוא מוכן, הסטטוס משתנה לפעיל. יכול להיות שיחלפו כמה דקות עד שהשירות יוקצה.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

מחליפים את מה שכתוב בשדות הבאים:

  • MIN_INSTANCES אופציונלי: המספר המינימלי של מופעים לשימוש בהגדרות של התאמה אוטומטית לעומס. אם לא מציינים את הערכים האלה, נעשה שימוש בערך ברירת המחדל 0.1.
  • MAX_INSTANCES אופציונלי: המספר המקסימלי של מופעים לשימוש בהגדרת שינוי הגודל האוטומטי. אם לא מציינים את הערכים האלה, נעשה שימוש בערך ברירת המחדל 6.

יצירת שירות Dataproc Metastore באמצעות VPC משותף

VPC משותף מאפשר לכם לחבר משאבי Dataproc Metastore מכמה פרויקטים לרשת VPC משותפת.

כדי ליצור שירות Dataproc Metastore שמוגדר עם VPC משותף, אפשר לעיין במאמר יצירת שירות באמצעות הגדרות מתקדמות.

לתשומת ליבכם

  • רשתות VPC לא רלוונטיות לשירותי Dataproc Metastore שהוגדרו עם פרוטוקול נקודת הקצה gRPC.

  • בשירותי Dataproc Metastore שהוגדרו עם פרוטוקול נקודת הקצה של Thrift, צריך לוודא ששירות Dataproc Metastore ואשכול Dataproc שמחובר אליו משתמשים באותה רשת Shared VPC.

  • בשירותי Dataproc Metastore שמגדירים בהם את פרוטוקול נקודת הקצה של Thrift ואת Private Service Connect, צריך לוודא שמשתמשים ברשתות משנה מרשת ה-VPC המשותפת.

תפקידי IAM שנדרשים לרשתות VPC משותפות

כדי ליצור שירות Dataproc Metastore עם VPC שאפשר לגשת אליו ברשת ששייכת לפרויקט אחר, צריך להעניק את ההרשאה roles/metastore.serviceAgent לסוכן השירות של Dataproc Metastore (service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) בפרויקט השירות במדיניות IAM של פרויקט הרשת.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
   --role "roles/metastore.serviceAgent" \
   --member "serviceAccount:service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com"

פתרון בעיות נפוצות

דוגמאות לבעיות נפוצות:

  • הגבלת קישור בין רשתות VPC שכנות (peering). לפני שיוצרים מאגר מטא-נתונים, לא מגדירים אילוץ של מדיניות ארגונית להגבלת קישור בין רשתות שכנות (peering) של VPC, אחרת יצירת מאגר המטא-נתונים תיכשל. מידע נוסף על הגדרת התצורות הנכונות של VPC זמין במאמר יצירת שירות נכשלת בגלל אילוץ להגבלת VPC Peering.

  • בעיות ברשתות VPC. כשיוצרים מאגר מטא-נתונים, יכול להיות שברשת ה-VPC שבה אתם משתמשים לא יהיו מספיק כתובות זמינות מסוג RFC 1918 שנדרשות לשירותי Dataproc Metastore. מידע נוסף על פתרון הבעיה הזו זמין במאמר טווח כתובות ה-IP שהוקצה מוצה.

המאמרים הבאים