קריאה ממסד נתונים של PostgreSQL

בדף הזה מוסבר איך לקרוא נתונים ממסד נתונים של PostgreSQL במופע של Cloud Data Fusion.

לפני שמתחילים

  • יצירת מכונת Cloud Data Fusion.
  • מאפשרים למסד הנתונים של PostgreSQL לקבל חיבורים מ-Cloud Data Fusion. כדי לעשות זאת בצורה מאובטחת, מומלץ להשתמש במכונת Cloud Data Fusion פרטית.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לחיבור למסד נתונים של PostgreSQL, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

  • ‫Dataproc Worker (roles/dataproc.worker) בחשבון השירות של Dataproc בפרויקט שמכיל את האשכול
  • ‫Cloud Data Fusion Runner (roles/datafusion.runner) בחשבון השירות של Dataproc בפרויקט שמכיל את האשכול
  • כדי להשתמש ב-Cloud SQL בלי שרת proxy ל-Cloud SQL Auth: Cloud SQL Client (roles/cloudsql.client) בפרויקט שמכיל את המופע של Cloud SQL

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

פתיחת המופע ב-Cloud Data Fusion

  1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

  2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

    כניסה לדף Instances

איך מאחסנים את הסיסמה ל-PostgreSQL כמפתח מאובטח

מזינים את הסיסמה של PostgreSQL כמפתח מאובטח להצפנה במופע של Cloud Data Fusion. מידע נוסף על מפתחות זמין במאמר בנושא Cloud KMS.

  1. בממשק המשתמש של Cloud Data Fusion, לוחצים על System admin > Configuration (ניהול מערכת > הגדרה).

  2. לוחצים על ביצוע שיחות HTTP.

    הגדרות.

  3. בתפריט הנפתח, בוחרים באפשרות PUT.

  4. בשדה הנתיב, מזינים namespaces/default/securekeys/pg_password.

  5. בשדה Body (גוף ההודעה), מזינים {"data":"POSTGRESQL_PASSWORD"}. מחליפים את POSTGRESQL_PASSWORD בסיסמה שלכם ב-PostgreSQL.

  6. לוחצים על שליחה.

    סיסמה.

בשדה תגובה מופיעות הודעות על שגיאות.

התחברות ל-Cloud SQL ל-PostgreSQL

  1. בממשק המשתמש של Cloud Data Fusion, לוחצים על התפריט ועוברים לדף Wrangler.

  2. לוחצים על הוספת חיבור.

  3. בוחרים באפשרות מסד נתונים כסוג המקור לקישור.

    הוספת חיבור.

  4. בקטע Google Cloud SQL for PostgreSQL, לוחצים על Upload (העלאה).

    בוחרים מקור.

  5. מעלים קובץ JAR שמכיל את מנהל ההתקן של PostgreSQL. קובץ ה-JAR צריך להיות בפורמט NAME-VERSION.jar. אם קובץ ה-JAR לא עומד בדרישות הפורמט האלה, צריך לשנות את השם שלו לפני ההעלאה.

  6. לוחצים על הבא.

  7. מזינים את שם הדרייבר, שם המחלקה והגרסה בשדות.

  8. לוחצים על סיום.

  9. בחלון Add connection שנפתח, לוחצים על Google Cloud SQL for PostgreSQL. שם ה-JAR אמור להופיע בקטע Google Cloud SQL ל-PostgreSQL.

    קובץ JAR הועלה.

  10. ממלאים את שדות החובה של החיבור. בשדה סיסמה, בוחרים את המפתח המאובטח ששמרתם קודם. כך מוודאים שהסיסמה מאוחזרת באמצעות Cloud KMS.

    בוחרים סיסמה.

  11. בשדה מחרוזת חיבור, מזינים את מחרוזת החיבור באופן הבא: 

    jdbc:postgresql://google/DATABASE_NAME?cloudSqlInstance=INSTANCE_CONNECTION_NAME&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATABASE_NAME: שם מסד הנתונים של Cloud SQL כפי שמופיע בכרטיסייה Databases בדף פרטי המופע.
    • ‫INSTANCE_CONNECTION_NAME: שם החיבור של מופע Cloud SQL כפי שמוצג בכרטיסייה Overview בדף פרטי המופע.
    שם החיבור של המכונה.

    לדוגמה: 

    jdbc:postgresql://google/postgres?cloudSqlInstance=dis-demo:us-central1:pgsql-1&socketFactory=com.google.cloud.sql.postgres.SocketFactory&useSSL=false

  12. מפעילים את Cloud SQL Admin API.

  13. לוחצים על בדיקת החיבור כדי לוודא שאפשר ליצור חיבור למסד הנתונים.

  14. לוחצים על הוספת חיבור.

אחרי שמקשרים את מסד הנתונים של PostgreSQL, אפשר להחיל טרנספורמציות על הנתונים (ב-Wrangler), ליצור צינור ולכתוב את הפלט ל-sink (ב-Studio).