הגדרת הגישה למכונה של Cloud SQL

שירות העברת הנתונים ל-BigQuery מאפשר להעביר נתונים ממכונה פרטית של Cloud SQL בין פרויקטים שונים של Google Cloud באמצעות כתובת IP פנימית. כדי ליצור את החיבור הפרטי הזה למחבר MySQL של שירות העברת הנתונים ל-BigQuery או למחבר PostgreSQL של שירות העברת הנתונים ל-BigQuery, צריך להגדיר את התכונות הבאות: קישור רשתות VPC, שרת proxy של Cloud SQL ומחבר רשת.

סקירה כללית של הארכיטקטורה

כדי להעביר נתונים ממכונה פרטית של Cloud SQL בפרויקט אחד ל-BigQuery בפרויקט אחר, שירות העברת הנתונים ל-BigQuery צריך רשת מחברים שתגשר על הקישוריות לרשת הפרטית.

קישור בין רשתות VPC שכנות תומך בתקשורת רק בין רשתות שכנות שיש ביניהן קישור ישיר (direct peering), ולא מעביר תנועה מחיבורים אחרים. לכן, תנועה שנכנסת לרשת VPC דרך חיבור רשת של Private Service Connect לא יכולה לעבור דרך חיבור בין רשתות שכנות (peering) כדי להגיע לרשת Cloud SQL מקושרת. כדי ליצור את החיבור הזה, מכונה וירטואלית של Compute Engine ברשת של המחבר מריצה את Cloud SQL Auth Proxy. שרת ה-proxy מסיים את החיבור הנכנס ממחבר הרשת ויוצר חיבור מאומת למכונה של Cloud SQL דרך הרשת המקושרת.

בתרשים הבא מוצגים רכיבי הרשת ונתיב הנתונים בין שירות העברת הנתונים ל-BigQuery לבין מכונה פרטית של Cloud SQL:

לפני שמתחילים

ודאו שיש לכם את הדברים הבאים:

• גישה לפרויקט ב- Google Cloud עם המחבר של שירות העברת הנתונים ל-BigQuery, ולפרויקט אחר ב- Google Cloud עם המכונה של Cloud SQL.
• מסד נתונים קיים של MySQL או PostgreSQL בפרויקט ב- Google Cloud .
• הרשאות מתאימות כדי ליצור VPC, ליצור כללי חומת אש ולהתקין תוכנות.
• מכונה וירטואלית (VM).

הגדרת קישור בין רשתות VPC שכנות (peering)

כדי להגדיר קישור VPC, צריך ליצור קישור VPC מפרויקט המחבר של שירות העברת הנתונים ל-BigQuery, ליצור קישור VPC בפרויקט של מסד הנתונים ב-Cloud SQL לפרויקט של שירות העברת הנתונים ל-BigQuery, ולהגדיר את המסלולים ואת כללי חומת האש.

יצירת קישור VPC מפרויקט המחבר של שירות העברת הנתונים ל-BigQuery

1. במסוף Google Cloud , נכנסים לדף קישור בין רשתות שכנות (peering) של רשת VPC בפרויקט של המחבר של שירות העברת נתונים ל-BigQuery.

   כניסה לדף VPC Network Peering

2. ‫ לוחצים על Create peering connection.

3. בשדה Name, נותנים שם להגדרת ה-peering.

4. בשדה Your VPC network, בוחרים את רשת ה-VPC שרוצים לקשר בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

5. בשדה Peered VPC network, בוחרים באפשרות In another project.

6. בשדה Project ID, מזינים את מזהה הפרויקט של Cloud SQL.

7. בשדה VPC network name, מזינים את השם של רשת ה-VPC בפרויקט Cloud SQL.

8. לוחצים על יצירה.

יצירת קישור VPC לפרויקט של מסד הנתונים ב-Cloud SQL

כדי ליצור קישור VPC לפרויקט של מסד הנתונים ב-Cloud SQL לפרויקט של שירות העברת הנתונים ל-BigQuery:

1. במסוף Google Cloud , נכנסים לדף VPC Network Peering בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

   כניסה לדף VPC Network Peering

2. ‫ לוחצים על Create peering connection.

3. בשדה Name, נותנים שם להגדרת ה-peering.

4. בוחרים את רשת ה-VPC שרוצים לקשר בפרויקט של מסד הנתונים ב-Cloud SQL.

5. בשדה Peer project ID, מזינים את מזהה הפרויקט של שירות העברת הנתונים ל-BigQuery.

6. בשדה Peered VPC network, מזינים את השם של רשת ה-VPC בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

7. לוחצים על יצירה.

הגדרת מסלולים וכללים של חומת אש

אם לא בחרתם נתיבי ייבוא-ייצוא כשהגדרתם את חיבורי ה-Peering, בצעו את הפעולות הבאות כדי לעשות זאת עכשיו:

1. נכנסים לדף Routes בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

   כניסה לדף Routes

2. מוודאים שהנתיבים קיימים כדי לאפשר תעבורת נתונים בין סביבות ה-VPC המקושרות.

3. נכנסים לדף Firewall policies.

   כניסה לדף Firewall policies

4. יוצרים כללי חומת אש שמאפשרים תעבורת נתונים ביציאות הנדרשות (לדוגמה, יציאה 3306 ל-MySQL ויציאה 5432 ל-PostgreSQL) בין הרשתות המקושרות.

5. מוסיפים את כללי חומת האש בהתאמה אישית שנדרשים מהפרויקט של מחבר שירות העברת הנתונים ל-BigQuery לפרויקט שמארח את מסד הנתונים של Cloud SQL.

6. מגדירים מסלולים וכללי חומת אש לפרויקט עם המכונה של Cloud SQL, כמו שעשיתם בשלבים הקודמים.

הגדרת שרת ה-proxy של Cloud SQL

1. משתמשים ב-SSH כדי להתחבר למכונה וירטואלית (VM) בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery.

2. בטרמינל, מורידים את שרת ה-proxy של Cloud SQL:

   wget https://dl.google.com/cloudsql/cloud_sql_proxy.linux.amd64 -O cloud_sql_proxy
   

3. מעדכנים את ההרשאות של הקבצים שהורדתם:

   chmod +x cloud_sql_proxy
   

4. מריצים את שרת ה-proxy של Cloud SQL:

   ./cloud_sql_proxy -instances=NAME=tcp:3306 or 5432 &
   

   מחליפים את NAME בשם החיבור של המכונה ב-Cloud SQL.

התחברות לכתובת ה-IP הפנימית של Cloud SQL

1. משתמשים בכתובת ה-IP הפנימית של מכונת Cloud SQL לחיבורים.
2. מגדירים את האפליקציה או הכלי כך שיתחברו לכתובת ה-IP הפנימית, ומציינים את פרטי הכניסה ופרטי מסד הנתונים המתאימים.

כשמתחברים מפרויקט אחר ב- Google Cloud , משתמשים בכתובת ה-IP הפנימית של ה-VM של שרת ה-proxy שפרסתם קודם. הפתרון הזה פותר בעיות של קישור טרנזיטיבי בין רשתות שכנות (VPC).

יצירת חיבור הרשת

כדי ליצור את חיבור הרשת בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery:

1. נכנסים לדף מחברי רשת במסוף Google Cloud .

   כניסה לדף Network attachments

2. לחץ צור מחבר רשת.

3. נותנים שם לחיבור הרשת.

4. בוחרים את רשת ה-VPC המתאימה.

5. בשדה Region, מציינים את האזור שבו נמצא המחבר של שירות העברת הנתונים ל-BigQuery.

6. בשדה Subnetwork, בוחרים את האפשרות שמתאימה להגדרה שלכם.

7. לוחצים על יצירת מחבר רשת.

בדיקת החיבור

1. מוודאים שה-VM עם שרת ה-proxy ל-Cloud SQL יכול להתחבר למכונה של Cloud SQL:

   mysql -u USERNAME -p -h IP_ADDRESS
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫USERNAME: שם המשתמש של המשתמש במסד הנתונים
   • ‫IP_ADDRESS: כתובת ה-IP של המכונה ב-Cloud SQL

2. מוודאים שהאפליקציות בפרויקט של המחבר של שירות העברת הנתונים ל-BigQuery יכולות להתחבר למכונה של Cloud SQL באמצעות כתובת ה-IP הפנימית.

פתרון בעיות

אם נתקלתם בבעיות בהגדרת הרשת, בצעו את הפעולות הבאות:

• מוודאים שנוצר קישור VPC ושהמסלולים מוגדרים בצורה נכונה.
• מוודאים שהכללים של חומת האש מאפשרים תנועה ביציאות הנדרשות.
• בודקים אם יש שגיאות ביומנים של שרת ה-proxy של Cloud SQL ומוודאים שהוא פועל כמו שצריך.
• מוודאים שחיבור הרשת מוגדר ומחובר בצורה נכונה.