אפשר להשתמש במחבר BigQuery כדי להפעיל גישת קריאה וכתיבה תוכניתית ל-BigQuery. זו דרך אידיאלית לעיבוד נתונים שמאוחסנים ב-BigQuery. הגישה לשורת הפקודה לא חשופה. מחבר BigQuery הוא ספרייה שמאפשרת לאפליקציות של Spark ו-Hadoop לעבד נתונים מ-BigQuery ולכתוב נתונים ב-BigQuery באמצעות המינוח המקורי שלה.
תמחור
כשמשתמשים במחבר, החיובים כוללים עמלות שימוש ב-BigQuery. יכול להיות שיחולו גם החיובים הבאים שספציפיים לשירותים:
- Cloud Storage – המחבר מוריד נתונים לקטגוריה של Cloud Storage לפני או במהלך ההפעלה של העבודה. אחרי שהעבודה מסתיימת בהצלחה, הנתונים נמחקים מ-Cloud Storage. החיוב על נפח האחסון הזה מתבצע בהתאם לתמחור של Cloud Storage. כדי להימנע מחיובים על חריגה מהמיכסה, כדאי לבדוק את החשבון ב-Cloud Storage ולהסיר קבצים זמניים שלא צריך.
- BigQuery Storage API – כדי לשפר את הביצועים, המחבר קורא נתונים באמצעות BigQuery Storage API. השימוש הזה מחויב בהתאם למחירון של BigQuery Storage API.
מחברים זמינים
אפשר להשתמש במחברים הבאים של BigQuery בסביבת Hadoop:
- מחבר Spark BigQuery מוסיף מקור נתונים של Spark, שמאפשר ל-DataFrames ליצור אינטראקציה ישירות עם טבלאות BigQuery באמצעות הפעולות
readו-writeשל Spark. - מחבר Hive BigQuery מוסיף Storage Handler, שמאפשר ל-Apache Hive ליצור אינטראקציה ישירות עם טבלאות BigQuery באמצעות תחביר HiveQL.
- המחבר של Hadoop BigQuery מאפשר לממפים ולמצמצמים של Hadoop ליצור אינטראקציה עם טבלאות BigQuery באמצעות גרסאות מופשטות של המחלקות InputFormat ו-OutputFormat.
שימוש במחברים
כדי להתחיל במהירות להשתמש במחבר BigQuery, אפשר לעיין בדוגמאות הבאות:
המאמרים הבאים
- BigQuery
- פועלים לפי הדוגמה ל-BigQuery ל-Spark.
- מידע נוסף על מחבר Hive BigQuery
- פועלים לפי הדוגמה של BigQuery ל-Java MapReduce.