רכיב HBase אופציונלי ב-Dataproc

ההתקנה של רכיב HBase האופציונלי מוגבלת לאשכולות Dataproc שנוצרו עם גרסת אימג' 1.5 או 2.0.

‫ Google Cloud מספקת שירותים רבים שמאפשרים פריסה של Apache HBase בניהול עצמי, אבל Bigtable היא לרוב האפשרות הטובה ביותר כי היא מספקת API פתוח עם HBase וניידות של עומסי עבודה. אפשר להעביר טבלאות של מסד נתונים מסוג HBase ל-Bigtable כדי לנהל את הנתונים הבסיסיים, ואילו אפליקציות שבעבר פעלו בשילוב עם HBase, כמו Spark, יכולות להישאר ב-Dataproc ולהתחבר בצורה מאובטחת ל-Bigtable. במדריך הזה אנחנו מספקים את השלבים הכלליים לתחילת העבודה עם Bigtable, ומפנים למקורות מידע להעברת נתונים ל-Bigtable מפריסות של Dataproc HBase.

תחילת העבודה עם Bigtable

‫Cloud Bigtable היא פלטפורמת NoSQL עם יכולת הרחבה גבוהה וביצועים טובים, שמספקת תאימות ללקוח Apache HBase API וניידות לעומסי עבודה של HBase. הלקוח תואם לגרסאות 1.x ו-2.x של HBase API, ויכול להיות שהוא כלול באפליקציה הקיימת כדי לקרוא ולכתוב ב-Bigtable. אפליקציות HBase קיימות יכולות להוסיף את ספריית הלקוח של Bigtable HBase כדי לקרוא ולכתוב נתונים שמאוחסנים ב-Bigtable.

מידע נוסף על הגדרת אפליקציית HBase באמצעות Bigtable זמין במאמר Bigtable ו-HBase API.

יצירת אשכול Bigtable

כדי להתחיל להשתמש ב-Bigtable, צריך ליצור אשכול וטבלאות לאחסון נתונים שאוחסנו בעבר ב-HBase. פועלים לפי השלבים שמופיעים בתיעוד של Bigtable בנושא יצירת מופע, אשכול וטבלאות עם אותה סכימה כמו הטבלאות של HBase. כדי ליצור טבלאות באופן אוטומטי מ-DDL של טבלאות HBase, אפשר להשתמש בכלי לתרגום סכימות.

כדי לנהל את הטבלה החדשה שהוקצתה, פותחים את מופע Bigtable ב Google Cloud מסוף כדי לראות את הטבלה ואת תרשימי המעקב בצד השרת, כולל שורות לשנייה, זמן אחזור וקצב העברת נתונים. מידע נוסף זמין במאמר בנושא מעקב.

העברת נתונים מ-Dataproc ל-Bigtable

אחרי שיוצרים את הטבלאות ב-Bigtable, אפשר לייבא את הנתונים ולאמת אותם באמצעות ההנחיות במאמר העברת נתונים מ-HBase ל-Bigtable במצב אופליין. אחרי שמבצעים מיגרציה של הנתונים, אפשר לעדכן את האפליקציות כדי לשלוח פעולות קריאה וכתיבה ל-Bigtable.

המאמרים הבאים