Bigtable Beam connector

מחבר Bigtable Beam‏ (BigtableIO) הוא מחבר קלט/פלט של Apache Beam בקוד פתוח, שיכול לעזור לכם לבצע פעולות באצווה ובסטרימינג על נתונים ב-Bigtable בפייפליין באמצעות Dataflow.

אם אתם מבצעים מיגרציה מ-HBase ל-Bigtable או אם אתם מריצים אפליקציה שמשתמשת ב-HBase API במקום ב-Bigtable APIs, אתם צריכים להשתמש בBigtable HBase Beam connector ‏(CloudBigtableIO) במקום במחבר שמתואר בדף הזה.

פרטי המחבר

מחבר Bigtable Beam הוא רכיב של מאגר Apache Beam GitHub. ה-Javadoc זמין בכתובת Class BigtableIO.

לפני שיוצרים צינור עיבוד נתונים של Dataflow, כדאי לעיין בתמיכה בזמן ריצה של Apache Beam כדי לוודא שאתם משתמשים בגרסת Java שנתמכת ב-Dataflow. משתמשים בגרסה העדכנית ביותר של Apache Beam שנתמכת.

מחבר Bigtable Beam משמש בשילוב עם לקוח Bigtable ל-Java, ספריית לקוח שקוראת ל-Bigtable APIs. אתם כותבים קוד לפריסת צינור עיבוד נתונים שמשתמש במחבר ל-Dataflow, שמטפל בהקצאה ובניהול של משאבים ועוזר לשפר את יכולת ההתאמה ואת המהימנות של עיבוד הנתונים.

מידע נוסף על מודל התכנות של Apache Beam זמין במסמכי התיעוד של Beam.

בקרה על זרימת נתונים בכתיבה של קבוצות

כששולחים כתיבות באצווה (כולל בקשות מחיקה) לטבלה באמצעות מחבר Bigtable Beam, אפשר להפעיל בקרה על זרימת נתונים של כתיבות באצווה. כשמפעילים את התכונה הזו, Bigtable מבצע באופן אוטומטי את הפעולות הבאות:

  • הגבלת קצב התנועה כדי למנוע עומס יתר על אשכול Bigtable
  • הבדיקה מוודאת שהעומס על האשכול מספיק כדי להפעיל את ההתאמה האוטומטית לעומס (automatic scaling) של Bigtable (אם הוא מופעל), כך שיוספו לאשכול עוד צמתים באופן אוטומטי כשצריך

מידע נוסף זמין במאמר בנושא בקרת זרימת כתיבה של נתונים בכמות גדולה. דוגמת קוד מופיעה במאמר בנושא הפעלת בקרה על זרימת נתונים של כתיבה בכמות גדולה.

המאמרים הבאים