Apache Cassandra

מחבר Apache Cassandra מאפשר לכם לבצע פעולות של הוספה, מחיקה, עדכון וקריאה במסד נתונים של Cassandra.

לפני שמתחילים

לפני שמשתמשים במחבר Apache Cassandra, צריך לבצע את המשימות הבאות:

  • בפרויקט שלכם ב-Google Cloud:
    • מוודאים שהגדרתם חיבור לרשת. מידע על תבניות רשת זמין במאמר קישוריות לרשת.
    • נותנים למשתמש שמגדיר את המחבר את תפקיד ה-IAM‏ roles/connectors.admin.
    • מקצים לחשבון השירות שרוצים להשתמש בו עבור המחבר את תפקידי ה-IAM הבאים:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      חשבון שירות הוא סוג מיוחד של חשבון Google שמייצג משתמש לא אנושי, שצריך לאמת ולאשר כדי לתת לו גישה לנתונים ב-Google APIs. אם אין לכם חשבון שירות, אתם צריכים ליצור חשבון שירות. המחבר וחשבון השירות צריכים להיות שייכים לאותו פרויקט. מידע נוסף זמין במאמר בנושא יצירת חשבון שירות.

    • מפעילים את השירותים הבאים:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      במאמר הפעלת שירותים מוסבר איך להפעיל שירותים.

    אם השירותים או ההרשאות האלה לא הופעלו בפרויקט שלכם בעבר, תתבקשו להפעיל אותם כשאתם מגדירים את המחבר.

  • מידע על הגדרת אימות זמין במאמר הגדרת אימות.

הגדרת המחבר

החיבור הוא ספציפי למקור נתונים. אם יש לכם הרבה מקורות נתונים, תצטרכו ליצור חיבור נפרד לכל אחד מהם. כדי ליצור קישור:

  1. במסוף Cloud, עוברים לדף Integration Connectors > Connections ובוחרים או יוצרים פרויקט בענן.

    כניסה לדף Connections

  2. לוחצים על + יצירת חיבור חדש כדי לפתוח את הדף יצירת חיבור.
  3. בקטע מיקום, בוחרים את המיקום של החיבור.
    1. אזור: בוחרים מיקום מהרשימה הנפתחת.

      רשימה של כל האזורים הנתמכים מופיעה במאמר מיקומים.

    2. לוחצים על הבא.
  4. בקטע פרטי החיבור, ממלאים את הפרטים הבאים:
    1. מחבר: בוחרים באפשרות Apache Cassandra מהרשימה הנפתחת של המחברים הזמינים.
    2. גרסת כלי החיבור: בוחרים את גרסת כלי החיבור מהרשימה הנפתחת של הגרסאות הזמינות.
    3. בשדה Connection Name (שם החיבור), מזינים שם למופע החיבור.

      השמות של החיבורים צריכים לעמוד בקריטריונים הבאים:

      • שמות החיבורים יכולים לכלול אותיות, מספרים או מקפים.
      • האותיות צריכות להיות קטנות.
      • שמות החיבורים צריכים להתחיל באות ולהסתיים באות או במספר.
      • שמות החיבורים לא יכולים לכלול יותר מ-49 תווים.
    4. אופציונלי: מזינים תיאור למופע החיבור.
    5. אופציונלי: מפעילים את Cloud Logging ואז בוחרים רמת יומן. כברירת מחדל, רמת היומן מוגדרת כ-Error.
    6. חשבון שירות: בוחרים חשבון שירות שיש לו את התפקידים הנדרשים.
    7. אופציונלי: מגדירים את ההגדרות של צומת החיבור:

      • מספר מינימלי של צמתים: מזינים את המספר המינימלי של צמתי חיבור.
      • מספר הצמתים המקסימלי: מזינים את מספר צמתי החיבור המקסימלי.

      צומת הוא יחידה (או עותק) של חיבור שמבצעת עיבוד של עסקאות. כדי לעבד יותר עסקאות לחיבור נדרשים יותר צמתים, ולהפך: כדי לעבד פחות עסקאות נדרשים פחות צמתים. כדי להבין איך הצמתים משפיעים על התמחור של המחבר, אפשר לעיין במאמר בנושא תמחור של צמתי חיבור. אם לא מזינים ערכים, כברירת מחדל, מספר הצמתים המינימלי מוגדר כ-2 (לזמינות טובה יותר) ומספר הצמתים המקסימלי מוגדר כ-50.

    8. Keyspace: Cassandra Keyspace
    9. אופציונלי: לוחצים על + הוספת תווית כדי להוסיף תווית לקישור בצורה של צמד מפתח/ערך.
    10. לוחצים על הבא.
  5. בקטע יעדים, מזינים את הפרטים של המארח המרוחק (מערכת העורף) שאליו רוצים להתחבר.
    1. סוג היעד: בוחרים סוג יעד.
      • כדי לציין את שם המארח או את כתובת ה-IP של היעד, בוחרים באפשרות כתובת המארח ומזינים את הכתובת בשדה מארח 1.
      • כדי ליצור חיבור פרטי, בוחרים באפשרות Endpoint attachment (צירוף נקודת קצה). ברשימה Endpoint Attachment, בוחרים את קובץ ה-Endpoint Attachment שנוצר עבור מערכת ה-Backend.

      אם רוצים ליצור חיבור ציבורי למערכות העורפיות עם אבטחה נוספת, אפשר להגדיר כתובות IP סטטיות יוצאות לחיבורים, ואז להגדיר את כללי חומת האש כך שרק כתובות ה-IP הסטטיות הספציפיות יופיעו ברשימת ההיתרים.

      כדי להזין יעדים נוספים, לוחצים על +הוספת יעד.

    2. לוחצים על הבא.
  6. בקטע אימות, מזינים את פרטי האימות.
    1. בוחרים סוג אימות ומזינים את הפרטים הרלוונטיים.

      החיבור ל-Apache Cassandra תומך בסוגי האימות הבאים:

      • שם משתמש וסיסמה
    2. כדי להבין איך להגדיר את סוגי האימות האלה, אפשר לעיין במאמר בנושא הגדרת אימות.

    3. לוחצים על הבא.
  7. בדיקה: בודקים את פרטי החיבור והאימות.
  8. לוחצים על יצירה.

הגדרת אימות

מזינים את הפרטים בהתאם לאימות שבו רוצים להשתמש.

  • שם משתמש וסיסמה
    • שם משתמש: שם המשתמש של Apache Cassandra שבו רוצים להשתמש לחיבור.
    • סיסמה: סוד ב-Secret Manager שמכיל את הסיסמה שמשויכת לשם המשתמש של Apache Cassandra.

דוגמאות להגדרת חיבור

סוג החיבור לאימות בסיסי

שם השדה פרטים
מיקום us-central1
מחבר apachecassandra
גרסת המחבר 1
שם החיבור apache-cassandra-vm-conn
הפעלת Cloud Logging כן
חשבון השירות SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
מסד נתונים test-google-cloud
סכימות שניתנות לעיון
מספר הצמתים המינימלי 2
מספר הצמתים המקסימלי 50
הפעלת SSL (הגדרת SSL) לא
סוג היעד כתובת המארח
מארח ‫192.0.2.0
יציאה PORT
שם משתמש שם משתמש
סיסמה PASSWORD
גרסה של סוד 1

אם SSL מושבת במופע Cassandra, אי אפשר להשתמש באימות בסיסי עם שם משתמש וסיסמה. אם SSL מופעל במופע Cassandra, צריך ליצור אישור SSL, להפעיל SSL בחיבור Cassandra ולציין את האישור הציבורי או הפרטי.

אם SSL מופעל במופע PSC, סוגי אימות אחרים לא יפעלו. מפעילים SSL בחיבור Cassandra ומציינים את האישור הציבורי או הפרטי.

סוג החיבור של PSC

שם השדה פרטים
מיקום us-central1
מחבר apachecassandra
גרסת המחבר 1
שם החיבור apache-cassandra-vm-conn-psc
הפעלת Cloud Logging כן
חשבון השירות SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
מסד נתונים DATABASE_NAME
סכימות שניתנות לעיון
מספר הצמתים המינימלי 2
מספר הצמתים המקסימלי 50
הגדרת SSL לא
סוג היעד כתובת המארח
מארח ‫192.0.2.0
יציאה PORT
שם משתמש שם משתמש
סיסמה PASSWORD
גרסה של סוד 1

סוג החיבור SSL

שם השדה פרטים
מיקום us-central1
מחבר apachecassandra
גרסת המחבר 1
שם החיבור apache-cassandra-vm-conn
הפעלת Cloud Logging כן
חשבון השירות SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
מסד נתונים testgcp
סכימות שניתנות לעיון
מספר הצמתים המינימלי 2
מספר הצמתים המקסימלי 50
הפעלת SSL (בקטע SSL Configuration) כן
בוחרים במודל מהימן (בקטע Trust Store) פרטי
מאגר אישורים בהתאמה אישית CUSTOM_TRUST_STORE
גרסה של סוד 1
אישור לקוח (בקטע Key Store) CLIENT_CERT
גרסה של סוד 1
מפתח פרטי של הלקוח (בקטע Key Store) CLIENT_PRIVATE_KEY
גרסה של סוד 1
סוג היעד כתובת המארח
מארח ‫192.0.2.0
יציאה PORT
שם משתמש שם משתמש
סיסמה PASSWORD
גרסה של סוד 1

סוג הקישוריות של כמה צמתים

שם השדה פרטים
מיקום europe-west1
מחבר apachecassandra
גרסת המחבר 1
שם החיבור apache-cassandra-vm-conn-multinode1
הפעלת Cloud Logging כן
חשבון השירות SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
מסד נתונים test-google-cloud
סכימות שניתנות לעיון
מספר הצמתים המינימלי 2
מספר הצמתים המקסימלי 50
הפעלת SSL (בקטע SSL Configuration) לא
סוג היעד כתובת המארח
מארח ‫192.0.2.0
יציאה PORT
מארח ‫192.0.2.0
יציאה PORT
מארח ‫192.0.2.0
יציאה PORT
שם משתמש שם משתמש
סיסמה PASSWORD
גרסה של סוד 1

כדי להשתמש בסוג חיבור מרובה צמתים, צריך להשבית את ה-SSL במופע של Cassandra ולהשתמש בשם המשתמש ובסיסמה כדי לבצע אימות. אם SSL מופעל במופע Cassandra, צריך ליצור אישור SSL, להפעיל SSL בחיבור Cassandra ולציין את האישור הציבורי או הפרטי.

מערכת מרובת צמתים עם סוג חיבור SSL

שם השדה פרטים
מיקום europe-west1
מחבר apachecassandra
גרסת המחבר 1
שם החיבור apache-cassandra-vm-conn-multinode1
הפעלת Cloud Logging כן
חשבון השירות SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com/td>
מסד נתונים test-google-cloud
סכימות שניתנות לעיון
מספר הצמתים המינימלי 2
מספר הצמתים המקסימלי 50
הפעלת SSL (בקטע SSL Configuration) כן
בוחרים במודל מהימן (בקטע Trust Store) פרטי
מאגר אישורים בהתאמה אישית CUSTOM_TRUST_STORE
גרסה של סוד 1
אישור לקוח (בקטע Key Store) CLIENT_CERT
גרסה של סוד 1
מפתח פרטי של הלקוח (בקטע Key Store) CLIENT_PRIVATE_KEY
גרסה של סוד 1
סוג היעד כתובת המארח
מארח 192.0.2.1
יציאה PORT
מארח 192.0.2.2
יציאה PORT
מארח 3 192.0.2.3
יציאה PORT
שם משתמש שם משתמש
סיסמה PASSWORD
גרסה של סוד 1

מידע על הגדרת SSL ל-Apache Cassandra זמין במאמר הגדרת אשכול Cassandra עם SSL

מידע על הגדרת Cassandra בצומת יחיד זמין במאמרים התקנת Cassandra או התקנת Apache Cassandra ב-CentOS 7 .

מידע על הגדרת Cassandra בכמה צמתים זמין במאמרים איך להתקין את Cassandra בכמה מרכזי נתונים או הפעלת אשכול עם כמה צמתים.

ישויות, פעולות ופעולות

כל Integration Connectors מספקים שכבת הפשטה לאובייקטים של האפליקציה המחוברת. אפשר לגשת לאובייקטים של אפליקציה רק דרך ההפשטה הזו. ההפשטה מוצגת לכם כישויות, פעולות ופעולות.

  • ישות: ישות היא אובייקט או אוסף של מאפיינים באפליקציה או בשירות המקושרים. ההגדרה של ישות משתנה ממחבר למחבר. לדוגמה, במחבר של מסד נתונים, הטבלאות הן הישויות, במחבר של שרת קבצים, התיקיות הן הישויות, ובמחבר של מערכת הודעות, התורים הם הישויות.

    עם זאת, יכול להיות שמחבר לא תומך בישויות או שאין לו ישויות, ובמקרה כזה הרשימה Entities תהיה ריקה.

  • פעולה: פעולה היא הפעילות שאפשר לבצע בישות. אפשר לבצע כל אחת מהפעולות הבאות בישות:

    בחירה של ישות מתוך הרשימה הזמינה יוצרת רשימה של פעולות שזמינות לישות. תיאור מפורט של הפעולות זמין במאמר פעולות על ישויות של משימת המחברים. עם זאת, אם מחבר לא תומך באף אחת מהפעולות על ישויות, הפעולות הלא נתמכות האלה לא יופיעו ברשימה Operations.

  • פעולה: פעולה היא פונקציה מסוג first class שזמינה לשילוב דרך ממשק המחבר. פעולה מאפשרת לבצע שינויים בישות אחת או בכמה ישויות, והיא משתנה ממתחם למתחם. בדרך כלל, לפעולה יהיו כמה פרמטרים של קלט ופרמטר של פלט. עם זאת, יכול להיות שמחבר לא תומך באף פעולה, ובמקרה כזה הרשימה Actions תהיה ריקה.

מגבלות המערכת

מחבר Apache Cassandra יכול לעבד 65 עסקאות בשנייה, לכל צומת, ומגביל את כל העסקאות מעבר למגבלה הזו. כברירת מחדל, Integration Connectors מקצה 2 צמתים (לזמינות טובה יותר) לחיבור.

שימוש בחיבור Apache Cassandra בשילוב

אחרי שיוצרים את החיבור, הוא זמין גם ב-Apigee Integration וגם ב-Application Integration. אפשר להשתמש בחיבור בשילוב באמצעות המשימה Connectors.

  • כדי להבין איך ליצור ולהשתמש במשימה Connectors ב-Apigee Integration, אפשר לעיין במאמר משימת Connectors.
  • מידע על יצירה ושימוש במשימת מחברים ב-Application Integration זמין במאמר משימת מחברים.

מידע על המגבלות שחלות על Integration Connectors זמין במאמר מגבלות.

פעולות

המחבר הזה תומך בביצוע הפעולות הבאות:

  • פונקציות ותהליכים מאוחסנים שמוגדרים על ידי המשתמש. אם יש לכם פרוצדורות מאוחסנות ופונקציות בקצה העורפי, הן מפורטות בעמודה Actions של תיבת הדו-שיח Configure connector task.
  • שאילתות SQL בהתאמה אישית. כדי להריץ שאילתות SQL מותאמות אישית, המחבר מספק את הפעולה Execute custom query (הרצת שאילתה מותאמת אישית).

    כדי ליצור שאילתה בהתאמה אישית, פועלים לפי השלבים הבאים:

    1. פועלים לפי ההוראות המפורטות ל הוספת משימה של מחברים.
    2. כשמגדירים את משימת המחבר, בוחרים באפשרות פעולות בסוג הפעולה שרוצים לבצע.
    3. ברשימה Action, בוחרים באפשרות Execute custom query ולוחצים על Done.

      תמונה שמציגה את הפעולה execute-custom-query-action תמונה שמציגה את הפעולה execute-custom-query-action

    4. מרחיבים את הקטע Task input (קלט למשימה) ומבצעים את הפעולות הבאות:
      1. בשדה Timeout after, מזינים את מספר השניות להמתנה עד להפעלת השאילתה.

        ערך ברירת המחדל: 180 שניות.

      2. בשדה Maximum number of rows (מספר השורות המקסימלי), מזינים את מספר השורות המקסימלי שיוחזר ממסד הנתונים.

        ערך ברירת המחדל: 25.

      3. כדי לעדכן את השאילתה המותאמת אישית, לוחצים על עריכת סקריפט בהתאמה אישית. תיפתח תיבת הדו-שיח עורך הסקריפטים.

        תמונה שבה מוצגת שאילתת SQL בהתאמה אישית תמונה שבה מוצגת שאילתת SQL בהתאמה אישית

      4. בתיבת הדו-שיח הכלי לעריכת סקריפטים, מזינים את שאילתת ה-SQL ולוחצים על שמירה.

        אפשר להשתמש בסימן שאלה (?) בהצהרת SQL כדי לייצג פרמטר יחיד שצריך לציין ברשימת פרמטרים של שאילתה. לדוגמה, שאילתת ה-SQL הבאה בוחרת את כל השורות מהטבלה Employees שתואמות לערכים שצוינו בעמודה LastName:

        SELECT * FROM Employees where LastName=?

      5. אם השתמשתם בסימני שאלה בשאילתת ה-SQL, צריך להוסיף את הפרמטר על ידי לחיצה על + הוספת שם פרמטר לכל סימן שאלה. במהלך ההפעלה של השילוב, הפרמטרים האלה מחליפים את סימני השאלה (?) בשאילתת ה-SQL באופן עקבי. לדוגמה, אם הוספתם שלושה סימני שאלה (?), אתם צריכים להוסיף שלושה פרמטרים לפי הסדר.

        תמונה שמראה את האפשרות add-query-param תמונה שמראה את האפשרות add-query-param

        כדי להוסיף פרמטרים של שאילתה:

        1. מהרשימה סוג בוחרים את סוג הנתונים של הפרמטר.
        2. בשדה ערך, מזינים את הערך של הפרמטר.
        3. כדי להוסיף כמה פרמטרים, לוחצים על + הוספת פרמטר של שאילתה.
      6. הפעולה Execute custom query לא תומכת במשתני מערך.

דוגמאות לפעולות על ישויות

דוגמה – רשימת רשומות של ישות

בדוגמה הזו מוצגת רשימת הרשומות של הישות Users.

  1. בתיבת הדו-שיח Configure connector task, לוחצים על Entities.
  2. בוחרים באפשרות Users מהרשימה Entity.
  3. בוחרים את הפעולה List ולוחצים על סיום.
  4. בקטע Task Input (קלט למשימה) של המשימה Connectors (מחברים), אפשר להגדיר את filterClause (סעיף מסנן) בהתאם לדרישות.

    לדוגמה, אם מגדירים את סעיף המסנן ל-employeeCode='5100' and startDate='2010-01-01 00:00:00', מוצגים רק הרשומות שבהן employeeCode הוא 5100 ו-startDate הוא 2010-01-01 00:00:00.

דוגמה – שליפת רשומה אחת מישות

בדוגמה הזו מאחזרים רשומה מהישות Users.

  1. בתיבת הדו-שיח Configure connector task, לוחצים על Entities.
  2. בוחרים באפשרות User מהרשימה Entity.
  3. בוחרים את הפעולה Get ולוחצים על סיום.
  4. בקטע Task Input (קלט של משימה) במשימה Connectors (מחברים), לוחצים על entityId ואז מזינים 103032 בשדה Default Value (ערך ברירת מחדל).

    כאן, 103032 הוא ערך המפתח הראשי של הישות Users.

דוגמה – מחיקת רשומה מישות

בדוגמה הזו נמחקת רשומה מהישות Users.

  1. בתיבת הדו-שיח Configure connector task, לוחצים על Entities.
  2. בוחרים באפשרות Users מהרשימה Entity.
  3. בוחרים את הפעולה Delete ולוחצים על סיום.
  4. בקטע Task Input (קלט של משימה) במשימה Connectors (מחברים), לוחצים על entityId ואז מזינים 113132 בשדה Default Value (ערך ברירת מחדל).

    לחלופין, אם לישות יש מפתחות ראשיים מורכבים, במקום לציין את entityId, אפשר להגדיר את filterClause. לדוגמה, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

דוגמה – יצירת רשומה בישות

בדוגמה הזו נוצרת רשומה בישות Users.

  1. בתיבת הדו-שיח Configure connector task, לוחצים על Entities.
  2. בוחרים באפשרות Users מהרשימה Entity.
  3. בוחרים את הפעולה Create ולוחצים על סיום.
  4. בקטע Task Input (קלט המשימה) של המשימה Connectors (מחברים), לוחצים על connectorInputPayload ומזינים ערך דומה לערך הבא בשדה Default Value:
    {
    "employeeCode": "5100",
    "startDate": "2010-01-01 00:00:00.0",
    "country": "US"
    }
  5. אם השילוב יצליח, השדה connectorOutputPayload של משימת המחבר יכיל את התגובה של פעולת היצירה.

דוגמה – עדכון רשומה בישות

בדוגמה הזו מעדכנים רשומה בישות Users.

  1. בתיבת הדו-שיח Configure connector task, לוחצים על Entities.
  2. בוחרים באפשרות Users מהרשימה Entity.
  3. בוחרים את הפעולה Update ולוחצים על סיום.
  4. בקטע Task Input (קלט המשימה) של המשימה Connectors (מחברים), לוחצים על connectorInputPayload ומזינים ערך דומה לערך הבא בשדה Default Value:
    {
    "country": "IN"
    }
  5. בקטע Task Input (קלט של משימה) במשימה Connectors (מחברים), לוחצים על entityId ואז מזינים 113132 בשדה Default Value (ערך ברירת מחדל).

    לחלופין, אם לישות יש מפתחות ראשיים מורכבים, במקום לציין את entityId, אפשר להגדיר את filterClause. לדוגמה, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

  6. אם השילוב יצליח, בשדה connectorOutputPayload של משימת המחבר תופיע התגובה של פעולת העדכון.

יצירת חיבורים באמצעות Terraform

אפשר להשתמש במשאב של Terraform כדי ליצור חיבור חדש.

כדי ללמוד איך להחיל הגדרות ב-Terraform או להסיר אותן, ראו פקודות בסיסיות ב-Terraform.

כדי לראות תבנית לדוגמה של Terraform ליצירת חיבור, אפשר לעיין בתבנית לדוגמה.

כשיוצרים את החיבור הזה באמצעות Terraform, צריך להגדיר את המשתנים הבאים בקובץ ההגדרות של Terraform:

שם הפרמטר סוג נתונים חובה תיאור
מרחב מפתחות מחרוזת נכון Cassandra Keyspace

קבלת עזרה מקהילת Google Cloud

אתם יכולים לפרסם את השאלות שלכם ולדון במחבר הזה בקהילת Google Cloud בפורומים של Cloud.

המאמרים הבאים