Google Cloud משאב הוא כל רכיב שאתם יוצרים או משתמשים בו בתוך Google Cloud. המשאבים האלה הם אבני הבניין של האפליקציות והמערכות שפועלות בפלטפורמה.
המשאבים בשירות המנוהל ל-Apache Kafka כוללים את המשאבים הבאים:
אשכול
נושא
קבוצת צרכנים
ACL
מאגר סכימות
הקשר (במאגר סכימות)
נושא (בתוך מאגר סכימות או הקשר)
גרסה (גרסאות של סכימה בנושא מסוים)
סכימה (מזוהה לפי מזהה, משויכת לנושא אחד או יותר ולגרסאות)
מידע נוסף על מתן שמות כלליים Google Cloud למשאבים זמין במאמר שמות משאבים. ממשק schema registry API ל-שירות מנוהל ל-Apache Kafka תוכנן כך שיהיה תואם לממשק API קיים בקוד פתוח, ולכן יכול להיות שחלק ממוסכמות השמות יהיו שונות מהסטנדרטים המקובלים של ממשקי API.
פורמט השמות של המשאבים
אלה הפורמטים של רכיבי התוכן השונים:
אשכול:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/clusters/{CLUSTER_ID}נושא:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/clusters/{CLUSTER_ID}/topics/{TOPIC_ID}קבוצת צרכנים:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/clusters/{CLUSTER_ID}/consumerGroup/{CONSUMER_GROUP_ID}ACL:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/clusters/{CLUSTER_ID}/acl/{ACL_ID}מאגר סכימות:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}ההקשר:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}/contexts/{CONTEXT_ID}נושא:
- במסגרת הקשר של ברירת המחדל:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}/subjects/{SUBJECT_ID} - בהקשר ספציפי:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}/contexts/{CONTEXT_ID}/subjects/{SUBJECT_ID}
- במסגרת הקשר של ברירת המחדל:
סכימה (מזוהה לפי מזהה):
- במסגרת הקשר של ברירת המחדל:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}/schemas/ids/{SCHEMA_ID} - בהקשר ספציפי:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}/contexts/{CONTEXT_ID}/schemas/ids/{SCHEMA_ID}
- במסגרת הקשר של ברירת המחדל:
גרסה (מזוהה לפי מספר הגרסה מתחת לנושא):
- במסגרת הקשר של ברירת המחדל:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}/subjects/{SUBJECT_ID}/versions/{VERSION_ID} - בהקשר ספציפי:
projects/{PROJECT_ID}/locations/{LOCATION_NAME}/schemaRegistries/{SCHEMA_REGISTRY_ID}/contexts/{CONTEXT_ID}/subjects/{SUBJECT_ID}/versions/{VERSION_ID}
- במסגרת הקשר של ברירת המחדל:
בקטעים הבאים מפורט כל רכיב.
מזהה פרויקט
הערך צריך להיות מזהה הפרויקט או מספר הפרויקט, שזמינים במסוף Google Cloud . לדוגמה, my-cool-project הוא מזהה פרויקט, ו-123456789123 הוא מספר פרויקט.
מיקום
הערך חייב להיות אחד מהמיקומים הנתמכים של השירות המנוהל ל-Apache Kafka. רשימת המיקומים הזמינים מופיעה במאמר בנושא מיקומים של שירות מנוהל ל-Apache Kafka.
מזהה
ID הוא הקטע האחרון בנתיב המשאב. משתנים כמו {CLUSTER_ID}, {TOPIC_ID}, {CONSUMER_GROUP_ID}, {SCHEMA_REGISTRY_ID}, {CONTEXT_ID} ו-{SUBJECT_ID} צריכים לעמוד בהנחיות הבאות:
לא מתחיל במחרוזת
googהתחלה באות
מגבלות אורך:
מזהי אשכול: מכילים 3 עד 53 תווים.
מזהי נושאים וקבוצות צרכנים: כל אורך שמותר על ידי Apache Kafka. שמות הנושאים ב-Apache Kafka מוגבלים ל-249 תווים.
מזהה מאגר הסכימות: יכול להכיל עד 255 תווים.
מזהה ההקשר: יכול להכיל עד 255 תווים.
מזהה הנושא: מכיל עד 255 בייטים בקידוד UTF-8.
הגבלות תווים:
מזהי אשכולות: צריכים להתאים לביטוי הרגולרי
^[a-z]([-a-z0-9]*[a-z0-9])?. כלומר, אותיות קטנות, מספרים ומקפים. הוא חייב להתחיל באות ולא יכול להסתיים במקף.מזהים של נושאים וקבוצות צרכנים: האימות מתבצע על ידי Kafka. התווים המותרים הם `[a-zA-Z0-9.-], כולל אלפאנומריים של ASCII, נקודות (.), קווים תחתונים () ומקפים (-).
מזהה מאגר הסכימות: אותיות (רישיות או קטנות), מספרים וקווים תחתונים
_.מזהה ההקשר: אותיות (רישיות או קטנות), מספרים והתווים המיוחדים הבאים: מקפים
-, נקודות., קווים תחתונים_, טילדות~, סימני אחוז%או סימני פלוס+.מזהה הנושא: אותיות (רישיות או קטנות), מספרים והתווים המיוחדים הבאים: מקפים
-, נקודות., קווים תחתונים_, טילדות~, סימני אחוז%או סימני פלוס+.
תווים מיוחדים
אתם יכולים להשתמש בתווים המיוחדים שמפורטים בקטע הקודם במזהי משאבים בלי קידוד URL. עם זאת, חשוב לוודא שכל תו מיוחד אחר מקודד או מפוענח בצורה נכונה כשמשתמשים בו בכתובות URL.
לדוגמה, mi-tópico הוא מזהה לא תקין אם ó הוא לא תו מותר עבור סוג המזהה הספציפי של המשאב. עם זאת, mi-topico יהיה תקין אם מותרות רק אותיות לטיניות בסיסיות. הפורמט הזה חשוב כשמבצעים קריאות REST.
אם אתם מפנים לנושא מספריות הלקוח של Kafka, לא נעשה שימוש בנתיב המשאב המלא. המערכת משתמשת רק בשם הנושא עצמו. באופן דומה, כשמבצעים אינטראקציה עם סכימות באמצעות שילובים של לקוחות Kafka, כמו סריאליזציה או דה-סריאליזציה, בדרך כלל משתמשים בשם הנושא ולא בנתיב המשאב המלא.
שיטות למתן שמות לנושאים
כשעובדים עם מאגר סכימות, במיוחד עם שילובים של לקוחות Kafka כמו סדרות וביטול סדרות, שם הנושא הוא קריטי. שיטת מתן השמות לנושאים קובעת איך סכימה נרשמת ומאוחזרת ממאגר הסכימות. אסטרטגיות שונות מציעות רמות שונות של גמישות ושליטה בהתפתחות הסכימה.
אפשר להגדיר את אסטרטגיית מתן השמות לנושאים על ידי הגדרת המאפיין key.subject.name.strategy או value.subject.name.strategy בהגדרות של לקוח Kafka.
TopicNameStrategy
זו אסטרטגיית ברירת המחדל בספריות לקוח של Kafka בקוד פתוח.
שם הנושא נגזר ישירות משם הנושא ב-Kafka, עם התוספת key למפתחות של הודעות או value לערכים של הודעות. אם המדיניות auto.register.schema
מוגדרת לערך true, לקוחות של יצרנים משתמשים ב-topicName-value או ב-topicName-key
לנושא בשם topicName.
הנה כמה דוגמאות:
- שם הנושא:
orders - ערכי הנושא של ההודעה:
orders-value - נושא למפתחות של הודעות:
orders-key
הנה כמה יתרונות לשימוש ב-TopicNameStrategy:
זו אסטרטגיה פשוטה, ולכן היא מתאימה לתרחישי שימוש רבים.
סכימות קשורות ישירות לנושא, ולכן אפשר לפתח את סוגי הרשומות במסגרת נושא יחיד באופן עצמאי.
בהמשך מפורטים החסרונות של השימוש ב-TopicNameStrategy:
- כל נושא יכול לטפל ביעילות רק בסוג אחד של הודעות שמבוסס על סכימת הערכים. הסיבה לכך היא ששם הנושא קבוע וזהה לשם הנושא. אם אתם צריכים לשלוח סוגים שונים של רשומות לאותו נושא, האסטרטגיה הזו לא תעבוד.
RecordNameStrategy
בשיטה הזו משתמשים בשם המלא של מחלקת Avro או Protobuf כנושא.
הנה כמה דוגמאות:
- שם סכימת Avro:
com.example.data.Customer - שם הודעת ה-Protobuf:
com.example.data.Order - נושא לסכימה
customer:com.example.data.Customer - נושא לסכימת
order:com.example.data.Order
הנה כמה יתרונות לשימוש ב-RecordNameStrategy:
מכיוון ששם הנושא לא קשור לנושא, אפשר לשלוח סוגים שונים של רשומות לאותו נושא ב-Kafka. אפשר לעשות את זה כל עוד לכל סוג רשומה יש שם ייחודי שמוגדר במלואו וסכימה תואמת רשומה.
אפשר להשתמש בסכימה של סוג רשומה ספציפי, כמו
com.example.common.Address, בכמה נושאים, וההתפתחות שלה מנוהלת באופן מרכזי תחת נושא אחד.
בהמשך מפורטים החסרונות של השימוש ב-RecordNameStrategy:
- צריך להשתמש באותו נושא ובאותה גרסה לכל הנושאים שמשתמשים בסוג רשומה מסוים. זה יכול להיות מגביל אם אתם צריכים גרסאות שונות של אותו סוג רשומה בנושאים שונים.
TopicRecordNameStrategy
האסטרטגיה הזו משלבת היבטים של TopicNameStrategy ושל RecordNameStrategy.
שם הנושא הוא שילוב של שם הנושא ב-Kafka ושם הכיתה המוסמך המלא של הרשומה, בפורמט TOPIC_NAME-FULLY_QUALIFIED_CLASS_NAME.
הנה כמה דוגמאות:
נושא:
user-eventsשם מלא:
com.example.events.PageViewשם הנושא לשילוב הזה:
user-events-com.example.events.PageViewנושא אחר:
product-interactionsשם מלא:
com.example.events.PageViewשם הנושא לשילוב הזה:
product-interactions-com.example.events.PageView
הנה כמה יתרונות לשימוש ב-TopicRecordNameStrategy:
בדומה ל-
RecordNameStrategy, אפשר לשלוח סוגים שונים של רשומות לאותו נושא.בניגוד ל-
RecordNameStrategy, השיטה הזו מאפשרת לכם לפתח את הסכימה עבור סוג מסוים של רשומה באופן עצמאי בכל נושא. כלומר,my-topic-com.example.project.MyRecordיכול להתפתח בצורה שונה מanother-topic-com.example.project.MyRecord.
בהמשך מפורטים החסרונות של השימוש ב-TopicRecordNameStrategy:
- שמות הנושאים יכולים להיות ארוכים למדי בגלל השילוב של שם הנושא ושם הרשומה המוגדר במלואו.