כדאי לעיין במחברות Dataflow ML כדי לשלב למידת מכונה בצינורות Apache Beam. במחברות האלה יש דוגמאות מעשיות והנחיות לזרימות עבודה נפוצות של למידת מכונה.
בעזרת המשאבים האלה תוכלו:
- עיבוד מראש של נתונים למודלים של למידת מכונה (ML): כולל משימות כמו שינוי קנה מידה של נתונים, חישוב אוצר מילים ושימוש ב-
MLTransformלהכנת נתונים. - הפעלת הסקה עם מודלים ומסגרות שונים: שימוש ב
RunInferencetransform עם PyTorch, TensorFlow, scikit-learn, מודלים של Hugging Face, מודלים של Gemma ו-Gemini Enterprise Agent Platform, כולל במעבדי GPU עם vLLM. - יצירה וניהול של הטמעות: יצירת הטמעות של טקסט באמצעות Agent Platform או Hugging Face, והטמעה שלהן במסדי נתונים כמו AlloyDB ו-BigQuery לחיפוש וקטורי.
- הטמעה של דפוסי פייפליין מתקדמים של ML: כולל רענון אוטומטי של מודלים בפייפליינים פעילים, שימוש בכמה מודלים, בניית מודלים של ensemble והעשרת נתונים באמצעות BigQuery, Bigtable ו-Vertex AI Feature Store.
- החלת ML על תרחישי שימוש ספציפיים: דוגמאות כוללות זיהוי אנומליות, ניתוח סנטימנט וסיכום באמצעות Gemma.
כל המדריכים
|
מושגי ליבה ב-Dataflow וב-MLTransform
|
עיבוד מקדים באמצעות Apache Beam DataFrames API הדגמה של השימוש ב-Apache Beam DataFrames API כדי לבצע שלבים נפוצים של ניתוח נתונים ועיבוד מקדים. |
הצגת המחברת |
|
מושגי ליבה ב-Dataflow וב-MLTransform
|
עיבוד מוקדם של נתונים באמצעות MLTransform מבוא בסיסי לשימוש ב-MLTransform לעיבוד מראש של נתונים לתהליכי עבודה של למידת מכונה. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
הטמעת וקטורים באמצעות Apache Beam ו-AlloyDB המדריך הזה מדגים איך ליצור הטמעות מנתונים ולהטמיע אותן ב-AlloyDB באמצעות Apache Beam ו-Dataflow לעיבוד נתונים שניתן להרחבה. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
שימוש ב-Apache Beam וב-BigQuery כדי להעשיר נתונים במאמר הזה מוסבר איך להעשיר נתונים באמצעות טרנספורמציית ההעשרה של Apache Beam עם BigQuery. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
הטמעת הטמעה וחיפוש וקטורים באמצעות Apache Beam ו-BigQuery המדריך הזה מראה איך להשתמש בחבילת Apache Beam RAG כדי ליצור הטמעות, להטמיע אותן ב-BigQuery ולבצע חיפוש של דמיון וקטורי. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
שימוש ב-Apache Beam וב-Bigtable כדי להעשיר נתונים הדגמה של העשרת נתונים באמצעות טרנספורמציית ההעשרה של Apache Beam עם Bigtable. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
יצירת הטמעות טקסט באמצעות מודלים של Hugging Face Hub משתמש ב-MLTransform כדי ליצור הטמעות מנתוני טקסט באמצעות המסגרת SentenceTransformers של Hugging Face. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
שימוש ב-Apache Beam וב-Vertex AI Feature Store כדי להעשיר נתונים בשיעור הזה נדגים איך להעשיר נתונים באמצעות טרנספורמציית ההעשרה של Apache Beam עם Vertex AI Feature Store. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
יצירת הטמעות טקסט באמצעות Vertex AI API משתמשים ב-Vertex AI text-embeddings API כדי ליצור הטמעות טקסט שמבוססות על מודלים גדולים של בינה מלאכותית (AI) גנרטיבית מבית Google. |
הצגת המחברת |
|
אימון המודל ועיבוד הנתונים
|
עדכון מודלים של למידת מכונה בצינורות פעילים המאמר הזה מדגים איך לבצע עדכונים אוטומטיים של מודלים בלי להפסיק את צינור עיבוד הנתונים של Apache Beam באמצעות קלט צדדי. |
הצגת המחברת |
|
אימון המודל ועיבוד הנתונים
|
חישוב אוצר מילים והחלה שלו על מערך נתונים הדוגמה הזו מראה איך להשתמש ב-MLTransform כדי ליצור אוצר מילים על טקסט קלט ולהקצות ערך אינדקס לכל טוקן. |
הצגת המחברת |
|
אימון המודל ועיבוד הנתונים
|
הפעלת הסקה של ML עם כמה מודלים שאומנו בצורה שונה הדוגמה הזו מראה איך להשתמש ב-KeyedModelHandler כדי להריץ הסקה בצינור Apache Beam עם כמה מודלים שונים על בסיס כל מפתח. |
הצגת המחברת |
|
אימון המודל ועיבוד הנתונים
|
שימוש ב-MLTransform כדי להרחיב את הנתונים במדריך הזה נסביר איך להשתמש ב-MLTransform כדי לשנות את קנה המידה של הנתונים, שהוא שלב חשוב בעיבוד מראש של נתונים לאימון מודלים של למידת מכונה (ML). |
הצגת המחברת |
|
אימון המודל ועיבוד הנתונים
|
TensorFlow Model Analysis ב-Beam המאמר מסביר איך אפשר להשתמש ב-TFMA כדי לבדוק ולהמחיש את הביצועים של מודל כחלק מצינור Apache Beam, על ידי יצירה והשוואה של שני מודלים. |
הצגת המחברת |
|
הרצת הסקה
|
הסקת מסקנות מרחוק ב-Apache Beam הדגמה של הטמעה של קריאת מסקנות מותאמת אישית ב-Apache Beam באמצעות Google Cloud Vision API. |
הצגת המחברת |
|
הרצת הסקה
|
הוספת מודל למידת מכונה משלכם ל-Beam RunInference בשיעור הזה נדגים איך להשתמש בחבילת spaCy כדי לטעון מודל של למידת מכונה (ML) ולבצע הסקת מסקנות בצינור Apache Beam באמצעות RunInference PTransform. |
הצגת המחברת |
|
הרצת הסקה
|
הרצת הסקה באמצעות מודל Gemma בקוד פתוח בשיעור הזה נדגים איך לטעון את מודל Gemma 2B שהוגדר מראש ואז להשתמש בו בצינור עיבוד נתונים של Apache Beam להיקש. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-RunInference ל-AI גנרטיבי במדריך הזה נראה איך להשתמש בטרנספורמציה Apache Beam RunInference למשימות של בינה מלאכותית גנרטיבית עם מודל שפה גדול (LLM) מ-Hugging Face Model Hub. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference עם Hugging Face במאמר הזה מוסבר איך להשתמש במודלים מ-Hugging Face ובצינור עיבוד נתונים של Hugging Face בצינורות עיבוד נתונים של Apache Beam שמשתמשים בטרנספורמציה RunInference. |
הצגת המחברת |
|
הרצת הסקה
|
מודל משולב באמצעות דוגמה של יצירת כיתוב לתמונות ודירוג המאמר הזה מראה איך להטמיע מודל מדורג ב-Apache Beam באמצעות RunInference API ליצירת כיתוב לתמונות. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference for PyTorch הדגמה של השימוש בטרנספורמציית RunInference ב-PyTorch. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-RunInference ב-Apache Beam במדריך הזה נסביר איך להשתמש ב-RunInference API עם שלוש מסגרות פופולריות של ML: PyTorch, TensorFlow ו-scikit-learn. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference ל-scikit-learn הדגמה של השימוש בטרנספורמציה RunInference עבור scikit-learn. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference עם TensorFlow הסבר על השימוש בטרנספורמציה Apache Beam RunInference ל-TensorFlow. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-RunInference עם ספריות משותפות בסיסיות של TFX המאמר הזה מדגים איך להשתמש בטרנספורמציה Apache Beam RunInference עם TensorFlow ו-TFX Basic Shared Libraries (tfx-bsl). |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference עם TensorFlow ו-TensorFlow Hub הסבר איך להשתמש בטרנספורמציה RunInference של Apache Beam ל-TensorFlow עם מודל מאומן מ-TensorFlow Hub. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference with Vertex AI במאמר הזה מוסבר איך להשתמש בטרנספורמציית Apache Beam RunInference לסיווג תמונות באמצעות Vertex AI. |
הצגת המחברת |
|
הרצת הסקה
|
הפעלת היקש של ML באמצעות vLLM ביחידות GPU בשיעור הזה נדגים איך להריץ היקש של למידת מכונה באמצעות vLLM ויחידות GPU. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-TPU ב-Dataflow המאמר הזה מראה איך להגדיר ולהריץ שני צינורות Dataflow נפרדים שמסתמכים על יחידות לעיבוד טנסורים (TPU). צינור הנתונים הראשון מבצע חישוב פשוט כדי לאשר גישה ל-TPU, ואילו צינור הנתונים השני, המורכב יותר, מריץ הסקה עם מודל Gemma-3-27b-it. |
הצגת המחברת |
|
תרחישי שימוש מיוחדים
|
זיהוי אנומליות בנתונים של אצווה ובנתונים של סטרימינג באמצעות Apache Beam (שיטת ציון התקן) במאמר הזה מוסבר איך לבצע זיהוי אנומליות בנתונים באצווה ובנתונים בסטרימינג באמצעות AnomalyDetection PTransform עם אלגוריתם Z-Score. |
הצגת המחברת |
|
תרחישי שימוש מיוחדים
|
שימוש ב-Gemma כדי לאמוד את הסנטימנט ולסכם שיחות בשיעור הזה נסביר איך להשתמש ב-Gemma כדי להעריך את הסנטימנט בשיחה, לסכם את תוכן השיחה ולנסח תשובה. |
הצגת המחברת |