כדאי לעיין במחברות Dataflow ML כדי לשלב למידת מכונה בצינורות Apache Beam. קובצי ה-notebook האלה כוללים דוגמאות מעשיות והנחיות לשימוש בתהליכי עבודה נפוצים של למידת מכונה.
בעזרת המקורות האלה תוכלו:
- עיבוד מראש של נתונים למודלים של למידת מכונה (ML): כולל משימות כמו שינוי קנה מידה של נתונים, חישוב אוצר מילים ושימוש ב-
MLTransformלהכנת נתונים. - הפעלת הסקה עם מודלים ומסגרות שונים: אפשר להשתמש ב-
RunInferencetransform עם PyTorch, TensorFlow, scikit-learn, מודלים של Hugging Face, מודלים של Gemma ו-Vertex AI, כולל במעבדי GPU עם vLLM. - יצירה וניהול של הטמעות: יצירת הטמעות של טקסט באמצעות Vertex AI או Hugging Face, והטמעה שלהן במסדי נתונים כמו AlloyDB ו-BigQuery לחיפוש וקטורי.
- הטמעה של דפוסים מתקדמים של צינורות ML: כולל רענון אוטומטי של מודלים בצינורות פעילים, שימוש בכמה מודלים, בניית מודלים משולבים והעשרת נתונים באמצעות BigQuery, Bigtable ו-Vertex AI Feature Store.
- החלת ML על תרחישי שימוש ספציפיים: דוגמאות כוללות זיהוי אנומליות, ניתוח סנטימנט וסיכום באמצעות Gemma.
כל המדריכים
|
מושגי ליבה ב-Dataflow וב-MLTransform
|
עיבוד מקדים באמצעות Apache Beam DataFrames API המאמר מדגים את השימוש ב-Apache Beam DataFrames API כדי לבצע שלבים נפוצים של ניתוח מקדים ועיבוד מקדים של נתונים. |
הצגת המחברת |
|
מושגי ליבה ב-Dataflow וב-MLTransform
|
עיבוד מוקדם של נתונים באמצעות MLTransform מבוא בסיסי לשימוש ב-MLTransform לעיבוד מראש של נתונים לתהליכי עבודה של למידת מכונה. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
הטמעה של וקטורים באמצעות Apache Beam ו-AlloyDB הדגמה של יצירת הטמעות מנתונים והטמעה שלהן ב-AlloyDB באמצעות Apache Beam ו-Dataflow לעיבוד נתונים שניתן להרחבה. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
שימוש ב-Apache Beam וב-BigQuery כדי להעשיר נתונים במאמר הזה מוסבר איך להעשיר נתונים באמצעות טרנספורמציית ההעשרה של Apache Beam עם BigQuery. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
הטמעת הטמעה וחיפוש וקטורים באמצעות Apache Beam ו-BigQuery בדוגמה הזו מוסבר איך להשתמש בחבילת Apache Beam RAG כדי ליצור הטמעות, להטמיע אותן ב-BigQuery ולבצע חיפוש של דמיון וקטורי. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
שימוש ב-Apache Beam וב-Bigtable כדי להעשיר נתונים הדגמה של העשרת נתונים באמצעות טרנספורמציית העשרה של Apache Beam עם Bigtable. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
יצירת הטמעות טקסט באמצעות מודלים של Hugging Face Hub משתמש ב-MLTransform כדי ליצור הטמעות מנתוני טקסט באמצעות מסגרת SentenceTransformers של Hugging Face. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
שימוש ב-Apache Beam וב-Vertex AI Feature Store כדי להעשיר נתונים המאמר הזה מסביר איך להעשיר נתונים באמצעות טרנספורמציית ההעשרה של Apache Beam עם Vertex AI Feature Store. |
הצגת המחברת |
|
העשרת נתונים והטמעה
|
יצירת הטמעות טקסט באמצעות Vertex AI API שימוש ב-Vertex AI text-embeddings API כדי ליצור הטמעות טקסט שמתבססות על מודלים גדולים של בינה מלאכותית (AI) גנרטיבית של Google. |
הצגת המחברת |
|
אימון מודלים ועיבוד נתונים
|
עדכון מודלים של למידת מכונה בצינורות פעילים המאמר הזה מדגים איך לבצע עדכונים אוטומטיים של מודלים בלי להפסיק את צינור עיבוד הנתונים של Apache Beam באמצעות קלט צדדי. |
הצגת המחברת |
|
אימון מודלים ועיבוד נתונים
|
חישוב אוצר מילים והחלה שלו על מערך נתונים במאמר הזה מוסבר איך להשתמש ב-MLTransform כדי ליצור אוצר מילים על טקסט קלט ולהקצות ערך אינדקס לכל טוקן. |
הצגת המחברת |
|
אימון מודלים ועיבוד נתונים
|
הפעלת הסקה של ML עם כמה מודלים שאומנו בצורה שונה הדוגמה הזו ממחישה איך להשתמש ב-KeyedModelHandler כדי להריץ הסקה בצינור Apache Beam עם כמה מודלים שונים על בסיס כל מפתח. |
הצגת המחברת |
|
אימון מודלים ועיבוד נתונים
|
שימוש ב-MLTransform כדי להרחיב את הנתונים במאמר הזה מוסבר איך להשתמש ב-MLTransform כדי לשנות את קנה המידה של הנתונים. זהו שלב חשוב בעיבוד מראש של נתונים לצורך אימון מודלים של למידת מכונה (ML). |
הצגת המחברת |
|
אימון מודלים ועיבוד נתונים
|
TensorFlow Model Analysis ב-Beam המאמר מסביר איך אפשר להשתמש ב-TFMA כדי לבדוק ולהמחיש את הביצועים של מודל כחלק מצינור Apache Beam, על ידי יצירה והשוואה של שני מודלים. |
הצגת המחברת |
|
הרצת הסקה
|
הסקת מסקנות מרחוק ב-Apache Beam המאמר הזה מראה איך להטמיע קריאה אישית להסקת מסקנות ב-Apache Beam באמצעות Google Cloud Vision API. |
הצגת המחברת |
|
הרצת הסקה
|
הוספת מודל ML משלכם ל-Beam RunInference המאמר הזה מדגים איך להשתמש בחבילת spaCy כדי לטעון מודל למידת מכונה (ML) ולבצע הסקה בצינור עיבוד נתונים של Apache Beam באמצעות RunInference PTransform. |
הצגת המחברת |
|
הרצת הסקה
|
הרצת הסקה באמצעות מודל Gemma בקוד פתוח הדגמה של טעינת מודל Gemma 2B שהוגדר מראש, ואז שימוש בו בצינור עיבוד נתונים להסקת מסקנות של Apache Beam. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-RunInference ל-AI גנרטיבי המאמר הזה מראה איך להשתמש בטרנספורמציה Apache Beam RunInference למשימות של בינה מלאכותית גנרטיבית עם מודל שפה גדול (LLM) מ-Hugging Face Model Hub. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference עם Hugging Face במאמר הזה מוסבר איך להשתמש במודלים מ-Hugging Face ובצינור עיבוד נתונים של Hugging Face בצינורות של Apache Beam שמשתמשים בטרנספורמציה RunInference. |
הצגת המחברת |
|
הרצת הסקה
|
מודל משולב באמצעות דוגמה של כיתוב תמונה ודירוג בדוגמה הזו מוסבר איך להטמיע מודל קסקדי ב-Apache Beam באמצעות RunInference API להוספת כיתוב לתמונה. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference for PyTorch הדגמה של השימוש בטרנספורמציית RunInference ב-PyTorch. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-RunInference ב-Apache Beam במדריך הזה מוסבר איך להשתמש ב-RunInference API עם שלוש מסגרות פופולריות של ML: PyTorch, TensorFlow ו-scikit-learn. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference ל-scikit-learn הדגמה של השימוש בטרנספורמציית RunInference עבור scikit-learn. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference עם TensorFlow הסבר על השימוש בטרנספורמציה Apache Beam RunInference ל-TensorFlow. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-RunInference עם ספריות משותפות בסיסיות של TFX הדגמה של שימוש בטרנספורמציה RunInference של Apache Beam עם TensorFlow וספריות משותפות בסיסיות של TFX (tfx-bsl). |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference עם TensorFlow ו-TensorFlow Hub הסבר על השימוש בטרנספורמציה Apache Beam RunInference ל-TensorFlow עם מודל מאומן מ-TensorFlow Hub. |
הצגת המחברת |
|
הרצת הסקה
|
Apache Beam RunInference with Vertex AI במאמר הזה מוסבר איך להשתמש בטרנספורמציית Apache Beam RunInference לסיווג תמונות באמצעות Vertex AI. |
הצגת המחברת |
|
הרצת הסקה
|
הרצת הסקה של ML באמצעות vLLM ב-GPU הדגמה של הפעלת הסקה של למידת מכונה באמצעות vLLM ויחידות GPU. |
הצגת המחברת |
|
הרצת הסקה
|
שימוש ב-TPU ב-Dataflow הסבר על הגדרה והפעלה של שני צינורות Dataflow נפרדים שממנפים יחידות לעיבוד טנסורים (TPU). הצינור הראשון מבצע חישוב פשוט כדי לאשר גישה ל-TPU, ואילו הצינור השני, שהוא מורכב יותר, מריץ הסקה עם מודל Gemma-3-27b-it. |
הצגת המחברת |
|
תרחישי שימוש מיוחדים
|
זיהוי אנומליות בנתונים של אצווה וסטרימינג באמצעות Apache Beam (שיטת Z-Score) במאמר הזה מוסבר איך לבצע זיהוי אנומליות בנתונים באצווה ובנתונים בסטרימינג באמצעות AnomalyDetection PTransform עם אלגוריתם Z-Score. |
הצגת המחברת |
|
תרחישי שימוש מיוחדים
|
שימוש ב-Gemma כדי לאמוד את הסנטימנט ולסכם שיחות בסרטון הזה אנחנו מדגימים איך להשתמש ב-Gemma כדי להעריך את הסנטימנט של שיחה, לסכם את תוכן השיחה ולנסח תשובה. |
הצגת המחברת |