Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
במדריך הזה נסביר איך לכתוב גרף אציקלי מכוון (DAG) של Apache Airflow שפועל בסביבת Managed Service for Apache Airflow.
מכיוון ש-Apache Airflow לא מספק בידוד חזק של DAG ומשימות, מומלץ להשתמש בסביבות ייצור ובדיקה נפרדות כדי למנוע הפרעות ב-DAG. מידע נוסף זמין במאמר בנושא בדיקת DAG.
הגדרת מבנה של DAG ב-Airflow
גרף מכוון מחזורי (DAG) של Airflow מוגדר בקובץ Python ומורכב מהרכיבים הבאים:
- הגדרת DAG
- אופרטורים של זרימת אוויר
- קשרי אופרטורים
בקטעי הקוד הבאים מוצגות דוגמאות לכל רכיב ללא הקשר.
הגדרת DAG
בדוגמה הבאה מוצגת הגדרה של Airflow DAG:
אופרטורים ומשימות
Airflow Operators מתארים את העבודה שצריך לבצע. משימה היא מופע ספציפי של אופרטור.
קשרים בין משימות
קשרי משימות מתארים את הסדר שבו צריך להשלים את העבודה.
דוגמה מלאה לתהליך עבודה של DAG ב-Python
תהליך העבודה הבא הוא תבנית DAG מלאה שפועלת ומורכבת משתי משימות: משימה hello_python ומשימה goodbye_bash:
מידע נוסף על הגדרת DAG ב-Airflow זמין במדריך ל-Airflow ובמאמר מושגים ב-Airflow.
אופרטורים של זרימת אוויר
בדוגמאות הבאות מוצגים כמה אופרטורים פופולריים של Airflow. לעיון במקור מידע מהימן על אופרטורים של Airflow, אפשר לעיין בחומר העזר בנושא אופרטורים ו-Hooks ובאינדקס הספקים.
BashOperator
משתמשים ב-BashOperator כדי להריץ תוכניות של שורת פקודה.
Managed Airflow מריץ את הפקודות שצוינו בסקריפט Bash ב-worker של Airflow. ה-worker הוא קונטיינר Docker מבוסס-Debian והוא כולל כמה חבילות.
- הפקודה
gcloud, כולל פקודת המשנהgcloud storageלעבודה עם קטגוריות של Cloud Storage. bqפקודהkubectlפקודה
PythonOperator
משתמשים ב-PythonOperator כדי להריץ קוד Python שרירותי.
Managed Airflow מריץ את קוד Python בקונטיינר שכולל חבילות של גרסת האימג' של Managed Airflow שבה נעשה שימוש בסביבה שלכם.
כדי להתקין חבילות Python נוספות, ראו התקנת יחסי תלות ב-Python.
Google Cloud אופרטורים
כדי להריץ משימות שמשתמשות במוצרי Google Cloud , משתמשים באופרטורים שלGoogle Cloud Airflow. לדוגמה, אופרטורים של BigQuery שולחים שאילתות ומעבדים נתונים ב-BigQuery.
יש עוד הרבה אופרטורים של Airflow ל Google Cloud ולשירותים ספציפיים שמוצעים על ידי Google Cloud. Google Cloud רשימה מלאה של אופרטורים
EmailOperator
משתמשים ב-EmailOperator כדי לשלוח אימייל מ-DAG. כדי לשלוח אימייל מסביבת Managed Airflow, צריך להגדיר את הסביבה לשימוש ב-SendGrid.
התראות על כשלים באופרטור
מגדירים את email_on_failure ל-True כדי לשלוח התראה באימייל כשמפעיל ב-DAG נכשל. כדי לשלוח התראות באימייל מסביבת Managed Airflow, צריך להגדיר את הסביבה לשימוש ב-SendGrid.
הנחיות לתהליכי עבודה מסוג DAG
ממקמים את כל ספריות Python בהתאמה אישית בארכיון ZIP של DAG בספרייה מקוננת. אין למקם ספריות ברמה העליונה של ספריית ה-DAG.
כש-Airflow סורק את התיקייה
dags/, הוא בודק רק אם יש DAG במודולים של Python שנמצאים ברמה העליונה של תיקיית ה-DAG וברמה העליונה של ארכיון ZIP שנמצא גם הוא ברמה העליונה של התיקייהdags/. אם Airflow נתקל במודול Python בארכיון ZIP שלא מכיל את מחרוזות המשנהairflowו-DAG, הוא מפסיק לעבד את ארכיון ה-ZIP. Airflow מחזיר רק את ה-DAG שנמצאו עד לנקודה הזו.כדי להבטיח עמידות בפני תקלות, אל תגדירו כמה אובייקטים של DAG באותו מודול Python.
אל תשתמשו ב-SubDAGs. במקום זאת, מקבצים משימות בתוך DAGs.
ממקמים את הקבצים הנדרשים בזמן הניתוח של DAG בתיקייה
dags/, ולא בתיקייהdata/.מומלץ לבדוק DAG שפותח או שונה לפי ההוראות לבדיקת DAG.
כלי ה-CLI לפיתוח מקומי של Composer מייעל את הפיתוח של DAG ב-Apache Airflow עבור Managed Airflow (דור 2) על ידי הרצת סביבת Airflow באופן מקומי. בסביבת Airflow המקומית הזו נעשה שימוש בתמונה של גרסה ספציפית של Managed Airflow (דור 2).
מוודאים שפיתוח של DAG לא גורם לעלייה גדולה מדי בזמני הניתוח של DAG.
יכולות להיות כמה סיבות לכשל במשימות של Airflow. כדי למנוע כשלים בהפעלות של DAG שלם, מומלץ להפעיל ניסיונות חוזרים של משימות. הגדרה של מספר הניסיונות החוזרים המקסימלי לערך
0פירושה שלא יתבצעו ניסיונות חוזרים.מומלץ לשנות את האפשרות
default_task_retriesלערך אחר של ניסיונות חוזרים לביצוע המשימה, ולא ל-0. בנוסף, אפשר להגדיר את הפרמטרretriesברמת המשימה.אם רוצים להשתמש ב-GPU במשימות Airflow, צריך ליצור אשכול GKE נפרד שמבוסס על צמתים באמצעות מכונות עם GPU. משתמשים ב-GKEStartPodOperator כדי להריץ את המשימות.
מומלץ להימנע מהרצת משימות שצורכות הרבה משאבים של CPU וזיכרון במאגר הצמתים של האשכול, שבו פועלים רכיבים אחרים של Airflow (מתזמנים, עובדים, שרתי אינטרנט). במקום זאת, אפשר להשתמש ב-KubernetesPodOperator או ב-GKEStartPodOperator.
כשפורסים DAG בסביבה, מעלים רק את הקבצים שנדרשים לפרשנות ולביצוע של DAG בתיקייה
/dags.הגבלת מספר קובצי ה-DAG בתיקייה
/dags.מערכת Airflow מנתחת באופן רציף קובצי DAG בתיקייה
/dags. הניתוח הוא תהליך שחוזר על עצמו בתיקיית ה-DAG, ומספר הקבצים שצריך לטעון (עם התלות שלהם) משפיע על הביצועים של ניתוח ה-DAG ותזמון המשימות. יעיל הרבה יותר להשתמש ב-100 קבצים עם 100 DAG בכל אחד מאשר ב-10,000 קבצים עם DAG אחד בכל אחד, ולכן מומלץ לבצע אופטימיזציה כזו. האופטימיזציה הזו היא איזון בין זמן הניתוח לבין היעילות של יצירה וניהול של DAG.לדוגמה, אם רוצים לפרוס 10,000 קובצי DAG, אפשר ליצור 100 קובצי ZIP, שכל אחד מהם מכיל 100 קובצי DAG.
בנוסף להצעות שלמעלה, אם יש לכם יותר מ-10,000 קובצי DAG, יכול להיות שכדאי ליצור DAG באופן פרוגרמטי. לדוגמה, אתם יכולים להטמיע קובץ Python DAG יחיד שיוצר מספר מסוים של אובייקטים של DAG (לדוגמה, 20 או 100 אובייקטים של DAG).
לא מומלץ להשתמש באופרטורים של Airflow שהוצאו משימוש. במקום זאת, אפשר להשתמש בחלופות העדכניות שלהם.
לא מומלץ להשתמש ב-CloudLoggingHandler לטיפול ברישום ביומן. ה-handler הזה של הרישום גורם לעומס יתר במסד הנתונים של הסביבה ולכשלים הבאים ב-DAG עם השגיאות 'השרת סגר את החיבור באופן לא צפוי'.
שאלות נפוצות בנושא כתיבת DAG
איך אפשר לצמצם את כפילויות הקוד אם רוצים להריץ את אותן משימות או משימות דומות בכמה DAG?
מומלץ להגדיר ספריות ועטיפות כדי לצמצם את כפילות הקוד.
איך אפשר לעשות שימוש חוזר בקוד בין קובצי DAG?
ממקמים את פונקציות השירות בספריית Python מקומית ומייבאים את הפונקציות. אפשר להפנות לפונקציות בכל DAG שנמצא בתיקייה dags/ בדלי של הסביבה.
איך אפשר לצמצם את הסיכון להגדרות שונות?
לדוגמה, יש לכם שני צוותים שרוצים לצבור נתונים גולמיים למדדי הכנסות. הצוותים כותבים שתי משימות שונות במקצת שמשיגות את אותו הדבר. הגדרת ספריות כדי לעבוד עם נתוני ההכנסות, כך שהמטמיעים של DAG צריכים להבהיר את ההגדרה של ההכנסות שמצטברות.
איך מגדירים תלות בין DAG?
ההגדרה תלויה באופן שבו רוצים להגדיר את התלות.
אם יש לכם שני DAG (DAG A ו-DAG B) ואתם רוצים ש-DAG B יופעל אחרי DAG A, אתם יכולים להוסיף TriggerDagRunOperator בסוף DAG A.
אם DAG B תלוי רק בארטיפקט שנוצר על ידי DAG A, כמו הודעת Pub/Sub, יכול להיות שחיישן יתאים יותר.
אם DAG B משולב בצורה הדוקה עם DAG A, יכול להיות שאפשר למזג את שני ה-DAG ל-DAG אחד.
איך מעבירים מזהי הפעלה ייחודיים ל-DAG ולמשימות שלו?
לדוגמה, אתם רוצים להעביר שמות של אשכולות Dataproc ונתיבי קבצים.
כדי ליצור מזהה ייחודי אקראי, מחזירים str(uuid.uuid4()) ב-PythonOperator. המזהה יופיע ב-XComs, כך שתוכלו להפנות למזהה באופרטורים אחרים באמצעות שדות של תבניות.
לפני שמפיקים uuid, כדאי לשקול אם מזהה ספציפי של DagRun יהיה שימושי יותר. אפשר גם להשתמש בפקודות מאקרו כדי להפנות למזהים האלה בהחלפות של Jinja.
איך מפרידים בין משימות ב-DAG?
כל משימה צריכה להיות יחידת עבודה אידמפוטנטית. לכן, מומלץ להימנע מהוספת תהליך עבודה מרובה שלבים בתוך משימה אחת, כמו תוכנית מורכבת שפועלת ב-PythonOperator.
האם כדאי להגדיר כמה משימות ב-DAG אחד כדי לצבור נתונים מכמה מקורות?
לדוגמה, יש לכם כמה טבלאות עם נתונים גולמיים ואתם רוצים ליצור נתונים מצטברים יומיים לכל טבלה. המשימות לא תלויות זו בזו. כדאי ליצור משימה אחת ו-DAG אחד לכל טבלה, או ליצור DAG כללי אחד?
אם אתם רוצים שכל משימה תשתף את אותם מאפיינים ברמת ה-DAG, כמו
schedule, כדאי להגדיר כמה משימות ב-DAG אחד. אחרת, כדי לצמצם את כפילות הקוד, אפשר ליצור כמה DAG ממודול Python יחיד על ידי הצבתם ב-globals() של המודול.
איך מגבילים את מספר המשימות שפועלות בו-זמנית ב-DAG?
לדוגמה, אם אתם רוצים להימנע מחריגה ממכסות או ממגבלות שימוש ב-API, או מריצה של יותר מדי תהליכים בו-זמנית.
אתם יכולים להגדיר מאגרי Airflow בממשק המשתמש האינטרנטי של Airflow ולשייך משימות למאגרים קיימים ב-DAG.
שאלות נפוצות על שימוש באופרטורים
כדאי להשתמש ב-DockerOperator?
אנחנו לא ממליצים להשתמש ב-DockerOperator, אלא אם משתמשים בו להפעלת קונטיינרים בהתקנת Docker מרחוק (לא בתוך אשכול של סביבה). בסביבת Managed Airflow, לאופרטור אין גישה לדמונים של Docker.
במקום זאת, צריך להשתמש ב-KubernetesPodOperator או ב-GKEStartPodOperator. האופרטורים האלה מפעילים pods של Kubernetes באשכולות Kubernetes או GKE, בהתאמה. שימו לב: אנחנו לא ממליצים להפעיל pods באשכול של סביבה, כי זה עלול להוביל לתחרות על משאבים.
כדאי להשתמש ב-SubDagOperator?
לא מומלץ להשתמש ב-SubDagOperator.
כדאי להשתמש בחלופות כמו שמפורט במאמר קיבוץ משימות.
האם כדאי להריץ קוד Python רק ב-PythonOperators כדי להפריד באופן מלא בין אופרטורים של Python?
בהתאם ליעד, יש לכם כמה אפשרויות.
אם הדבר היחיד שחשוב לכם הוא לשמור על יחסי תלות נפרדים של Python, אתם יכולים להשתמש ב-PythonVirtualenvOperator.
כדאי להשתמש ב-KubernetesPodOperator. האופרטור הזה מאפשר להגדיר קבוצות Pod של Kubernetes ולהריץ אותן באשכולות אחרים.
איך מוסיפים חבילות בינאריות או חבילות שאינן PyPI בהתאמה אישית?
אתם יכולים להתקין חבילות שמתארחות במאגרי חבילות פרטיים.
איך מעבירים ארגומנטים באופן אחיד ל-DAG ולמשימות שלו?
אתם יכולים להשתמש בתמיכה המובנית של Airflow בתבניות Jinja כדי להעביר ארגומנטים שאפשר להשתמש בהם בשדות של תבניות.
מתי מתבצעת החלפת התבנית?
החלפת התבנית מתבצעת בתהליכי העבודה של Airflow ממש לפני שקוראים לפונקציה pre_execute של אופרטור. בפועל, המשמעות היא שהתבניות לא מוחלפות עד לרגע שלפני הפעלת המשימה.
איך אפשר לדעת אילו ארגומנטים של אופרטור תומכים בהחלפת תבנית?
ארגומנטים של אופרטורים שתומכים בהחלפת תבניות Jinja2 מסומנים במפורש ככאלה.
מחפשים את השדה template_fields בהגדרת האופרטור, שמכיל רשימה של שמות ארגומנטים שעוברים החלפה בתבנית.
לדוגמה, אפשר לעיין ב-BashOperator, שתומך ביצירת תבניות לארגומנטים bash_command ו-env.
אופרטורים של Airflow שהוצאו משימוש והוסרו
האופרטורים של Airflow שמפורטים בטבלה הבאה הוצאו משימוש:
אל תשתמשו באופרטורים האלה ב-DAG. במקום זאת, צריך להשתמש באופרטורים העדכניים החלופיים שצוינו.
אם אופרטור מופיע כהוסר, סימן שהוא כבר לא זמין באחת מהגרסאות שפורסמו של Managed Airflow (דור 2).
אם מפעיל מופיע כdeprecated, הוא הוצא משימוש ויוסר בגרסה עתידית של Managed Airflow (דור 2).
| אופרטור שהוצא משימוש | אופרטור החלפה |
|---|---|
|
GCSObjectsWtihPrefixExistenceSensor הוסרה בגרסה 7.0.0. גרסאות: composer-3-*, composer-2.0.28-airflow-2.3.3. |
GCSObjectsWithPrefixExistenceSensor זמין בגרסה 2.0.0. גרסאות: composer-3-*, composer-2-*. |
|
CreateAutoMLTextTrainingJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
SupervisedFineTuningTrainOperator זמין בגרסה 10.23.0. גרסאות: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1. |
|
GKEDeploymentHook הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GKEKubernetesHook זמין בגרסה 10.17.0. גרסאות: composer-3-*, composer-2.7.1-airflow-2.7.3. |
|
GKECustomResourceHook הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GKEKubernetesHook זמין בגרסה 10.17.0. גרסאות: composer-3-*, composer-2.7.1-airflow-2.7.3. |
|
GKEPodHook הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GKEKubernetesHook זמין בגרסה 10.17.0. גרסאות: composer-3-*, composer-2.7.1-airflow-2.7.3. |
|
GKEJobHook הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GKEKubernetesHook זמין בגרסה 10.17.0. גרסאות: composer-3-*, composer-2.7.1-airflow-2.7.3. |
|
GKEPodAsyncHook הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GKEKubernetesAsyncHook זמין בגרסה 10.17.0. גרסאות: composer-3-*, composer-2.7.1-airflow-2.7.3. |
|
SecretsManagerHook הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GoogleCloudSecretManagerHook זמין בגרסה 10.18.0. גרסאות: composer-3-airflow-2.7.3-build.6, composer-2.8.3-airflow-2.7.3. |
|
BigQueryExecuteQueryOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
BigQueryInsertJobOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
BigQueryPatchDatasetOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
BigQueryUpdateDatasetOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataflowCreateJavaJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
beam.BeamRunJavaPipelineOperator זמין ב-apache-airflow-providers-apache-beam==1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataflowCreatePythonJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
beam.BeamRunPythonPipelineOperator זמין ב-apache-airflow-providers-apache-beam==1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataprocSubmitPigJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataprocSubmitJobOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataprocSubmitHiveJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataprocSubmitJobOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataprocSubmitSparkSqlJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataprocSubmitJobOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataprocSubmitSparkJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataprocSubmitJobOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataprocSubmitHadoopJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataprocSubmitJobOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
DataprocSubmitPySparkJobOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataprocSubmitJobOperator זמין בגרסה 1.0.0. גרסאות: composer-3-*, composer-2-*. |
|
BigQueryTableExistenceAsyncSensor הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
BigQueryTableExistenceSensor זמין בגרסה 8.12.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
BigQueryTableExistencePartitionAsyncSensor הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
BigQueryTablePartitionExistenceSensor זמין בגרסה 8.12.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
CloudComposerEnvironmentSensor הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
CloudComposerCreateEnvironmentOperator, CloudComposerDeleteEnvironmentOperator, CloudComposerUpdateEnvironmentOperator זמין בגרסה 8.13.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
GCSObjectExistenceAsyncSensor הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GCSObjectExistenceSensor זמין בגרסה 8.12.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
GoogleAnalyticsHook הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GoogleAnalyticsAdminHook זמין בגרסה 8.14.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
GoogleAnalyticsListAccountsOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GoogleAnalyticsAdminListAccountsOperator זמין בגרסה 8.14.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
GoogleAnalyticsGetAdsLinkOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GoogleAnalyticsAdminGetGoogleAdsLinkOperator זמין בגרסה 8.14.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
GoogleAnalyticsRetrieveAdsLinksListOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GoogleAnalyticsAdminListGoogleAdsLinksOperator זמין בגרסה 8.14.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
GoogleAnalyticsDataImportUploadOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GoogleAnalyticsAdminCreateDataStreamOperator זמין בגרסה 8.14.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
GoogleAnalyticsDeletePreviousDataUploadsOperator הוסרה בגרסה 11.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GoogleAnalyticsAdminDeleteDataStreamOperator זמין בגרסה 8.14.0. גרסאות: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3. |
|
DataPipelineHook הוסרה בגרסה 12.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataflowHook זמין בגרסה 10.20.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
CreateDataPipelineOperator הוסרה בגרסה 12.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataflowCreatePipelineOperator זמין בגרסה 10.20.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
RunDataPipelineOperator הוסרה בגרסה 12.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataflowRunPipelineOperator זמין בגרסה 10.20.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
AutoMLBatchPredictOperator הוסרה בגרסה 13.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
vertex_ai.batch_prediction_job זמין בגרסה 10.24.0. גרסאות: composer-3-airflow-2.9.3-build.4, composer-2.9.8-airflow-2.9.3. |
|
PromptLanguageModelOperator הוסרה בגרסה 13.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
TextGenerationModelPredictOperator זמין בגרסה 10.21.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
GenerateTextEmbeddingsOperator הוסרה בגרסה 13.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
TextEmbeddingModelGetEmbeddingsOperator זמין בגרסה 10.21.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
PromptMultimodalModelOperator הוסרה בגרסה 13.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GenerativeModelGenerateContentOperator זמין בגרסה 10.21.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
PromptMultimodalModelWithMediaOperator הוסרה בגרסה 13.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
GenerativeModelGenerateContentOperator זמין בגרסה 10.21.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
DataflowStartSqlJobOperator הוסרה בגרסה 13.0.0. גרסאות: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3. |
DataflowStartYamlJobOperator זמין בגרסה 10.23.0. גרסאות: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1. |
|
DataprocScaleClusterOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
DataprocUpdateClusterOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineStartBatchPredictionJobOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
CreateBatchPredictionJobOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineManageModelOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
MLEngineCreateModelOperator, MLEngineGetModelOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineGetModelOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
GetModelOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineDeleteModelOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
DeleteModelOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineManageVersionOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
MLEngineCreateVersion, MLEngineSetDefaultVersion, MLEngineListVersions, MLEngineDeleteVersion זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineCreateVersionOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
פרמטר parent_model לאופרטורים של VertexAI זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineSetDefaultVersionOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
SetDefaultVersionOnModelOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineListVersionsOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
ListModelVersionsOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineDeleteVersionOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
DeleteModelVersionOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineStartTrainingJobOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
CreateCustomPythonPackageTrainingJobOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
MLEngineTrainingCancelJobOperator הוסר בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
CancelCustomTrainingJobOperator זמין בגרסה 15.0.0. גרסאות: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3. |
|
AutoMLDatasetLink הוסר בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
TranslationLegacyDatasetLink זמין בגרסה 10.19.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
AutoMLDatasetListLink הוסר בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
TranslationDatasetListLink זמין בגרסה 10.19.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
AutoMLModelLink הוסר בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
TranslationLegacyModelLink זמין בגרסה 10.19.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
AutoMLModelTrainLink הוסר בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
TranslationLegacyModelTrainLink זמין בגרסה 10.19.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
AutoMLModelPredictLink הוסר בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
TranslationLegacyModelPredictLink זמין בגרסה 10.19.0. גרסאות: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3. |
|
TextGenerationModelPredictOperator הוסר בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
GenerativeModelGenerateContentOperator זמין בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
LifeSciencesHook הוסר בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
ה-hook של Google Cloud Batch Operators זמין בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
LifeSciencesLink הוסר בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
אין תחליף (ה-API הוצא משימוש) |
|
LifeSciencesRunPipelineOperator הוסר בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
Google Cloud Batch Operators זמין בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
BigQueryCreateEmptyTableOperator הוסר בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
BigQueryCreateTableOperator זמין בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
BigQueryCreateExternalTableOperator הוסר בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
BigQueryCreateTableOperator זמין בגרסה 17.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
GoogleDisplayVideo360CreateQueryOperator הוסרה בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator זמין בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
|
GoogleDisplayVideo360RunQueryOperator הוסרה בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator זמין בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
|
GoogleDisplayVideo360DeleteReportOperator הוסרה בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
משימת ייצוא של קובץ SDF בגרסה 4 של ה-API זמין בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
|
GoogleDisplayVideo360DownloadReportV2Operator הוסרה בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
display_video.GoogleDisplayVideo360SDFtoGCSOperator זמין בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
|
GoogleDisplayVideo360DownloadLineItemsOperator הוסרה בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator זמין בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
|
GoogleDisplayVideo360UploadLineItemsOperator הוסרה בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
display_video.GoogleDisplayVideo360SDFtoGCSOperator זמין בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
|
GoogleDisplayVideo360RunQuerySensor הוסרה בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
משימת ייצוא של קובץ SDF בגרסה 4 של ה-API זמין בגרסה 18.0.0. גרסאות: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5. |
|
AutoMLPredictOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
TextGenerationModelPredictOperator, TranslateTextOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
CloudAutoMLHook הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.auto_ml.AutoMLHook, translate.TranslateHook זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLCreateDatasetOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.dataset.CreateDatasetOperator, translate.TranslateCreateDatasetOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLDeleteDatasetOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLDeleteModelOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.model_service.DeleteModelOperator, translate.TranslateDeleteModelOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLDeployModelOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.endpoint_service.DeployModelOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLGetModelOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.model_service.GetModelOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLImportDataOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.dataset.ImportDataOperator, translate.TranslateImportDataOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLListDatasetOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLTablesListColumnSpecsOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
אין תחליף (הגרסה הקודמת של AutoML Tables הושבתה) |
|
AutoMLTablesListTableSpecsOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
אין תחליף (הגרסה הקודמת של AutoML Tables הושבתה) |
|
AutoMLTablesUpdateDatasetOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.dataset.UpdateDatasetOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
AutoMLTrainModelOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
vertex_ai.auto_ml.CreateAutoMLTabularTrainingJobOperator, CreateAutoMLVideoTrainingJobOperator, CreateAutoMLImageTrainingJobOperator, SupervisedFineTuningTrainOperator, TranslateCreateModelOperator זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
MLEngineCreateModelOperator הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
אופרטור VertexAI תואם זמין בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
|
DataCatalogEntryGroupLink הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogEntryGroupLink זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
DataCatalogEntryLink הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogEntryLink זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
DataCatalogTagTemplateLink הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogAspectTypeLink זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogCreateEntryOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogCreateEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogCreateEntryGroupOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogCreateEntryGroupOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogCreateTagOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogCreateEntryOperator, DataplexCatalogUpdateEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogCreateTagTemplateOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogCreateAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogCreateTagTemplateFieldOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateAspectTypeOperator, DataplexCatalogCreateAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogDeleteEntryGroupOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogDeleteEntryGroupOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogDeleteTagOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogDeleteTagTemplateOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogDeleteAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogDeleteTagTemplateFieldOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogGetEntryOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogGetEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogGetEntryGroupOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogGetEntryGroupOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogGetTagTemplateOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogGetAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogListTagsOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogGetEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogLookupEntryOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogLookupEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogRenameTagTemplateFieldOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogSearchCatalogOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogSearchEntriesOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogUpdateEntryOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogUpdateTagOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateEntryOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogUpdateTagTemplateOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogUpdateTagTemplateFieldOperator הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexCatalogUpdateAspectTypeOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CloudDataCatalogHook הוצא משימוש בגרסה 16.1.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
DataplexHook זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
TextEmbeddingModelGetEmbeddingsOperator הוצא משימוש בגרסה 18.1.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
GenAIGenerateEmbeddingsOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
GenerativeModelGenerateContentOperator הוצא משימוש בגרסה 18.1.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
GenAIGenerateContentOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
SupervisedFineTuningTrainOperator הוצא משימוש בגרסה 18.1.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
GenAISupervisedFineTuningTrainOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CountTokensOperator הוצא משימוש בגרסה 18.1.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
GenAICountTokensOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
CreateCachedContentOperator הוצא משימוש בגרסה 18.1.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
GenAICreateCachedContentOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
GenerateFromCachedContentOperator הוצא משימוש בגרסה 18.1.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
GenAIGenerateContentOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
DeleteExperimentRunOperator הוצא משימוש בגרסה 18.1.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
DeleteExperimentRunOperator זמין בגרסה 21.0.0. גרסאות: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1. |
|
TranslationLegacyModelLink הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
TranslationModelLink זמין בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
TranslationDatasetListLink הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
TranslationDatasetsListLink זמין בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
TranslationLegacyDatasetLink הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
TranslationDatasetsListLink זמין בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
|
TranslationLegacyModelTrainLink הוסרה בגרסה 19.0.0. גרסאות: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5. |
TranslationModelsListLink זמין בגרסה 16.0.0. גרסאות: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5. |
המאמרים הבאים
- פתרון בעיות ב-DAG
- פתרון בעיות בתזמון
- אופרטורים של Google
- Google Cloud אופרטורים
- מדריך ל-Apache Airflow