הפניה לשורת הפקודה של Mainframe Connector

במאמר הזה מוסבר על התחביר, הפקודות, הדגלים והארגומנטים של כלי שורת הפקודה Mainframe Connector.

פקודות

agent skill-file

מחולץ קובץ SKILL פנימי מ-JAR של Mainframe Connector ויוצר קובץ mainframe-connector/SKILL.md בספריית הפלט שצוינה.

תקציר

agent skill-file [-h] --output-dir=OUTPUTDIR

הגדרות flag וארגומנטים

הפקודה agent skill-file משתמשת בדגלים ובארגומנטים הבאים:

‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
‫--output-dir=OUTPUTDIR : DataPath
מציינים את ספריית הפלט.

bq export

מייצאים טבלה מ-BigQuery.

תקציר

bq export [options]

הגדרות flag וארגומנטים

כדי להריץ את הפקודה הזו, צריך לספק שאילתת SQL (ראו את האפשרויות --sql ו-query_dsn) וקובץ copybook (ראו את האפשרות cobDsn). אפשר להריץ את הפקודה הזו במצב מקומי, במצב מרוחק ובמצב עצמאי. לגבי מצב מרחוק, אפשר לעיין בדגלים --bucket, ‏--remoteHost, ‏--remotePort ו---remoteUrl. הפקודה bq export משתמשת בדגלים ובארגומנטים הבאים:

--project_id=ID
מציינים את הפרויקט שבו רוצים להשתמש כדי להפעיל את הפקודה הזו.
--allow_large_results
(אופציונלי) שימוש בגדלים גדולים של טבלאות יעד לשאילתות SQL מדור קודם.
--batch
(אופציונלי) מריצים את השאילתה במצב אצווה.
--bucket=BUCKET
(אופציונלי) מציינים מיקום ב-Cloud Storage לכתיבת הפלט של הפקודה. אם הערך של run_mode הוא gcsoutput, צריך להגדיר את הפרמטר הזה ל-URI של Cloud Storage בפורמט gs://example-bucket/example-prefix/example-filename.orc. אחרת, קובצי הפלט נכתבים בנתיב היעד gs://BUCKET/EXPORT/. הארגומנט הזה נדרש במצב מרוחק.
--cobDsn=DSN
(אופציונלי) מציינים את ה-DSN של ה-copybook שרוצים להשתמש בו. אם לא מציינים ערך, Mainframe Connector קורא מ-DD COPYBOOK.
--dataset_id=ID
(אופציונלי) מציינים את מערך הנתונים שמוגדר כברירת מחדל לשימוש בפקודה. אפשר להגדיר את הערך ל-[PROJECT_ID]:[DATASET] או ל-[DATASET]. אם [PROJECT_ID] לא מופיע, המערכת משתמשת בפרויקט ברירת המחדל.
--destination_table=TABLE
(אופציונלי) מציינים את טבלת היעד הזמנית שאליה ייכתבו תוצאות השאילתה. כדי שהפעולה הזו תתבצע, צריך לציין גם את --allow_large_results.
--dry_run
(אופציונלי) מאמתים את השאילתה בלי להריץ אותה.
--encoding=ENCODING
(אופציונלי) מציינים את מערכת התווים שבה רוצים להשתמש לקידוד ולפענוח של שדות תווים. אם מציינים ערך, הוא מבטל את ברירת המחדל שמוגדרת על ידי משתנה הסביבה ENCODING.
--exporter_thread_count=COUNT
(אופציונלי) מגדירים את מספר השרשורים של כלי הייצוא. ערך ברירת המחדל הוא 4.
‫--help או -h
הצגת טקסט העזרה הזה.
--keepAliveTimeInSeconds=SECONDS
(Optional) Specify the keep alive timeout in seconds for an HTTP channel. ערך ברירת המחדל הוא 480 שניות.
--location=LOCATION
(אופציונלי) מציינים אזור או מיקום במספר אזורים לביצוע הפקודה. ערך ברירת המחדל הוא US.
--max_read_queue=NUMBER
‫
(אופציונלי) מגדירים את הגודל המקסימלי של תור רשומות ה-Avro. ערך ברירת המחדל הוא כפול ממספר השרשורים.
--max_read_streams=NUMBER
(אופציונלי) מגדירים את המספר המקסימלי של שרשורים לקריאת נתונים. ערך ברירת המחדל הוא 4.
--maximum_bytes_billed=BYTES
(אופציונלי) מגבילים את מספר הבייטים של השאילתה שיתבצע עליהם חיוב.
--order_response
(אופציונלי) שומרים על הסדר של התגובה כפי שהיא מוחזרת מ-BigQuery.
--outDD=OUTPUT
(אופציונלי) כותבים את רשומות הפלט למערך הנתונים שצוין ב-z/OS. ערך ברירת המחדל הוא DD OUTFILE.
--parser_type=TYPE
(אופציונלי) מגדירים את מנתח ההגדרות ל-legacy,‏ copybook או auto. ערך ברירת המחדל הוא auto.
--query_dsn=DSN
‫
(Optional) קריאת שאילתה ממערך הנתונים שצוין ב-z/OS. בפורמט HLQ.MEMBER או HLQ.PDS(MEMBER). אם לא מציינים ערך, Mainframe Connector קורא מ-DD QUERY.
--remoteHost=HOST
(אופציונלי) מציינים את כתובת ה-IP של המארח המרוחק. כדי להפעיל את Mainframe Connector במצב מרוחק, מגדירים את הסימון --bucket.
--remotePort=PORT
(אופציונלי) מציינים את היציאה המרוחקת. ערך ברירת המחדל הוא 51770. כדי להפעיל את Mainframe Connector במצב מרוחק, מגדירים את הסימון --bucket.
--remoteUrl=URL
(אופציונלי) מציינים את כתובת ה-URL המרוחקת. כדי להפעיל את Mainframe Connector במצב מרוחק, מגדירים את הסימון --bucket.
--run_mode=MODE
(אופציונלי) בוחרים את הטמעת הייצוא. אפשר להשתמש באחת מהאפשרויות הבאות:
  • ‫directstorage: הקובץ הבינארי נשמר באופן מקומי (ברירת מחדל)
  • ‫gcsoutput: הקובץ הבינארי נשמר ב-Cloud Storage
--sql=SQL
(אופציונלי) מציינים את שאילתת ה-SQL של BigQuery להרצה.
--stats_table=TABLE
(אופציונלי) מציינים את הטבלה שאליה רוצים להוסיף את הנתונים הסטטיסטיים.
--timeOutMinutes=MINUTES
(אופציונלי) מגדירים את הזמן הקצוב לתפוגה בדקות לשיחת ה-gRPC מרחוק. ערך ברירת המחדל הוא 90 דקות.
--transcoding_buffer=BUFFER
‫
(אופציונלי) מגדיר את הגודל של מאגר הנתונים הזמני לקידוד מחדש לכל שרשור, במגה-בייט. ערך ברירת המחדל הוא 20.
--use_cache={true|false}
(אופציונלי) כדי לשמור במטמון את תוצאות השאילתה, מגדירים את הערך כ-true.
--use_legacy_sql
(אופציונלי) אפשר להשתמש ב-SQL מדור קודם במקום ב-SQL סטנדרטי.

bq load

טעינת נתונים לטבלה ב-BigQuery.

תקציר

bq load [options] tablespec path

הגדרות flag וארגומנטים

הפקודה bq load משתמשת בדגלים ובארגומנטים הבאים:

path
‫
מציינים רשימה מופרדת בפסיקים של מזהי URI של קובצי מקור. הפורמט הנתמך הוא gs://bucket/path. דוגמה: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
מציינים את טבלת היעד של הנתונים. הפורמט הנתמך הוא [PROJECT]:[DATASET].[TABLE]
--project_id=ID
מציינים את הפרויקט שבו רוצים להשתמש כדי להפעיל את הפקודה הזו.
--allow_jagged_rows
(אופציונלי) מאפשרים להשתמש בנתוני CSV גם אם חסרות עמודות אופציונליות בסוף.
--allow_quoted_newlines
(אופציונלי) מאפשרים מעברי שורה בתוך נתוני CSV.
--append_table
(אופציונלי) מוסיפים את הנתונים שנטענו לנתונים הקיימים בטבלת היעד.
--autodetect
(אופציונלי) מפעילים זיהוי אוטומטי של סכימה לנתוני CSV ו-JSON.
--clustering_fields=FIELDS
(אופציונלי) אם מציינים רשימה מופרדת בפסיקים של עמודות, המערכת משתמשת בה כדי לאגד את טבלת היעד בשאילתה. חובה להשתמש בדגל הזה עם דגלי חלוקה למחיצות לפי זמן כדי ליצור טבלה מחולקת למחיצות לפי זמני כתיבת הנתונים או טבלה מחולקת למחיצות בעמודה DATE או TIMESTAMP. אם מציינים עמודות, הטבלה מחולקת למחיצות ואז מקובצת באמצעות העמודות שצוינו.
--dataset_id=ID
(אופציונלי) מציינים את מערך הנתונים שמוגדר כברירת מחדל לשימוש בפקודה. אפשר להגדיר את הערך ל-[PROJECT_ID]:[DATASET] או ל-[DATASET]. אם [PROJECT_ID] לא מופיע, המערכת משתמשת בפרויקט ברירת המחדל.
--debug_mode={true|false}
(אופציונלי) מגדירים את רמת הרישום לניפוי באגים.
--destination_kms_key=KEY
‫
(אופציונלי) מפתח Cloud KMS להצפנה של נתוני טבלת היעד.
‫--encoding או -E=ENCODING
(אופציונלי) מציינים את מערכת התווים שבה רוצים להשתמש לקידוד ולפענוח של שדות תווים. אם מציינים ערך, הוא מבטל את ברירת המחדל שמוגדרת על ידי משתנה הסביבה ENCODING.
‫--field_delimiter או -F=FIELD
(אופציונלי) מציינים את התו שמפריד בין העמודות בנתוני ה-CSV. משתמשים ב-\t או ב-tab כדי להפריד בין עמודות.
‫--help או -h
הצגת טקסט העזרה הזה.
--ignore_unknown_values=VALUES
(אופציונלי) אפשר להתעלם מערכים נוספים לא מזוהים בנתוני CSV או JSON.
--location=LOCATION
(אופציונלי) מציינים אזור או מיקום במספר אזורים לביצוע הפקודה. ערך ברירת המחדל הוא US.
--max_bad_records=RECORDS
(אופציונלי) מגדירים את המספר המקסימלי של רשומות לא תקינות שמותרות לפני שהעבודה נכשלת. מוחזרות לכל היותר חמש שגיאות מכל סוג, ללא קשר לערך של --max_bad_records. הדגל הזה רלוונטי רק לטעינת נתונים בפורמטים CSV,‏ JSON ו-Google Sheets. ערך ברירת המחדל הוא 0.
--max_polling_interval_ms=MILLISECONDS
‫
(אופציונלי) זמן ההמתנה המקסימלי לעבודת BigQuery.
--null_marker=MARKER
(אופציונלי) מציינים מחרוזת בהתאמה אישית שמייצגת ערך NULL בנתוני CSV.
--projection_fields=FIELDS
(אופציונלי) אם מגדירים את --source_format ל-DATASTORE_BACKUP, הדגל הזה מציין את מאפייני הישות שצריך לטעון מייצוא של מאגר נתונים. מציינים את שמות הנכסים ברשימה מופרדת בפסיקים. השמות של הנכסים תלויי אותיות רישיות, והם צריכים להתייחס לנכסים ברמה העליונה. אפשר להשתמש בדגל הזה גם בייצוא של Firestore.
--quote=QUOTE
(אופציונלי) מציינים תו מרכאות שיקיף את השדות בנתוני ה-CSV. אפשר לציין כל תו של בייט אחד כארגומנט. ערך ברירת המחדל הוא מירכאות כפולות ("). כדי לציין שאין תווי מירכאות, משתמשים במחרוזת ריקה.
--replace
(אופציונלי) מחליפים את הנתונים הקיימים בטבלת היעד בנתונים שנטענו.
--require_partition_filter={true|false}
(אופציונלי) כדי להגדיר מסנן מחיצה לשאילתות בטבלה שצוינה, מגדירים את הערך כ-true. הארגומנט הזה חל רק על טבלאות מחולקות למחיצות, ואם הדגל --time_partitioning_field מוגדר כ-True. ערך ברירת המחדל הוא False.
--schema=SCHEMA
(אופציונלי) מגדירים את הסכימה של טבלת היעד. מציינים את הערך כרשימה מופרדת בפסיקים של הגדרות עמודות, בפורמט [FIELD]:[DATA_TYPE]. דוגמה: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(אופציונלי) כשמוסיפים נתונים לטבלה (בטעינת נתונים או בשאילתה), או כשמחליפים מחיצה בטבלה, מציינים איך לעדכן את הסכימה של טבלת היעד. משתמשים באחד מהערכים הבאים:
  • ALLOW_FIELD_ADDITION: אפשר להוסיף שדות חדשים
  • ‫ALLOW_FIELD_RELAXATION: מתן אפשרות להרחבת שדות REQUIRED עד NULLABLE
חוזרים על האפשרות הזו כדי לציין כמה אפשרויות לעדכון הסכימה.
--skip_leading_rows=NUMBER
(אופציונלי) מציינים את מספר השורות שרוצים לדלג עליהן בתחילת קובץ המקור. ערך ברירת המחדל הוא 0.
--source_format=FORMAT
(אופציונלי) מציינים את הפורמט של נתוני המקור. אפשר להשתמש באחד מהערכים הבאים: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (משתמשים בערך הזה בשביל Filestore), PARQUET, ORC. ערך ברירת המחדל הוא ORC.
--stats_table=TABLE
(אופציונלי) מציינים את הטבלה שאליה רוצים להוסיף את הנתונים הסטטיסטיים.
--time_partitioning_expiration=SECONDS
(אופציונלי) מציינים מתי צריך למחוק מחיצה מבוססת-זמן, בשניות. מועד התפוגה הוא התאריך של המחיצה ב-UTC בתוספת הערך שצוין. אם תציינו מספר שלילי, המחיצה לפי זמן לא תפוג לעולם.
--time_partitioning_field=FIELD
(אופציונלי) מציינים את השדה שמשמש לקביעת אופן יצירת מחיצה לפי זמן. אם מופעלת חלוקה למחיצות לפי זמן בלי הערך הזה, הטבלה מחולקת למחיצות לפי זמן הטעינה.
--time_partitioning_type=TYPE
(אופציונלי) מפעילים חלוקה למחיצות לפי זמן בטבלה ומגדירים את סוג המחיצה באמצעות הערך הבא: DAY.
--use_avro_logical_types={true|false}
(אופציונלי) אם --source_format מוגדר ל-AVRO, צריך להגדיר את הדגל הזה כ-true כדי להמיר סוגים לוגיים לסוגים התואמים שלהם (כמו TIMESTAMP) במקום להשתמש רק בסוגים הגולמיים שלהם (כמו INTEGER). ערך ברירת המחדל הוא false.

bq mk

יוצרים משאבים ב-BigQuery, כמו טבלאות מובנות או טבלאות חיצוניות, שצריך להגדיר עבורם חלוקה למחיצות ואשכול. אפשר גם להשתמש בפקודה bq mk כדי ליצור טבלה ב-BigQuery ישירות מניתוח של קובצי COBOL באמצעות הדגל --schema_from_copybook.

תקציר

bq mk [options]

הגדרות flag וארגומנטים

הפקודה bq mk משתמשת בדגלים ובארגומנטים הבאים:

--project_id=ID
מציינים את הפרויקט שבו רוצים להשתמש כדי להפעיל את הפקודה הזו.
--tablespec=TABLE
מציינים את טבלת היעד של הנתונים. הפורמט הנתמך הוא [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(אופציונלי) מציינים רשימה מופרדת בפסיקים של עד ארבעה שמות עמודות שמציינים את השדות שבהם יש להשתמש לאשכולות בטבלה.
--dataset_id=ID
(אופציונלי) מציינים את מערך הנתונים שמוגדר כברירת מחדל לשימוש בפקודה. אפשר להגדיר את הערך ל-[PROJECT_ID]:[DATASET] או ל-[DATASET]. אם [PROJECT_ID] לא מופיע, המערכת משתמשת בפרויקט ברירת המחדל.
--description=DESCRIPTION
(אופציונלי) מספקים תיאור למערך הנתונים או לטבלה.
--dry_run
(אופציונלי) מדפיסים את הצהרת שפת הגדרת הנתונים (DDL) של הטבלה.
--encoding=ENCODING
(אופציונלי) מציינים את מערכת התווים שבה רוצים להשתמש לקידוד ולפענוח של שדות תווים. אם מציינים ערך, הוא מבטל את ברירת המחדל שמוגדרת על ידי משתנה הסביבה ENCODING.
--expiration=EXPIRATION
(אופציונלי) מציינים את משך החיים של הטבלה. אם לא מציינים ערך, BigQuery יוצר את הטבלה עם משך החיים שמוגדר כברירת מחדל למערך הנתונים, או שהתוקף של הטבלה לא פג.
‫--external_table_definition או -e=TABLE
(אופציונלי) מציינים שם והגדרת סכימה כדי ליצור טבלה חיצונית. דוגמה: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
‫--help או -h
הצגת טקסט העזרה הזה.
--location=LOCATION
(אופציונלי) מציינים אזור או מיקום במספר אזורים לביצוע הפקודה. ערך ברירת המחדל הוא US.
--parser_type=TYPE
(אופציונלי) מגדירים את מנתח ההגדרות ל-legacy,‏ copybook או auto. ערך ברירת המחדל הוא auto.
--require_partition_filter={true|false}
(אופציונלי) כדי להגדיר מסנן מחיצה לשאילתות בטבלה שצוינה, מגדירים את הערך כ-true. הארגומנט הזה חל רק על טבלאות מחולקות למחיצות, ואם הדגל --time_partitioning_field מוגדר כ-True. ערך ברירת המחדל הוא True.
--schema=SCHEMA
‫
(אופציונלי) מציינים את הנתיב לקובץ סכימת JSON מקומי או רשימה מופרדת בפסיקים של הגדרות עמודות בפורמט FIELD:DATA_TYPE, FIELD:DATA_TYPE וכן הלאה.
--schema_from_copybook=SCHEMA
(אופציונלי) יוצרים את הסכימה מ-copybook.
‫--table או -t=TABLE
(אופציונלי) יוצרים טבלה.
--time_partitioning_expiration=SECONDS
(אופציונלי) מציינים מתי צריך למחוק מחיצה מבוססת-זמן, בשניות. מועד התפוגה הוא התאריך של המחיצה ב-UTC בתוספת הערך שצוין. אם תציינו מספר שלילי, המחיצה לפי זמן לא תפוג לעולם.
--time_partitioning_field=FIELD
(אופציונלי) מציינים את השדה שמשמש לקביעת אופן יצירת מחיצה לפי זמן. אם מופעלת חלוקה למחיצות לפי זמן בלי הערך הזה, הטבלה מחולקת למחיצות לפי זמן הטעינה.
--view
(אופציונלי) יוצרים תצוגה מפורטת.

bq query

מריצים שאילתה ב-BigQuery.

תקציר

bq query [options]

הגדרות flag וארגומנטים

אפשר להריץ את הפקודה הזו במצב מקומי ובמצב מרחוק. לגבי מצב הפעלה מרחוק, ראו את הדגלים --remoteHost, --remotePort ו---remoteUrl, ואת משתנה הסביבה BQ_QUERY_REMOTE_EXECUTION. הפקודה bq query משתמשת בדגלים ובארגומנטים הבאים:

--project_id=ID
מציינים את הפרויקט שבו רוצים להשתמש כדי להפעיל את הפקודה הזו.
--allow_large_results
(אופציונלי) שימוש בגדלים גדולים של טבלאות יעד לשאילתות SQL מדור קודם.
--append_table
(אופציונלי) מוסיפים את הנתונים שנטענו לנתונים הקיימים בטבלת היעד.
--batch
(אופציונלי) מריצים את השאילתה במצב אצווה.
--clustering_fields=FIELDS
‫
(אופציונלי) מציינים רשימה מופרדת בפסיקים של עד ארבעה שמות עמודות שמציינים את השדות שבהם יש להשתמש לאשכולות בטבלה. אם מציינים את הערך הזה עם חלוקה למחיצות, הטבלה מחולקת למחיצות ואז כל מחיצה מקובצת באמצעות העמודות שסופקו.
--create_if_needed
(אופציונלי) יוצרים טבלת יעד אם היא לא קיימת.
--dataset_id=ID
(אופציונלי) מציינים את מערך הנתונים שמוגדר כברירת מחדל לשימוש בפקודה. אפשר להגדיר את הערך ל-[PROJECT_ID]:[DATASET] או ל-[DATASET]. אם [PROJECT_ID] לא מופיע, המערכת משתמשת בפרויקט ברירת המחדל.
--destination_table=TABLE
(אופציונלי) מציינים את טבלת היעד שאליה רוצים לכתוב את תוצאות השאילתה.
--dry_run
(אופציונלי) מאמתים את השאילתה בלי להריץ אותה.
--follow={true|false}
(אופציונלי) כדי לעקוב אחרי שלבים ספציפיים בשאילתה או אחרי הסקריפט כולו, מגדירים את הערך true. ערך ברירת המחדל הוא False. האפשרות הזו לא נתמכת במצב מרחוק.
‫--help או -h
הצגת טקסט העזרה הזה.
--location=LOCATION
(אופציונלי) מציינים אזור או מיקום במספר אזורים לביצוע הפקודה. ערך ברירת המחדל הוא US.
--maximum_bytes_billed=BYTES
(אופציונלי) מציינים את מגבלת הבייטים שיחויבו על השאילתה.
--parameters=PARAMETERS
‫
(Optional) מציינים פרמטרים של שאילתה מופרדים בפסיקים בתבנית [NAME]:[TYPE]:[VALUE]. שם ריק יוצר פרמטר מיקום. אפשר להשמיט את [TYPE] כדי להניח ערך של STRING בפורמט name::value או ::value. הפונקציה NULL מחזירה ערך null.
--query_dsn=DSN
(אופציונלי) מציינים את ה-DSN לקריאת השאילתה, בפורמט HLQ.MEMBER או HLQ.PDS(MEMBER). אם לא מציינים את query_dsn, נעשה שימוש ב-QUERY DD.
--remoteHost=HOST
(אופציונלי) מציינים את כתובת ה-IP של המארח המרוחק. כדי להריץ את השאילתה במצב מרוחק, מגדירים את משתנה הסביבה BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(אופציונלי) מציינים את היציאה המרוחקת. ערך ברירת המחדל הוא 51770. כדי להריץ את השאילתה במצב מרוחק, מגדירים את משתנה הסביבה BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(אופציונלי) מציינים את כתובת ה-URL המרוחקת. כדי להריץ את השאילתה במצב מרוחק, מגדירים את משתנה הסביבה BQ_QUERY_REMOTE_EXECUTION.
--replace
(אופציונלי) מחליפים את טבלת היעד בתוצאות השאילתה.
--report_row_limit=LIMIT
(אופציונלי) מציינים את מספר השורות המקסימלי להדפסה בדוח הביקורת. ערך ברירת המחדל הוא 30. האפשרות הזו לא נתמכת במצב מרחוק.
--require_partition_filter={true|false}
(אופציונלי) כדי להגדיר מסנן מחיצה לשאילתות בטבלה שצוינה, מגדירים את הערך כ-true. ערך ברירת המחדל הוא True.
--schema_update_option=OPTION
(אופציונלי) עדכון הסכימה של טבלת היעד כשמוסיפים נתונים. משתמשים בערכים הבאים:
  • ‫ALLOW_FIELD_ADDITION: מאפשר להוסיף שדות חדשים.
  • ‫ALLOW_FIELD_RELAXATION: מאפשר להגדיר את השדות REQUIRED לערך NULLABLE.
--split_sql={true|false}
(אופציונלי) כדי לפצל סקריפט SQL של קלט לשאילתות נפרדות, מגדירים את הערך ל-true. ערך ברירת המחדל הוא True.
--stats_table=TABLE
(אופציונלי) מציינים את הטבלה שאליה רוצים להוסיף את הנתונים הסטטיסטיים. האפשרות הזו לא נתמכת במצב מרחוק.
--sync={true|false}
(אופציונלי) מריצים את הפקודה במצב סינכרוני.
--synchronous_mode={true|false}
(אופציונלי) חלופה ל---sync.
--timeOutMinutes=MINUTES
(אופציונלי) מציינים את הזמן הקצוב לתפוגה בדקות לתגובה של משימת BigQuery. ערך ברירת המחדל הוא 240 דקות.
--time_partitioning_expiration=SECONDS
(אופציונלי) מציינים מתי צריך למחוק מחיצה מבוססת-זמן, בשניות. מועד התפוגה הוא התאריך של המחיצה ב-UTC בתוספת הערך שצוין. אם תציינו מספר שלילי, המחיצה לפי זמן לא תפוג לעולם.
--time_partitioning_field=FIELD
(אופציונלי) מציינים את השדה שמשמש לקביעת אופן יצירת מחיצה לפי זמן. אם מופעלת חלוקה למחיצות לפי זמן בלי הערך הזה, הטבלה מחולקת למחיצות לפי זמן הטעינה.
--time_partitioning_type=TYPE
‫
(Optional) מפעילים חלוקה למחיצות לפי זמן בטבלה ומגדירים את סוג המחיצה באמצעות אחד מהערכים הבאים: DAY, ‏ HOUR, ‏ MONTH, ‏ YEAR.
--use_cache={true|false}
(אופציונלי) כדי לשמור במטמון את תוצאות השאילתה, מגדירים את הערך כ-true. ערך ברירת המחדל הוא True.
--use_legacy_sql
(אופציונלי) אפשר להשתמש ב-SQL מדור קודם במקום ב-SQL סטנדרטי.

cloud run job cancel

ביטול של הרצה ספציפית של עבודה.

תקציר

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

הגדרות flag וארגומנטים

הפקודה cloud run job cancel משתמשת בדגלים ובארגומנטים הבאים:

EXECUTION
‫
מציינים את המזהה של ההפעלה של Cloud Run Job.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--project=PROJECT
מציינים את מזהה הפרויקט.
--region=REGION
מציינים את האזור שבו נמצא המשאב.

cloud run job execute

להריץ משימה ספציפית.

תקציר

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

הגדרות flag וארגומנטים

הפקודה cloud run job execute משתמשת בדגלים ובארגומנטים הבאים:

JOB
מציינים את השם של עבודת Cloud Run להפעלה.
--args=ARGS
(אופציונלי) ארגומנטים מופרדים בפסיקים שמועברים לפקודה שמופעלת על ידי קובץ האימג' של הקונטיינר. אם מספקים ערכים, תיווצר הרצה עם ערכי הקלט.
--async
(אופציונלי) מציינים את הדגל הזה אם רוצים לחזור מיידית, בלי לחכות שהפעולה תסתיים.
‫--dump-execution-id=EXECUTION-ID : DataPath
(אופציונלי) מציינים את הקובץ שאליו ייכתב מזהה ההפעלה.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--polling-interval=POLLINGINTERVAL
‫
(אופציונלי) מגדיר את מרווח הזמן בין בדיקות הזמינות להצגת יומנים כשמופעלת ההגדרה --tail_logs. ערך ברירת המחדל הוא 60 שניות.
--project=PROJECT
מציינים את מזהה הפרויקט.
--region=REGION
מציינים את האזור שבו נמצא המשאב.
--tail-logs
(אופציונלי) אם מריצים את הפקודה במצב סינכרוני על ידי ציון הדגל --tail_logs, יומני ההתקדמות מוצגים במסך של Mainframe Connector. אם מציינים גם את הדגל --tail_logs וגם את הדגל --async, מוצגת הודעת שגיאה. ‫Cloud Logging לא תומך ברישום ביומן בזמן אמת, ולכן הפקודה מציגה רק יומנים שכבר נרשמו ביומנים. לכן, יכול להיות שחלק מהיומנים יהיו חסרים כשמשתמשים בדגל --tail_logs. כדי לראות את יומני העבודה המלאים, משתמשים בפקודה cloud run job logs אחרי שהעבודה מסתיימת.
--task-timeout=TIMEOUT
(אופציונלי) מוצג הזמן המקסימלי הקיים (מועד סיום) שבו אפשר להריץ ניסיון של משימת עבודה. אם לא מציינים ערך, המערכת משתמשת בערך ברירת המחדל של העבודה.
--update-env-vars=ENVVARS
‫
(Optional) רשימה של צמדי מפתח/ערך להגדרה כשינויים חריגים של משתני סביבה להרצה של משימה.
--wait
(אופציונלי) מציינים את הדגל הזה אם רוצים שהפקודה תמתין עד שההפעלה תסתיים לפני היציאה.

cloud run job logs

הצגת יומני Cloud Run

תקציר

cloud run job logs [-h] [--tail] [--log-filter=FILTER]
                          [--polling-interval=POLLINGINTERVAL]
                          --project=PROJECT
                          --region=REGION
                          [--timeout=TIMEOUT] EXECUTION-ID

הגדרות flag וארגומנטים

הפקודה cloud run job logs משתמשת בדגלים ובארגומנטים הבאים:

EXECUTION-ID
השם של מזהה הביצוע של משימת Cloud Run.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--log-filter=FILTER
(אופציונלי) ביטוי סינון שמציין את רשומות היומן שיוחזרו.
--polling-interval=POLLINGINTERVAL
‫
(אופציונלי) מגדיר את מרווח הזמן בין בדיקות הזמינות להצגת יומנים כשמופעלת ההגדרה --tail_logs. ערך ברירת המחדל הוא 60 שניות.
--project=PROJECT
מציינים את מזהה הפרויקט.
--region=REGION
מציינים את האזור שבו נמצא המשאב.
--tail
‫
(Optional) אם מגדירים את האפשרות הזו, מוצגים רק יומנים חדשים החל מהרגע הזה. אם לא מוגדרים ערכים, כל יומני העבודות יוצגו.
--timeout=TIMEOUT
‫
(אופציונלי) זמן קצוב לתפוגה, שאחריו הפקודה תצא. אם לא מוגדר, הפקודה תפסיק לפעול כשהביצוע יסתיים.

copy binary

העתקה של קבוצת נתונים בינארית מנתיב מקור לנתיב יעד.

תקציר

copy binary [-h] [--buffer-size=BUFFERSIZE] INPUT
                   OUTPUT

הגדרות flag וארגומנטים

הפקודה copy binary משתמשת בדגלים ובארגומנטים הבאים:

INPUT : DataPath
מציינים את נתיב הנתונים של קובץ הקלט שרוצים להעתיק.
OUTPUT : DataPath
מציינים את נתיב הנתונים של קובץ הפלט שרוצים להעתיק.
--buffer-size=BUFFERSIZE : DataSize
(אופציונלי) מציינים את גודל הקריאה של הזיכרון לכל נתח נתונים. ערך ברירת המחדל הוא 64MiB‎.
‫--help או -h
(אופציונלי) מציגים את הודעת העזרה הזו.

copy text

מעתיקים מערך נתונים של טקסט.

תקציר

copy text [-h] [--trim-suffix] [--buffer-size=BUFFERSIZE]
                 INPUT OUTPUT

הגדרות flag וארגומנטים

הפקודה copy text משתמשת בדגלים ובארגומנטים הבאים:

INPUT : DataPath
מציינים את נתיב הנתונים של קובץ הקלט שרוצים להעתיק.
OUTPUT : DataPath
מציינים את נתיב הנתונים של קובץ הפלט שרוצים להעתיק ולקודד.
--buffer-size=BUFFERSIZE : DataSize
(אופציונלי) מציינים את גודל הקריאה של הזיכרון לכל נתח נתונים. ערך ברירת המחדל הוא 64MiB‎.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--trim-suffix
‫
(אופציונלי) אם הערך מוגדר כ-true, כל רווח לבן בסוף הרשומה ייחתך. שימו לב: רשומות שמכילות רק רווחים יהפכו לרשומות ריקות.

gsutil cp

קידוד מחדש של נתונים מהמחשב המרכזי לקטגוריה של Cloud Storage.

תקציר

gsutil cp [options] gcsUri [dest]

הגדרות flag וארגומנטים

אפשר להשתמש בפקודה הזו למטרות שונות:

  • העתקה וקידוד מחדש של קובץ מ-Mainframe או מסביבת Linux אל Cloud Storage.
    • מקור: --inDSN. אם לא מציינים את המאפיין, הוא מוגדר על ידי DD INFILE.
    • יעד: gcsUri
  • העתקה וקידוד מחדש של קובץ ב-Cloud Storage
    • מקור: gcsUri
    • יעד: --destPath
  • העתקת קובץ מ-Cloud Storage למחשב מרכזי.
    • מקור: gcsUri
    • יעד: --destDSN
    • דגלים רלוונטיים: --lrecl, ‏ --blksize, ‏ --recfm, ‏ --noseek.
  • העתקת קובץ מ-Cloud Storage לסביבת לינוקס.
    • מקור: gcsUri
    • יעד: --destPath
אפשר להריץ את הפקודה הזו במצבים מקומיים, מרוחקים ועצמאיים. לגבי מצב מרחוק, אפשר לעיין בדגלים --remote, ‏--remoteHost, ‏--remotePort ו---remoteUrl. הפקודה gsutil cp משתמשת בדגלים ובארגומנטים הבאים:

dest
‫
(אופציונלי) הנתיב המקומי או שם מקור הנתונים (DSN). פורמטים לדוגמה: /path/to/file, DATASET.MEMBER
gcsUri
‫
URI של Cloud Storage בפורמט gs://bucket/path. יכול לייצג גם את מיקום המקור וגם את מיקום היעד, בהתאם לשימוש.
--batchSize=SIZE
‫
(אופציונלי) מציינים את הבלוקים שבהם רוצים להשתמש לכל אצווה. ערך ברירת המחדל הוא 1,000.
--blksize=SIZE
‫
(אופציונלי) מציינים את גודל הבלוק של הקובץ להעתקה למחשב המרכזי. אם blksize=0 ו-recfm לא מוגדרים כ-U, המערכת המרכזית קובעת את גודל הבלוק האופטימלי לקובץ.
--cobDsn=DSN
(אופציונלי) מציינים את ה-DSN של ה-copybook שרוצים להשתמש בו. אם לא מציינים ערך, Mainframe Connector קורא מ-DD COPYBOOK.
--connections=NUMBER
(אופציונלי) מציינים את מספר החיבורים שאפשר ליצור למקלט המרוחק. ערך ברירת המחדל הוא 10.
--dataset_id=ID
(אופציונלי) מציינים את מערך הנתונים שמוגדר כברירת מחדל לשימוש בפקודה. אפשר להגדיר את הערך ל-[PROJECT_ID]:[DATASET] או ל-[DATASET]. אם [PROJECT_ID] לא מופיע, המערכת משתמשת בפרויקט ברירת המחדל.
--destDSN=OUTPUT
(אופציונלי) מציינים את ה-DSN של היעד.
--destPath=OUTPUT
(אופציונלי) מציינים את נתיב היעד.
--dry_run
(אופציונלי) בודקים את הניתוח והפענוח של קובץ ה-QSAM.
--encoding=ENCODING
(אופציונלי) מציינים את מערכת התווים שבה רוצים להשתמש לקידוד ולפענוח של שדות תווים. אם מציינים ערך, הוא מבטל את ברירת המחדל שמוגדרת על ידי משתנה הסביבה ENCODING.
‫--help או -h
הצגת טקסט העזרה הזה.
--inDsn=DSN
(אופציונלי) מציינים את ה-DSN של קובץ הקלט שרוצים להשתמש בו. אם לא מציינים ערך, Mainframe Connector קורא מ-DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Optional) Specify the keep alive timeout in seconds for an HTTP channel. ערך ברירת המחדל הוא 480 שניות.
--location=LOCATION
(אופציונלי) מציינים אזור או מיקום במספר אזורים לביצוע הפקודה. ערך ברירת המחדל הוא US.
--lowerCaseColumnNames
(אופציונלי) יוצרים שמות עמודות באותיות קטנות לשדות של copybook.
--lrecl=LRECL
(אופציונלי) מציינים את האורך הלוגי של הרשומה (lrecl) בקובץ שרוצים להעתיק למחשב המרכזי.
--maxChunkSize=SIZE
(אופציונלי) מציינים את גודל החלק המקסימלי לכל אצווה. כדי לתאר את הגודל, צריך להשתמש ב-K, ‏ KiB, ‏ KB, ‏ M, ‏ MiB, ‏ MB, ‏ G, ‏ GiB, ‏ GB, ‏ T, ‏ TiB או TB. ערך ברירת המחדל הוא 128MiB.
--max_error_pct=PCT
(אופציונלי) מציינים את סף השגיאות של פענוח שורות שגורם לביטול העבודה. הערכים התקפים הם בטווח [0.0, 1.0]. ערך ברירת המחדל הוא 0.
--noseek
(אופציונלי) שיפור הביצועים של ההורדה מ-Cloud Storage למחשב המרכזי.
‫--parallel או -m
(אופציונלי) מגדירים את מספר הכותבים בו-זמנית ל-4.
‫--parallelism או -p=NUMBER
(אופציונלי) מציינים את מספר הכותבים בו-זמנית. ערך ברירת המחדל הוא 4.
--parser_type=TYPE
(אופציונלי) מגדירים את מנתח ההגדרות ל-legacy,‏ copybook או auto. ערך ברירת המחדל הוא auto.
--preload_chunk_count=NUMBER
(אופציונלי) מציינים את מספר החלקים לטעינה מראש מהדיסקים בזמן שכל העובדים עסוקים. ערך ברירת המחדל הוא 2.
--project_id=ID
(אופציונלי) מציינים את הפרויקט שבו רוצים להשתמש כדי להפעיל את הפקודה הזו.
--recfm=REFCM
(אופציונלי) מציינים את recfm של הקובץ שרוצים להעתיק למחשב המרכזי. אפשר להשתמש באחד מהערכים הבאים: F, ‏ FB, ‏ V, ‏ VB, ‏ U. ערך ברירת המחדל הוא FB.
--remote
(אופציונלי) שימוש במפענח מרוחק.
--remoteHost=HOST
(אופציונלי) מציינים את כתובת ה-IP של המארח המרוחק. כדי להפעיל את Mainframe Connector במצב מרוחק, מגדירים את הסימון --remote.
--remotePort=PORT
(אופציונלי) מציינים את היציאה המרוחקת שבה רוצים להשתמש. ערך ברירת המחדל הוא 51770. כדי להפעיל את Mainframe Connector במצב מרוחק, מגדירים את הסימון --remote.
--remoteUrl=URL
(אופציונלי) מציינים את כתובת ה-URL המרוחקת. כדי להפעיל את Mainframe Connector במצב מרוחק, מגדירים את הסימון --remote.
--replace
(אופציונלי) מוחקים את היעד באופן רקורסיבי לפני ההעלאה.
--stats_table=TABLE
(אופציונלי) מציינים את הטבלה שאליה רוצים להוסיף את הנתונים הסטטיסטיים.
--tfDSN=DSN
(אופציונלי) מציינים את הטרנספורמציות מ-DSN, DATASET.MEMBER או PDS(MBR).
--tfGCS=GCS
(אופציונלי) מציינים את קובץ ההמרות מ-Cloud Storage.
--timeOutMinutes=MINUTES
(אופציונלי) מציינים את הזמן הקצוב לתפוגה בדקות לשיחת grpc מרחוק. ערך ברירת המחדל הוא 90 דקות ל-Cloud Storage ו-50 דקות למחשב מרכזי.

pubsub topics publish

מפרסמים הודעה בנושא Pub/Sub.

הפקודה הזו מאפשרת לשלוח נתוני הודעות ישירות באמצעות הדגל --data או דרך קובץ באמצעות הדגל --data-path. אפשר גם לכלול מאפיינים, מפתח הזמנה ולהחיל מאפייני הודעה. בנוסף, אפשר להחיל החלפות דינמיות של מחרוזות על תוכן ההודעה.

תקציר

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

הגדרות flag וארגומנטים

הפקודה pubsub topics publish משתמשת בדגלים ובארגומנטים הבאים:

TOPIC
מציינים את שם הנושא בפורמט projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
‫
(אופציונלי) מציינים רשימה מופרדת בפסיקים של מאפיינים. כל ATTRIBUTE הוא בפורמט name=value. אפשר לציין עד 100 מאפיינים. רשימה מלאה של הנחיות לשימוש במאפיינים זמינה במאמר שימוש במאפיינים לפרסום הודעה.
‫--data-path=DATAPATH : DataPath
‫
(אופציונלי) מציינים את הנתיב לקובץ שמכיל את נתוני ההודעה. צריך להגדיר את אחד מהדגלים --data או --data-path, אבל לא את שניהם. מידע נוסף על עיצוב הודעות ומגבלות גודל מופיע במאמר פרסום הודעות בנושאים.
--data=DATA
(אופציונלי) מציינים את גוף ההודעה שרוצים לפרסם בשם הנושא שצוין. צריך להגדיר את אחד מהדגלים --data או --data-path, אבל לא את שניהם. מידע נוסף על עיצוב הודעות ומגבלות גודל מופיע במאמר פרסום הודעות בנושאים.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--message-property=KEY=VALUE
(אופציונלי) מציינים מאפיינים להחלה על ההודעה. מפתח מאפיין תקין הוא encoding. מפתח המאפיין הזה מציין את קידוד התווים שבו יש להשתמש עבור מחרוזת ההודעה. מחרוזת ההודעה מומרת לבייטים באמצעות הקידוד הזה לפני שהיא נשלחת לנושא Pub/Sub. רשימה של ערכי קידוד נתמכים מופיעה כאן. ערך ברירת המחדל הוא UTF-8.
--ordering-key=ORDERING-KEY
(אופציונלי) מציינים את המפתח למשלוח מסודר של הודעות למנויים. כל ההודעות עם אותו מפתח סדר נשלחות למנויים בסדר שבו הן מתקבלות ב-Pub/Sub.
--substitution=KEY=VALUE

(אופציונלי) באמצעות --data או --data-path, מציינים את צמדי מפתח/ערך שישמשו להחלפה הדינמית שתחול על נתוני ההודעה ב-Pub/Sub. Mainframe Connector סורק את נתוני ההודעות כדי למצוא פלייסהולדרים, ומחליף אותם בערכים התואמים. מגדירים את ערכי ה-placeholder בנתונים באמצעות התחביר ${KEY}, לדוגמה ${NAME}. מציינים כל החלפה כצמד מפתח/ערך בפורמט KEY=VALUE. כדי לציין כמה החלפות, חוזרים על האפשרות: --substitution key1=value1 --substitution key2=value2.

לדוגמה, אם נתוני הקלט הם: Hello, ${username}! ואתם משתמשים ב---substitution username=World, ההודעה שנשלחת ל-Pub/Sub תהיה: Hello, World!.

qsam decode

פענוח נתוני QSAM.

הפקודה הזו מפענחת רשומות מקובץ QSAM לפורמט שאתם מציינים באמצעות הארגומנט --output-format. קובץ ה-QSAM המקורי מפולח לחלקים על סמך הערך שמציינים בארגומנט --max-chunk-size. הפלט שעבר המרה נשמר בנתיב היעד כקבצים ממוינים לפי סדר מילוני.

תקציר

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

הגדרות flag וארגומנטים

הפקודה qsam decode משתמשת בדגלים ובארגומנטים הבאים:

INPUT : DataPath
מציינים את נתיב הנתונים של קובץ ה-QSAM שרוצים לפענח.
OUTPUT : DataPath
מציינים את נתיב הנתונים של קידומת הפלט. כל הפלט מאוחסן תחת הקידומת הזו.
--chunk-size=CHUNK-SIZE : DataSize
(אופציונלי) מציינים את כמות נתוני הקלט שרוצים לכלול בכל קובץ פלט. יכול להיות שגודל קובץ הפלט יהיה גדול או קטן יותר. גודל המקטע מעוגל כלפי מטה לכפולה הקרובה ביותר של אורך הרשומה הלוגית. ערך ברירת המחדל הוא 128MiB.
‫--copybook=COPYBOOK : DataPath
מציינים את נתיב הנתונים של הקובץ שמכיל את ה-copybook.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--input-parameter=KEY=VALUE

(אופציונלי) מציינים פרמטרים להגדרת הקלט. כל פרמטר מוגדר כ-KEY=VALUE. אלה מפתחות פרמטר הקלט הנתמכים:

  • ‫csv-dialect: הגדרת ניתוח של קובץ CSV. הערך הוא DataPath שמפנה אל קובץ הגדרות CSV.
  • ‫json-dialect: הגדרה של ניתוח JSON. הערך הוא DataPath שמצביע על קובץ הגדרות JSON.
  • ‫pubsub-publish-configuration: הגדרת ההודעות שנשלחות ל-Pub/Sub. הערך הוא DataPath שמצביע על קובץ הגדרות של Pub/Sub.
  • ‫output-prefix: הוספת קידומת לקובצי הפלט.
--max-error-percent=MAX_ERROR_PERCENT

(אופציונלי) מציינים את אחוז הרשומות המעובדות שיכולות להכיל שגיאות לפני שתהליך הקידוד נכשל. הערך יכול להיות בין 0.0 (ההמרה תיכשל אם יש שגיאות המרה) ל-1.0 (ההמרה לא תיכשל אם יש שגיאות המרה). ערך ברירת המחדל הוא 0.

‫--output-format=FORMAT : TranscodeFormat

(אופציונלי) מציינים את הפורמט של קובץ הפלט. אם מספקים את DataPath של נושא Pub/Sub כערך של OUTPUT, פורמט הפלט שמוגדר כברירת מחדל הוא JSONL. לכל שאר DataPaths, פורמט הפלט שמוגדר כברירת מחדל הוא ORC.

--parallelism=COUNT

(אופציונלי) מציינים את מספר השרשורים לעיבוד. הערך צריך להיות שווה למספר ליבות המעבד הזמינות או קטן ממנו. ערך ברירת המחדל הוא 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(אופציונלי) מציינים את מספר חלקי הנתונים שייטענו מראש כשכל השרשורים פועלים. ערך ברירת המחדל הוא 1.

--replace

(אופציונלי) אם מציינים נתיב פלט, הפקודה מוחקת אותו באופן רקורסיבי לפני כתיבת תוצאות הפענוח.

‫--transcode-configuration=CONFIG : DataPath

(אופציונלי) מציינים את הקובץ שמכיל את הגדרות הקידוד מחדש. מידע נוסף על פורמט ההגדרה של המרת הקידוד זמין במאמר הגדרת המרת הקידוד.

qsam encode

קידוד נתוני QSAM.

הפקודה הזו לוקחת נתונים ממקור חיצוני וממירה אותם לקובץ QSAM. הקלט מוגדר על ידי הערך שמציינים באמצעות הארגומנט --input-format.

תקציר

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

הגדרות flag וארגומנטים

הפקודה qsam encode משתמשת בדגלים ובארגומנטים הבאים:

INPUT : DataPath
מציינים את נתיב הנתונים של קובץ הקלט שרוצים לקודד לקובץ QSAM.
OUTPUT : DataPath
מציינים את נתיב הנתונים של קובץ ה-QSAM שרוצים לקודד.
‫--copybook=COPYBOOK : DataPath
מציינים את נתיב הנתונים של הקובץ שמכיל את ה-copybook.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--input-format=FORMAT : TranscodeInputFormat
מציינים את פורמט הקלט.
--input-parameter=KEY=VALUE

(אופציונלי) מציינים פרמטרים להגדרת הקלט. כל פרמטר מוגדר כ-KEY=VALUE. אלה מפתחות פרמטר הקלט הנתמכים:

  • ‫csv-dialect: הגדרת ניתוח של קובץ CSV. הערך הוא DataPath שמפנה אל קובץ הגדרות CSV.
  • ‫json-dialect: הגדרה של ניתוח JSON. הערך הוא DataPath שמצביע על קובץ הגדרות JSON.
  • ‫project-id: מזהה הפרויקט ב-Cloud Storage במקרה של ORC.
--input-stream-count=COUNT

(אופציונלי) מציינים את מספר זרמי הקלט. זהו ערך מקסימלי, ובפועל יכול להיות שייעשה שימוש בפחות זרמים. ערך ברירת המחדל הוא 1.

--max-error-percent=MAX_ERROR_PERCENT

(אופציונלי) מציינים את אחוז הרשומות המעובדות שיכולות להכיל שגיאות לפני שתהליך הקידוד נכשל. הערך יכול להיות בין 0.0 (ההמרה תיכשל אם יש שגיאות המרה) ל-1.0 (ההמרה לא תיכשל אם יש שגיאות המרה). ערך ברירת המחדל הוא 0.

--parallelism=COUNT

(אופציונלי) מציינים את מספר השרשורים לעיבוד. הערך צריך להיות שווה למספר הליבות הזמינות או קטן ממנו. ערך ברירת המחדל הוא 1.

‫--spillover=SPILLOVER : DataPath

(אופציונלי) מציינים נתיב נתונים למערך הנתונים של התנועה העודפת. אם לא תציינו את הפרטים האלה, פרטי השגיאה יימחקו.

‫--transcode-configuration=CONFIG : DataPath

(אופציונלי) מציינים את הקובץ שמכיל את הגדרות הקידוד מחדש. מידע נוסף על פורמט ההגדרה של המרת הקידוד זמין במאמר הגדרת המרת הקידוד.

remove

הסרת אובייקטים מ-Cloud Storage.

תקציר

remove [-hR] URL...

הגדרות flag וארגומנטים

הפקודה remove משתמשת בדגלים ובארגומנטים הבאים:

URL
מציינים את המיקום ב-Cloud Storage בפורמט gs://bucket/prefix.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
‫-R או -r
(אופציונלי) מוחקים באופן רקורסיבי את התוכן של ספריות או אובייקטים שתואמים לביטוי הנתיב. לא תקפיץ הודעת שגיאה אם הספרייה או האובייקט לא קיימים.

scp

העתקת קבצים ל-Cloud Storage.

תקציר

scp [options] [input] [output]

הגדרות flag וארגומנטים

כדי להשתמש בפקודה הזו, צריך לוודא את הדברים הבאים:

  • מגדירים ערך קלט ייחודי אחד באמצעות input,‏ --inDD או --inDsn.
  • מגדירים ערך פלט ייחודי אחד באמצעות פלט או --gcsOutUri.

הפקודה scp משתמשת בדגלים ובארגומנטים הבאים:

input
(אופציונלי) מציינים את ה-DD או ה-DSN שרוצים להעתיק. במקומה אפשר להשתמש ב---inDD או ב---inDsn.
output
‫
(Optional) Specify the URI of the output using the format gs://[BUCKET]/[PREFIX]. במקומה, אפשר להשתמש ב---gcsOutUri.
--compress
(אופציונלי) דחיסת הפלט באמצעות gzip.
‫--count או -n=RECORDS
(אופציונלי) מציינים את מספר הרשומות להעתקה. ברירת המחדל היא ללא הגבלה.
--encoding=ENCODING
(אופציונלי) מציינים את קידוד התווים של הקלט. ערך ברירת המחדל הוא CP037.
--gcsOutUri=URI
(אופציונלי) מציינים את ה-URI של Cloud Storage של היעד של העתקת הקובץ.
‫--help או -h
הצגת טקסט העזרה הזה.
--inDD=INPUT
(אופציונלי) מציינים את קובץ ה-DD שרוצים להעתיק. ערך ברירת המחדל הוא DD INFILE.
--inDsn=INPUT
(אופציונלי) מציינים את ה-DSN שרוצים להעתיק.
--noConvert
(אופציונלי) השבתת ההמרה של קלט תווים ל-ASCII. המרת התווים מופעלת כברירת מחדל.

systemreport

שליחת דוח מערכת.

תקציר

systemreport [-h] [--available-security-providers] [--supported-ciphers]

הגדרות flag וארגומנטים

הפקודה systemreport משתמשת בדגלים ובארגומנטים הבאים:

--available-security-providers
(אופציונלי) מדפיסים את ספקי האבטחה הנתמכים.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--supported-ciphers
(אופציונלי) מדפיסים את הצפנים הנתמכים.

vsam decode

פענוח נתוני VSAM.

הפקודה הזו מפענחת רשומות מקובץ VSAM לפורמט שצוין באמצעות הארגומנט --output-format. קובץ ה-VSAM המקורי מפולח לחלקים על סמך הערך שמציינים בארגומנט --max-chunk-size. הפלט שעבר המרה נשמר בנתיב היעד כקבצים ממוינים לפי סדר מילוני.

תקציר

vsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

הגדרות flag וארגומנטים

הפקודה vsam decode משתמשת בדגלים ובארגומנטים הבאים:

INPUT : DataPath
מציינים את נתיב הנתונים של קובץ ה-VSAM שרוצים לפענח.
OUTPUT : DataPath
מציינים את נתיב הנתונים של קידומת הפלט. כל הפלט מאוחסן תחת הקידומת הזו.
--chunk-size=CHUNK-SIZE : DataSize
(אופציונלי) מציינים את כמות נתוני הקלט שרוצים לכלול בכל קובץ פלט. יכול להיות שגודל קובץ הפלט יהיה גדול או קטן יותר. גודל המקטע מעוגל כלפי מטה לכפולה הקרובה ביותר של אורך הרשומה הלוגית. ערך ברירת המחדל הוא 128MiB.
‫--copybook=COPYBOOK : DataPath
מציינים את נתיב הנתונים של הקובץ שמכיל את ה-copybook.
‫--help או -h
(אופציונלי) הצגת הודעת העזרה הזו.
--input-parameter=KEY=VALUE

(אופציונלי) מציינים פרמטרים להגדרת הקלט. כל פרמטר מוגדר כ-KEY=VALUE. אלה מפתחות פרמטר הקלט הנתמכים:

  • ‫csv-dialect: הגדרת ניתוח של קובץ CSV. הערך הוא DataPath שמפנה אל קובץ הגדרות CSV.
  • ‫json-dialect: הגדרה של ניתוח JSON. הערך הוא DataPath שמצביע על קובץ הגדרות JSON.
  • ‫pubsub-publish-configuration: הגדרת ההודעות שנשלחות ל-Pub/Sub. הערך הוא DataPath שמצביע על קובץ הגדרות של Pub/Sub.
  • ‫output-prefix: הוספת קידומת לקובצי הפלט.
--max-error-percent=MAX_ERROR_PERCENT

(אופציונלי) מציינים את אחוז הרשומות המעובדות שיכולות להכיל שגיאות לפני שתהליך הקידוד נכשל. הערך יכול להיות בין 0.0 (ההמרה תיכשל אם יש שגיאות המרה) ל-1.0 (ההמרה לא תיכשל אם יש שגיאות המרה). ערך ברירת המחדל הוא 0.

‫--output-format=FORMAT : TranscodeFormat

(אופציונלי) מציינים את הפורמט של קובץ הפלט. אם מספקים את DataPath של נושא Pub/Sub כערך של OUTPUT, פורמט הפלט שמוגדר כברירת מחדל הוא JSONL. לכל שאר DataPaths, פורמט הפלט שמוגדר כברירת מחדל הוא ORC.

--parallelism=COUNT

(אופציונלי) מציינים את מספר השרשורים לעיבוד. הערך צריך להיות שווה למספר ליבות המעבד הזמינות או קטן ממנו. ערך ברירת המחדל הוא 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(אופציונלי) מציינים את מספר חלקי הנתונים שייטענו מראש כשכל השרשורים פועלים. ערך ברירת המחדל הוא 1.

--replace

(אופציונלי) אם מציינים נתיב פלט, הפקודה מוחקת אותו באופן רקורסיבי לפני כתיבת תוצאות הפענוח.

‫--transcode-configuration=CONFIG : DataPath

(אופציונלי) מציינים את הקובץ שמכיל את הגדרות הקידוד מחדש. מידע נוסף על פורמט ההגדרה של המרת הקידוד זמין במאמר הגדרת המרת הקידוד.

סוגי פרמטרים

אלה הסוגים הנפוצים שמשמשים בפקודות של Mainframe Connector.

DataPath

‫DataPath היא מחרוזת שמייצגת קלט או פלט. לכל סוג DataPath יש תחילית וארגומנטים משלו, כמו שמוצג בהמשך:

  • ‫DD: – נתיבי נתונים עם הקידומת הזו מצביעים על הצהרת הגדרת נתונים (DD) כשמריצים אותם בעבודה של שפת בקרת עבודות (JCL). כדי לשנות את הקידוד של ה-DD, מוסיפים encoding= ל-DD. לדוגמה, DD:DDNAME או DD:DDNAME?encoding=UTF-8. קידוד ברירת המחדל של DD הוא קידוד ברירת המחדל של מערכת ההפעלה.

  • ‫DSN: – נתיבי נתונים עם התחילית הזו מצביעים על שם של מקור נתונים (DSN) כשמריצים אותם במחשב מרכזי. כדי לשנות את הקידוד של ה-DSN, מוסיפים encoding=charset ל-DSN. כדי לשנות את מצב הכתיבה של ה-DSN, מוסיפים writemode=OLD/MOD/SHR ל-DSN.

    • ‫MOD: הוספת נתונים לסוף של קובץ קיים. אם הקובץ לא קיים, הוא נוצר. במצב הזה, גישת קריאה בו-זמנית (לוגיקה של DISP=SHR) מופעלת כברירת מחדל.
    • ‫OLD: מחליף את הקובץ החל מההתחלה. במצב הזה יש שליטה בלעדית; אף משימה אחרת לא יכולה לגשת ל-DSN בזמן שהוא פתוח.
    • ‫SHR: מחליף את הקובץ החל מההתחלה. במצב הזה יש גישת קריאה וכתיבה בו-זמנית, אבל צריך להשתמש בו בזהירות רבה כי הוא לא מציע סדרות.

    לדוגמה, DSN:HQ.FOO.BAR, ‏ DSN:HQ.FOO.BAR?encoding=cp037 או DSN:HQ.FOO.BAR?encoding=cp037&writemode=OLD.

  • ‫file: – נתיבי נתונים עם הקידומת הזו מפנים לקובץ Unix. אפשר לציין את הפרטים הבאים בקובץ Unix:

    • אורך הרשומה הלוגית (LRECL) על ידי הוספת ?lrecl=lrecl לפני :.
    • פורמט הרשומה (RECFM) על ידי הוספת ?recfm=recfm לפני :. ערך ברירת המחדל של RECFM הוא F.
    • הקידוד מתבצע על ידי הוספת ?encoding=charset לפני :. קידוד ברירת המחדל הוא UTF-8.

    לדוגמה, file:/path/to/file,‏ file?lrecl=80:/path/to/file,‏ file?lrecl=80&recfm=FB:/path/to/file או file?lrecl=80&recfm=FB&encoding=cp037:/path/to/file.

  • ‫gs:// – נתיבי נתונים עם הקידומת הזו מצביעים על קובץ ב-Cloud Storage. אפשר לציין בקובץ את הפרטים הבאים:

    • ה-LRECL על ידי הוספת ?lrecl=lrecl אחרי הקידומת של הקטגוריה.
    • ה-RECFM על ידי הוספת ?recfm=recfm אחרי הקידומת של הקטגוריה. ערך ברירת המחדל של RECFM הוא F.
    • הקידוד על ידי הוספת ?encoding=charset אחרי הקידומת של מאגר הנתונים. קידוד ברירת המחדל הוא UTF-8.
    • אלגוריתמים של סכומי ביקורת לאימות על ידי הוספת ?checksums= אחרי קידומת הדלי. ערכים נתמכים: md5, ‏ crc32c, ‏ none, ‏ all. ערך ברירת המחדל הוא all.

    • קידוד התוכן על ידי הוספת ?content-encoding= אחרי הקידומת של הדלי. ערכים נתמכים: gzip, ‏ identity. ערך ברירת המחדל הוא identity. הערה: זה רלוונטי רק לכתיבות ב-Cloud Storage. קריאות מסיקות באופן דינמי את קידוד התוכן ממטא-נתונים של blob באחסון במעלה הזרם.

    • אפשר להגדיר מקביליות על ידי הוספת ?parallelism= אחרי הקידומת של הקטגוריה. כשמגדירים את האפשרות הזו, חלק מהפעולות ישתמשו בכמה מקורות נתונים של GCS כשמעבירים נתונים אל GCS וממנו.

    לדוגמה, gs://my_bucket/my/file.txt,gs://my_bucket/my/file.txt?encoding=cp037,gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 או gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=cp037.

  • ‫pubsub: – נתיבי נתונים עם הקידומת הזו מצביעים על משאב Pub/Sub. לדוגמה, pubsub:projects/projectId/topics/topicId.

בקבצים של Cloud Storage או Unix, אם RECFM מוגדר ל-V, Mainframe Connector קורא וכותב את הקבצים בפורמט LLzz באופן הבא:

  • שני הבייטים הראשונים מייצגים את גודל הנתונים + 4 בייטים.
  • שני הבייטים הבאים הם תמיד 0x0000.
  • שאר הבייטים הם נתוני הרשומה בפועל.

בקבצים של Cloud Storage או Unix, אם RECFM מוגדר ל-VC, Mainframe Connector קורא וכותב את הקבצים בפורמט zzLL באופן הבא:

  • שני הבייטים הראשונים הם תמיד 0x0000.
  • שני הבייטים הבאים מייצגים את גודל הנתונים.
  • שאר הבייטים הם נתוני הרשומה בפועל.

DataSize

‫DataSize מייצג גודל בצורה של כמות ויחידת מידה, לדוגמה 5 MiB. אפשר להשתמש ברווח לבן בין הכמות לבין סדר הגודל. ניתוח הגודל של הנתונים לא תלוי באותיות רישיות או קטנות, כך שאפשר לציין יחידות מידה באותיות רישיות או קטנות.

אפשר לציין את הערך בפורמטים הבאים:

  • פורמט Java: b/k/m/g/t, ל-byte,‏ kibibyte,‏ mebibyte,‏ gibibyte ו-tebibyte בהתאמה.
  • פורמט בינלאומי: KiB/MiB/GiB/TiB, ל-kibibyte,‏ mebibyte,‏ gibibyte ו-tebibyte בהתאמה.
  • פורמט המדד: b/kb/mb/gb/tb, עבור קילו-בייט, מגה-בייט, ג'יגה-בייט וטרה-בייט בהתאמה.

TranscodeFormat

‫TranscodeFormat מייצג את הפורמט שבו יש להשתמש במהלך תהליך הקידוד מחדש.

הערכים החוקיים הם:

  • ‫ORC – ‏ORC הוא פורמט קובץ עמודתי עם מודעות לסוג, שמתאר את עצמו.
  • ‫CSV – ‏CSV הוא פורמט של טקסט פשוט שבו מאוחסנים נתונים טבלאיים, כשכל שורה מייצגת שורה בטבלה. אפשר לציין את הפרמטרים של קובץ ה-CSV באמצעות פרמטר הקלט csv-dialect. אפשר להגדיר אותו כ---input-parameter csv-dialect=DataPath, כאשר DataPath מציין את המיקום של הפרמטרים האלה.
  • ‫JSONL – ‏JSONL הוא פורמט של טקסט פשוט שבו מאוחסנים נתונים טבלאיים, כשכל שורה מייצגת שורה בטבלה. אפשר לציין את פרמטרי ה-JSON באמצעות פרמטר הקלט json-dialect. אפשר להגדיר אותו כ---input-parameter json-dialect=DataPath, כאשר DataPath מציין את המיקום של הפרמטרים האלה.
  • ‫AVRO – AVRO הוא פורמט סריאליזציה בינארי מבוסס-שורה, שמודע לסוגים ומתאר את עצמו.

TranscodeInputFormat

הפורמט שבו ייעשה שימוש במהלך הקידוד מחדש.

הערכים החוקיים הם:

  • ‫BIGQUERY – שולף נתונים ישירות מ-BigQuery. ‫INPUT חייב להיות נתיב לקובץ שאילתה.

    אלה פרמטרי הקלט הזמינים:

    • ‫keep-order – לשימוש אם הסדר המדויק של הרשומות חשוב. שימו לב שהפעולה הזו תגביל את זרם הקלט.
    • ‫project-id – מזהה הפרויקט לשימוש בהרצת המשימה.
    • ‫location – המיקום שבו יש להשתמש כשמבצעים את העבודה.

  • ‫CSV – ‏CSV הוא פורמט של טקסט פשוט שבו מאוחסנים נתונים טבלאיים, כשכל שורה מייצגת שורה בטבלה. אפשר לציין את הפרמטרים של קובץ ה-CSV באמצעות פרמטר הקלט csv-dialect. אפשר להגדיר אותו כ---input-parameter csv-dialect=DataPath, כאשר DataPath מציין את המיקום של הפרמטרים האלה.

  • ‫JSONL – ‏JSONL הוא פורמט של טקסט פשוט שבו מאוחסנים נתונים טבלאיים, כשכל שורה מייצגת שורה בטבלה. אפשר לציין את פרמטרי ה-JSON באמצעות פרמטר הקלט json-dialect. אפשר להגדיר אותו כ---input-parameter json-dialect=DataPath, כאשר DataPath מציין את המיקום של הפרמטרים האלה.

  • ‫ORC – ‏ORC הוא פורמט קובץ עמודתי עם מודעות לסוג, שמתאר את עצמו. כדי לבצע טרנסקוד לקובצי ORC מ-Cloud Storage, מגדירים את הערך של project-id למזהה הפרויקט שבו נמצא Cloud Storage.

  • ‫AVRO – AVRO הוא פורמט סריאליזציה בינארי של שורות, שמודע לסוגים ומתאר את עצמו.