פתרון בעיות בנושא העברה
במסמך הזה מוסבר איך לפתור בעיות נפוצות שקשורות להעברת מחסן נתונים (כמו Teradata, Amazon Redshift, Oracle או Apache Hive) ל-BigQuery, כולל בעיות שקשורות להערכת ההעברה, לתרגום SQL אינטראקטיבי ובאצ'ים וליצירת מטא-נתונים באמצעות כלי החילוץ dwh-migration-dumper בשורת הפקודה.
כדי לבדוק את פרטי הביצוע של העבודות, קודי השגיאה ושימוש במשבצות של שאילתות ועבודות שהועברו, אפשר גם להריץ שאילתה בתצוגה INFORMATION_SCHEMA.JOBS.
הערכת ההעברה
בקטעים הבאים מוסברות בעיות נפוצות וטכניקות לפתרון בעיות שקשורות להעברת מחסן הנתונים ל-BigQuery.
dwh-migration-dumper שגיאות בכלי
כדי לפתור שגיאות ואזהרות בפלט של מסוף הכלי dwh-migration-dumper שהתרחשו במהלך חילוץ המטא-נתונים או יומני השאילתות, קראו את המאמר פתרון בעיות ביצירת מטא-נתונים.
שגיאות בהעברה של Hive
בקטעים הבאים מתוארות בעיות נפוצות שאתם עשויים להיתקל בהן כשאתם מתכננים להעביר את מחסן הנתונים מ-Hive ל-BigQuery.
ה-hook של רישום חילוץ היומנים של שאילתות hadoop-migration-assessment כותב הודעות יומן לניפוי באגים ביומנים של hive-server2. אם נתקלים בבעיות, בודקים את יומני ניפוי הבאגים של ה-hook לרישום ביומן, שמכילים את המחרוזת MigrationAssessmentLoggingHook.
טיפול בשגיאה ClassNotFoundException
השגיאה הזו מתקבלת כשתהליך hive-server2 לא מצליח לאתר את com.google.cloud.bigquery.dwhassessment.hooks.MigrationAssessmentLoggingHook במהלך הידור השאילתה.
מוודאים שהוספתם את קובץ ה-JAR של ה-hook לרישום ביומן לתיקייה auxlib באשכול Hive, או שציינתם את הנתיב המלא לקובץ ה-JAR במאפיין hive.aux.jars.path, לדוגמה file://AUXLIB_PATH/HiveMigrationAssessmentQueryLogsHooks_deploy.jar.
אם השגיאה נמשכת, מבצעים את הפעולות הבאות:
אימות המיקום של קובץ ה-JAR ב-Cloudera (CDP או CDH): בסביבות Cloudera, יכול להיות שמאפייני JAR משניים (
hive.aux.jars.path) לא ייטענו באופן מהימן לטוען המחלקות של הידור השאילתה הבסיסית. כדי לפתור את הבעיה, מעתיקים את קובץ ה-JAR של ה-hook לרישום ביומן ישירות לספריית הליבה של Hive בכל המארחים של HiveServer2, לדוגמה/opt/cloudera/parcels/CDH/lib/hive/lib/.אימות היקף ההגדרות: אם אתם משתמשים ב-Cloudera Manager, ודאו שאתם ממקמים את מאפייני ההגדרות של ה-hook לרישום ביומן (לדוגמה,
hive.exec.pre.hooks,hive.exec.post.hooks,hive.exec.failure.hooksו-dwhassessment.hook.base-directory) בקטע הקוד של הגדרות מנוע ההפעלה הפעיל. לדוגמה, אם האשכול שלכם משתמש בביצוע Tez, מוסיפים את מאפייני ה-XML לשדות שלhive-site.xmlבקטע הקוד של ההגדרה המתקדמת של Hive on Tez (שסתום ביטחון), או בשסתום הביטחון של Hive ברמת השירות, ולא בקטעי הקוד של ההגדרה העצמאית של HiveServer2. אחרי ששומרים את השינויים, מפעילים מחדש את שירות Hive, כולל התפקידים HiveServer2 ו-Hive Metastore.
תיקיות משנה לא מופיעות בתיקייה שהוגדרה
יכול להיות שהבעיה נגרמה בגלל הגדרה שגויה או בעיות במהלך ההפעלה של ה-logging hook.
מחפשים ביומני ניפוי הבאגים של hive-server2 את ההודעות הבאות של ה-logging hook:
Unable to initialize logger, logging disabled
Log dir configuration key 'dwhassessment.hook.base-directory' is not set, logging disabled.
Error while trying to set permission
בודקים את פרטי הבעיה ורואים אם יש משהו שצריך לתקן כדי לפתור אותה.
הקבצים לא מופיעים בתיקייה
יכול להיות שהבעיה נגרמה בגלל בעיות שנתקלתם בהן במהלך עיבוד האירוע או במהלך כתיבה לקובץ.
מחפשים בhive-server2 יומני ניפוי הבאגים את ההודעות הבאות של וו התחברות לרישום:
Failed to close writer for file
Got exception while processing event
Error writing record for query
בודקים את פרטי הבעיה ורואים אם יש משהו שצריך לתקן כדי לפתור אותה.
חלק מהאירועים של השאילתות לא נכללים
יכול להיות שהבעיה נגרמה בגלל גלישת תור של שרשור הוק לרישום ביומן.
מחפשים בhive-server2 יומני ניפוי הבאגים את הודעת ה-hook הבאה של הרישום ביומן:
Writer queue is full. Ignoring event
אם ההודעה הזו מופיעה, כדאי להגדיל את הפרמטר dwhassessment.hook.queue.capacity.
מתרגם SQL אינטראקטיבי
בקטעים הבאים מתוארות שגיאות נפוצות שמתרחשות כשמשתמשים במתרגם האינטראקטיבי של SQL.
בעיות בתרגום של RelationNotFound או AttributeNotFound
אחרי שמתרגמים שאילתה באמצעות הכלי האינטראקטיבי לתרגום SQL, יכול להיות שהתרגום ייכשל ותופיע השגיאה RelationNotFound או AttributeNotFound.
כדי לראות את התרגומים שנכשלו, עוברים לדף Translation details (פרטי התרגום) ב-BigQuery במסוף Google Cloud ופותחים את הכרטיסייה Log Messages (הודעות יומן).
כדי שהתרגום יהיה מדויק ככל האפשר, אתם יכולים להזין את הצהרות שפת הגדרת הנתונים (DDL) לכל הטבלאות שמשמשות בשאילתה לפני השאילתה עצמה. לדוגמה, כדי לתרגם את השאילתה הבאה ב-Amazon Redshift:
select table1.field1, table2.field1 from table1, table2 where table1.id = table2.id;,
מזינים את הצהרות ה-SQL הבאות במתרגם ה-SQL האינטראקטיבי:
create table schema1.table1 (id int, field1 int, field2 varchar(16));
create table schema1.table2 (id int, field1 varchar(30), field2 date);
select table1.field1, table2.field1
from table1, table2
where table1.id = table2.id;
פתרון בעיות בתרגום באמצעות Gemini
כדי לתקן משימות תרגום שנכשלו עם השגיאות RelationNotFound או AttributeNotFound, אתם יכולים גם להשתמש ב-Gemini:
- ב-BigQuery במסוף Google Cloud , עוברים לדף Translation details (פרטי התרגום) ופותחים את הכרטיסייה Log Messages (הודעות יומן).
- לוחצים על השאילתה שמופיעה בה ההודעה
RelationNotFoundאוAttributeNotFoundבעמודה קטגוריה. - לוחצים על הצעה לתיקון.
- לוחצים על אישור.
- כדי לתרגם מחדש את השאילתה, לוחצים על תרגום.
מתרגם SQL באצווה
בקטעים הבאים מתוארות שגיאות נפוצות שמתרחשות במהלך השימוש בכלי לתרגום SQL באצווה.
בעיות בתרגום של RelationNotFound או AttributeNotFound
אחרי שמתרגמים שאילתה באמצעות המתרגם של SQL באצווה, יכול להיות שהתרגום ייכשל ותופיע השגיאה RelationNotFound או AttributeNotFound.
כדי לראות את התרגומים שנכשלו, עוברים לדף פרטי התרגום ב-BigQuery במסוף Google Cloud ופותחים את הכרטיסייה הודעות יומן.
התרגום פועל בצורה הכי טובה עם פקודות DDL של מטא-נתונים. אם לא נמצאות הגדרות של אובייקטים ב-SQL, מנוע התרגום מעלה בעיות מסוג RelationNotFound או AttributeNotFound. מומלץ להשתמש בכלי לחילוץ מטא-נתונים כדי ליצור חבילות מטא-נתונים ולוודא שכל הגדרות האובייקטים קיימות. הוספת מטא-נתונים היא השלב הראשון שמומלץ לבצע כדי לפתור את רוב שגיאות התרגום, כי השלב הזה בדרך כלל מתקן הרבה שגיאות אחרות שנגרמות באופן עקיף בגלל מחסור במטא-נתונים.
למידע נוסף, ראו יצירת מטא-נתונים לתרגום ולהערכה.
תיקון בעיות בתרגום באמצעות Gemini
כדי לתקן משימות תרגום שנכשלו עם השגיאות RelationNotFound או AttributeNotFound, אתם יכולים גם להשתמש ב-Gemini:
- עוברים לדף Translation details ופותחים את הכרטיסייה Log Messages.
- לוחצים על השאילתה שמופיעה בה ההודעה
RelationNotFoundאוAttributeNotFoundבעמודה קטגוריה. כדי לעבור לקובץ ולשורה שמכילים את השגיאה בכרטיסייה Code, לוחצים על
הודעת שגיאה.
בעמודה פעולה, לוחצים על הצעה לתיקון.
בוחרים באחת מהאפשרויות הבאות, החלה או החלה והפעלה מחדש:
- כדי להעתיק את קובץ הסכימה שנוצר מספריית הפלט לספריית הקלט, לוחצים על Apply.
- כדי להעתיק את קובץ הסכימה שנוצר מהספרייה של הפלט לספרייה של הקלט ולפתוח חלון של הרצה חוזרת, לוחצים על החלה והרצה חוזרת.
יצירת מטא-נתונים לתרגום ולהערכה
בקטעים הבאים מוסברות כמה בעיות נפוצות ושיטות לפתרון בעיות בכלי dwh-migration-dumper.
שגיאת אין זיכרון פנוי
השגיאה java.lang.OutOfMemoryError בפלט של מסוף הכלי dwh-migration-dumper קשורה בדרך כלל למחסור בזיכרון לעיבוד הנתונים שאוחזרו.
כדי לפתור את הבעיה הזו, צריך להגדיל את הזיכרון הזמין או להקטין את מספר השרשורים לעיבוד.
כדי להגדיל את הזיכרון המקסימלי, אפשר לייצא את משתנה הסביבה JAVA_OPTS:
Linux
export JAVA_OPTS="-Xmx4G"
Windows
set JAVA_OPTS="-Xmx4G"
אפשר להקטין את מספר השרשורים לעיבוד (ברירת המחדל היא 32) על ידי הוספת ערך הדגל --thread-pool-size. האפשרות הזו נתמכת רק במחברים של hiveql ושל redshift*:
dwh-migration-dumper --thread-pool-size=1
טיפול בשגיאה מסוג WARN...Task failed
לפעמים יכול להיות שתופיע השגיאה WARN [main] o.c.a.d.MetadataDumper [MetadataDumper.java:107] Task failed: … בפלט של מסוף הכלי dwh-migration-dumper. כלי החילוץ שולח כמה שאילתות למערכת המקור, והפלט של כל שאילתה נכתב בקובץ משלו. אם הבעיה הזו מופיעה, סימן שאחת מהשאילתות האלה נכשלה. עם זאת, אם שאילתה אחת נכשלת, זה לא מונע את ההפעלה של השאילתות האחרות. אם מופיעות יותר מכמה שגיאות WARN, כדאי לבדוק את פרטי הבעיה ולראות אם צריך לתקן משהו כדי שהשאילתה תפעל כמו שצריך. לדוגמה, אם למשתמש במסד הנתונים שציינתם כשאתם מפעילים את כלי החילוץ אין הרשאות לקרוא את כל המטא-נתונים, נסו שוב עם משתמש שיש לו את ההרשאות המתאימות.
קובץ ZIP פגום
כדי לאמת את קובץ ה-ZIP של הכלי dwh-migration-dumper, מורידים את הקובץ SHA256SUMS.txt ומריצים את הפקודה הבאה:
Bash
sha256sum --check SHA256SUMS.txt
התוצאה OK מאשרת שאימות סיכום הביקורת (checksum) הצליח. כל הודעה אחרת
מצביעה על שגיאה באימות:
-
FAILED: computed checksum did NOT match: קובץ ה-ZIP פגום וצריך להוריד אותו שוב. -
FAILED: listed file could not be read: לא ניתן לאתר את גרסת קובץ ה-ZIP. מורידים את קובצי ה-checksum וה-ZIP מאותה גרסת הפצה וממקמים אותם באותה ספרייה.
Windows PowerShell
(Get-FileHash RELEASE_ZIP_FILENAME).Hash -eq ((Get-Content SHA256SUMS.txt) -Split " ")[0]
מחליפים את RELEASE_ZIP_FILENAME בשם קובץ ה-ZIP שהורדתם של כלי החילוץ משורת הפקודה dwh-migration-dumper – לדוגמה, dwh-migration-tools-v1.0.52.zip.
התוצאה True מאשרת שאימות סיכום הביקורת (checksum) הצליח.
התוצאה False מצביעה על שגיאת אימות. מורידים את קובץ סיכום הביקורת ואת קובץ ה-ZIP מאותה גרסת הפצה, וממקמים אותם באותה ספרייה.
המידע מיומני השאילתות של Teradata נשלף לאט
כדי לשפר את הביצועים של טבלאות איחוד שצוינו בדגלים -Dteradata-logs.query-logs-table ו--Dteradata-logs.sql-logs-table, אפשר לכלול עמודה נוספת מסוג DATE בתנאי JOIN.
העמודה הזו צריכה להיות מוגדרת בשתי הטבלאות, והיא צריכה להיות חלק מהאינדקס הראשי המפוצל. כדי לכלול את העמודה הזו, משתמשים בדגל -Dteradata-logs.log-date-column.
בדוגמה הבאה אפשר לראות איך משתמשים בדגל -Dteradata-logs.log-date-column:
Bash
dwh-migration-dumper \ -Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV \ -Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl \ -Dteradata-logs.log-date-column=ArchiveLogDate
Windows PowerShell
dwh-migration-dumper ` "-Dteradata-logs.query-logs-table=historicdb.ArchivedQryLogV" ` "-Dteradata-logs.sql-logs-table=historicdb.ArchivedDBQLSqlTbl" ` "-Dteradata-logs.log-date-column=ArchiveLogDate"
חריגה ממגבלת הגודל של שורה ב-Teradata
ב-Teradata גרסה 15, גודל השורה מוגבל ל-64KB. אם חורגים מהמגבלה, כלי החילוץ נכשל ומוצגת ההודעה הבאה:
[Error 9804] [SQLState HY000] Response Row size or Constant Row size overflow
כדי לפתור את השגיאה הזו, אפשר להגדיל את מגבלת השורות ל-1MB או לפצל את השורות לכמה שורות:
- מתקינים ומפעילים את התכונה 1 MB Perm and Response Rows ואת התוכנה הנוכחית של TTU. למידע נוסף, קראו את הודעה 9804 של מסד הנתונים של Teradata.
- מפצלים את טקסט השאילתה הארוך לכמה שורות באמצעות הדגלים
-Dteradata.metadata.max-text-lengthו--Dteradata-logs.max-sql-length.
הפקודה הבאה מראה איך להשתמש בדגל -Dteradata.metadata.max-text-length כדי לפצל טקסט ארוך של שאילתה לכמה שורות, כל אחת עם עד 10,000 תווים:
Bash
dwh-migration-dumper \ --connector teradata \ -Dteradata.metadata.max-text-length=10000
Windows PowerShell
dwh-migration-dumper ` --connector teradata ` "-Dteradata.metadata.max-text-length=10000"
הפקודה הבאה מראה איך להשתמש בדגל -Dteradata-logs.max-sql-length כדי לפצל טקסט ארוך של שאילתה לכמה שורות, כל אחת באורך של 10,000 תווים לכל היותר:
Bash
dwh-migration-dumper \ --connector teradata-logs \ -Dteradata-logs.max-sql-length=10000
Windows PowerShell
dwh-migration-dumper ` --connector teradata-logs ` "-Dteradata-logs.max-sql-length=10000"
בעיה בחיבור ל-Oracle
במקרים נפוצים כמו סיסמה או שם מארח לא תקינים, הכלי dwh-migration-dumper מדפיס הודעת שגיאה משמעותית שמתארת את בעיית הבסיס. עם זאת, במקרים מסוימים הודעת השגיאה שמוחזרת על ידי שרת Oracle עשויה להיות כללית וקשה לחקירה.
אחת מהבעיות האלה היא IO Error: Got minus one from a read call. השגיאה הזו מציינת שהחיבור לשרת Oracle נוצר, אבל השרת לא קיבל את הלקוח וסגר את החיבור.
הבעיה הזו מתרחשת בדרך כלל כשהשרת מקבל רק חיבורים של TCPS. כברירת מחדל, הכלי dwh-migration-dumper משתמש בפרוטוקול TCP. כדי לפתור את הבעיה, צריך לבטל את כתובת ה-URL של חיבור Oracle JDBC.
במקום לספק את הדגלים oracle-service, host ו-port, אתם יכולים לפתור את הבעיה על ידי ציון הדגל url בפורמט הבא: jdbc:oracle:thin:@tcps://HOST_NAME:PORT/ORACLE_SERVICE.
בדרך כלל, מספר היציאה TCPS שמשמש את שרת Oracle הוא 2484.
בדוגמה הבאה מוסבר איך לציין את כתובת ה-URL של החיבור בפקודה:
dwh-migration-dumper \
--connector oracle-stats \
--url "jdbc:oracle:thin:@tcps://HOST_NAME:PORT/ORACLE_SERVICE" \
--assessment \
--driver "JDBC_DRIVER_PATH" \
--user "USER" \
--password
בנוסף לשינוי פרוטוקול החיבור ל-TCPS, יכול להיות שתצטרכו לספק את הגדרת ה-SSL של trustStore שנדרשת כדי לאמת את אישור השרת של Oracle. אם חסרה הגדרת SSL, תופיע הודעת השגיאה Unable to find valid certification path. כדי לפתור את הבעיה, מגדירים את משתנה הסביבה JAVA_OPTS:
set JAVA_OPTS=-Djavax.net.ssl.trustStore="JKS_FILE_LOCATION" -Djavax.net.ssl.trustStoreType=JKS -Djavax.net.ssl.trustStorePassword="PASSWORD"
בהתאם להגדרות של שרת Oracle, יכול להיות שתצטרכו לספק גם את ההגדרות של keyStore. מידע נוסף על אפשרויות ההגדרה זמין במאמר SSL With Oracle JDBC Driver.
המאמרים הבאים
- מידע נוסף על סקירה כללית של ההעברה
- איך מריצים הערכת העברה
- איך מתרגמים שאילתות באמצעות הכלי האינטראקקטיבי לתרגום SQL
- איך מעבירים קוד באמצעות הכלי לתרגום קוד SQL באצווה
- איך יוצרים מטא-נתונים לתרגום ולבדיקה