בדף הזה מפורטים סוגי הקבצים ש-Sensitive Data Protection יכול לסרוק, ומתוארים מצבי הסריקה שבהם Sensitive Data Protection משתמש כדי לנתח קבצים.
סוגי קבצים נתמכים בפעולות בדיקה והסרת פרטי זיהוי
בטבלה הבאה מוצגים סוגי הקבצים ש-Sensitive Data Protection יכול לבדוק ולבצע טרנספורמציה (להסיר פרטי זיהוי).
הכלי "הגנה על מידע רגיש" מסתמך על סיומות של קבצים וסוגי מדיה (MIME) כדי לזהות את סוגי הקבצים שצריך לסרוק ואת מצבי הסריקה שצריך להחיל. לדוגמה, Sensitive Data Protection סורק קובץ .txt במצב טקסט פשוט, גם אם הקובץ מובנה כקובץ CSV, שבדרך כלל נסרק במצב ניתוח מובנה.
| סוג קובץ | סיומות קבצים | מגבלות | מצב סריקה | תמיכה בטרנספורמציה |
|---|---|---|---|---|
Apache Avro |
avro |
מגבלות של Avro | ניתוח מובנה | |
Comma- or tab-separated values | csv, tsv | ניתוח מובנה | הסרת פרטי הזיהוי מהתוכן | |
PDF |
מגבלות על קובצי PDF | ניתוח חכם של מסמכים | ||
Text |
asc, brf, c, c++, cc, cpp, cs, css, cxx, dart, eml, go, h, h++, hh, hpp, hs, htm, html, hxx, ini, java, js, json, jsonl, lhs, m, markdown, md, mkd, ml, mli, ocaml, php, pht, phtml, pl, pm, py, pyw, rb, rbw, rc, rs, scala, sh, shtm, shtml, sql, tex, text, txt, vcard, vcs, wml, xhtml, xml, xsd, xsl, yaml, yml |
טקסט פשוט | הסרת פרטי הזיהוי מהתוכן | |
Microsoft Word |
docm, docx, dotm, dotx |
מגבלות על מספר המילים | ניתוח חכם של מסמכים | |
Microsoft Excel |
xlsm, xlsx, xltm, xltx |
מגבלות ב-Excel | ניתוח חכם של מסמכים | |
Microsoft Powerpoint |
potm, potx, pptm, pptx |
מגבלות ב-PowerPoint | ניתוח חכם של מסמכים | |
Image |
bmp, gif, jpe, jpeg, jpg, png, tif, tiff |
מגבלות על קובצי TIFF |
|
צנזור לכל סוגי התמונות חוץ מ-TIFF |
Binary |
סוגי קבצים לא מזוהים ותמונות שלא ניתן לסרוק באמצעות זיהוי תווים אופטי (OCR), זיהוי תוכן של תמונות או סיווג תוכן של תמונות. |
בינארי |
אשכולות קבצים נתמכים בפעולות גילוי
במהלך הזיהוי, Sensitive Data Protection מארגן את הקבצים שזוהו באשכולות של קבצים. האשכולות האלה הם קבוצות של סוגי קבצים דומים. בטבלה הבאה מפורטים אשכולות הקבצים וסיומות הקבצים הנתמכים. לא את כל הקבצים שזוהו אפשר לסרוק.
יכול להיות שקבצים יועברו בין אשכולות קבצים, כי Sensitive Data Protection מוסיף תמיכה באשכולות קבצים נוספים. ככל שהתמיכה בסריקה מתרחבת, שירות הגילוי עשוי להתחיל לסרוק קבצים שלא נסרקו בעבר. החיוב מתבצע כמו שמתואר בקטע תמחור של Discovery.
| אשכול קבצים | סיומות קבצים | מגבלות | מצב סריקה |
|---|---|---|---|
Text |
asc, eml, htm, html, ini, json, jsonL, log, markdown, md, mkd, plist, shtm, shtml, sql, tex, text, txt, vcard, vcs, xsd, xsl |
טקסט פשוט | |
Source Code |
bat, brf, c, c++, cc, cmd, cpp, cs, css, cxx, dart, go, h, hh, hpp, hs, hxx, java, js, lhs, m, ml, ocaml, php, phtm, phtml, pl, ps1, py, pyw, rb, rbw, rc, rs, scala, scpt, scr, script, sh, sql, vb, vbs, wml, xml, yaml, yml |
טקסט פשוט | |
Structured Data |
avro, csv, tsv, proto |
ניתוח מובנה של קובצי avro, csv ו-tsv. ניתוח טקסט פשוט של קובצי .proto | |
Rich Documents |
doc, docm, docx, dotm, dotx, pdf, potm, potx, ppt, pptm, pptx, xls, xlsm, xlsx, xltm, xltx |
המערכת סורקת קובצי PDF, Microsoft Word, Excel ו-Powerpoint נתמכים שקטנים מ-30 MiB. | ניתוח חכם של מסמכים |
Images |
bmp, gif, heic, ico, jpe, jpeg, jpg, pm, png, svg, tif, tiff, webp |
תמונות נתמכות (bmp, gif, jpe, jpeg, jpg, png, tif ו-tiff) שקטנות מ-4 MiB נסרקות באמצעות OCR באזורים שתומכים בסריקת תמונות. תמונות בפורמט TIFF כפופות למגבלות של TIFF. |
|
Executables |
English: https://support.google.com/google-ads/contact/approval_request?ctx=123&pcff=8000001:${externalCid}&pcff=summary_of_issue_D2S:${AUR_OUT_OF_SLA}&authuser=0&hl=iw Hebrew: Locate the correct URL for the language of the user. |
לא נסרק כרגע | |
Archives |
7z, a, ace, afa, alz, apk, ar, arc, arj, ark, b1, b6z, ba, bh, cab, car, cdx, cfs, cpio, cpt, dar, dd, dgc, dmg, ear, esd, gca, genozip, gz, ha, hki, ice, ima, img, iso, jar, kgb, lha, lpaq#*, lzh, lzx, mou, pak, paq#*, paq6, paq7, paq8 and variants, partimg, pea, phar, pim, pit, qda, rar, rk, run, s7z, sda, sea, sen, sfx, shar, shk, sit, sitx, sqx, swm, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, tgz, uc, uc0, uc2, uca, ucn, ue2, uha, ur2, war, wim, xar, xp3, yz1, zip, zipx, zoo, zpaq, zz |
Sensitive Data Protection סורק קבצים בארכיונים עם הסיומות הבאות: bz2, cpio, gz, jar, lz4, lzma, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, xz, z, zip מצב הסריקה של כל קובץ תלוי בסוג הקובץ. |
|
Multimedia |
3g2, 3gp, 8svx, aa, aac, aax, act, aiff, alac, amr, amv, ape, asf, au, avi, awb, cda, drc, dss, dvf, f4a, f4b, f4p, f4v, flac, flv, gif, gifv, gsm, iklax, ivs, M2TS, m2v, m4a, m4b, m4p, m4p (with DRM), m4v, mkv, mmf, mng, mogg, mov, movpkg, mp2, mp3, mp4, mpc, mpe, mpeg, mpg, mpv, msv, MTS, mxf, nmf, nsv, oga, ogg, ogv, opus, qt, ra, raw, rf64, rm, rmvb, roq, sln, svi, TS, tta, viv, vob, voc, vox, wav, webm, wma, wmv, wv, yuv |
לא נסרק כרגע | |
AI Models |
caffemodel, ckpt, coreml, dlc, ggjt, ggmf, ggml, gguf, h5, keras, llamafile, mar, mleap, nc, npy, npz, onnx, pb, pkl, prompt, pt, pt2, pte, pth, ptl, safetensors, surml, tflite, tfrecords |
לא נסרק כרגע | |
Unknown |
כל קובץ אחר שלא נמצא באשכול אחר. | אלה קבצים שאין להם סיומות או שהם משתמשים בסיומות נפוצות אבל לא סטנדרטיות, כמו .dat או .1 או .2 | לא נסרק כרגע |
סוגי קבצים לא מזוהים ב-Cloud Storage
אם קובץ לא מזוהה במהלך סריקת אחסון, המערכת תסרוק אותו כקובץ בינארי כברירת מחדל. הוא מנסה להמיר את התוכן ל-UTF_8, ואז סורק אותו כטקסט פשוט.
אם קובץ לא מזוהה במהלך סריקת גילוי, המערכת לא סורקת אותו.
אם יש לכם אוסף של קבצים שאתם רוצים לדלג עליהם כי Sensitive Data Protection לא מזהה אותם, אתם יכולים לציין רשימת החרגות באמצעות CloudStorageOptions.file_set.regex_file_set.exclude_regex.
מגבלות על מספר הבייטים שנסרקים בכל קובץ
באופן כללי, אתם יכולים להגביל את מספר הבייטים שנסרקים בכל קובץ. במסוףGoogle Cloud , עושים את זה באמצעות הפעלת דגימה. ב-Cloud Data Loss Prevention API, מגדירים את השדה bytes_limit_per_file או bytesLimitPerFilePercent.
אי אפשר להשתמש בדגימה במצבי OCR וניתוח חכם. כלומר, כשסוגי הקבצים הבאים נסרקים במצב OCR או במצב ניתוח חכם של מסמכים, Sensitive Data Protection מתעלם מכל ההגדרות שאתם מחילים כדי להגביל את מספר הבייטים שנסרקים בכל קובץ.
- תמונה
- Microsoft Excel
- Microsoft PowerPoint
- Microsoft Word
אם סורקים את הקבצים האלה במצב בינארי, המגבלות חלות.
מצבי סריקה
כל מצב סריקה מספק פרטי מיקום נוספים בממצאי הבדיקה.
בתמונות TIFF, האובייקט ImageLocation כולל גם את השדה pageNumber שמזהה את הדף שבו נמצא הממצא. מספרי הדפים מתחילים ב-0.
| מצב סריקה | הערות | פרטים נוספים על המיקום יסופקו בהמשך |
|---|---|---|
| בינארי | אם לא ניתן לנתח קובץ כסוג אחר, הוא יומר ל-UTF_8 וייסרק כטקסט. סריקה בינארית משפיעה על איכות הזיהוי. |
|
| ניתוח חכם של מסמכים | המסמכים מנותחים באמצעות טקסט שחולץ מהעיצוב. תמונות מוטמעות נסרקות באמצעות OCR באזורים שבהם יש תמיכה בתכונה הזו . מחוץ לאזורים האלה, התמונות נסרקות כקבצים בינאריים. |
DocumentLocation |
| חילוץ מטא-נתונים | בכל הקבצים שנסרקים מ-Cloud Storage, בנוסף לתוכן הקובץ, נסרק גם |
MetadataLocation |
| זיהוי תווים אופטי (OCR) |
באזורים שתומכים בסריקת תמונות, Sensitive Data Protection משתמש ב-OCR כדי למצוא בתמונות סוגי מידע שמבוססים על טקסט. |
ImageLocation |
| זיהוי תוכן בתמונות | באזורים שתומכים בסריקת תמונות, Sensitive Data Protection יכול לנתח פיקסלים ומאפיינים של תמונות באופן ישיר, במקום טקסט שחולץ מתמונות. מצב הסריקה הזה מתמקד באיתור פריט ספציפי בתמונה ויוצר תיבה תוחמת סביבו. לדוגמה, מצב הסריקה הזה יכול לזהות אדם או ברקוד במיקום ספציפי בתמונה. Sensitive Data Protection משתמש במצב הסריקה הזה לכל infoTypes של אובייקטים שצוינו בהגדרות הבדיקה או ההסרה. |
ImageLocation |
| סיווג תוכן של תמונות | באזורים שתומכים בסריקת תמונות, Sensitive Data Protection יכול לנתח פיקסלים ומאפיינים של תמונות באופן ישיר, במקום טקסט שחולץ מתמונות. במצב הסריקה הזה, המערכת מנתחת את התמונה כולה כדי להקצות לה נושא או קטגוריה אחת, ויוצרת תווית או סיווג. Sensitive Data Protection משתמש במצב הסריקה הזה לכל גלאי infoType של הקשר תמונה שצוין בהגדרת הבדיקה או העריכה. |
ImageLocation |
| טקסט פשוט | אין פרטים נוספים | |
| ניתוח מובנה | המידע המבני משפיע על הממצאים. במצב הסריקה הזה, Sensitive Data Protection משתמש במידע שבכותרת כדי להבין את ההקשר. הוא מבצע ניתוח של שורות ועמודות כדי למצוא נתונים שיש ביניהם קשר. לדוגמה, מצב הסריקה הזה יכול לזהות כתובת רחוב שהרכיבים שלה מפוזרים בכמה עמודות בשורה. תוצאות הסריקה מכילות מידע מבני, כמו השורה שמכילה את הממצא ושם העמודה. הממצאים לא חוצים את גבולות התאים של הטבלה. |
RecordLocation |
סריקת קבצים מובְנים במצב ניתוח מובְנה
כשסורקים קובץ מובנה, כמו קובץ Avro, CSV או TSV, המערכת של Sensitive Data Protection מנסה לסרוק את הקובץ במצב סריקה של ניתוח מובנה. איכות הזיהוי במצב הסריקה הזה טובה יותר בהשוואה לסריקה בינארית, כי במצב ניתוח מובנה, המערכת מחפשת התאמות בין שורות ועמודות בנתונים המובְנים.
הממצאים מוחזרים עם מטא-נתונים נוספים שמציינים את מיקום הממצא, כולל fieldId.
עם זאת, במקרים הבאים, יכול להיות ש-Sensitive Data Protection יחזור למצב סריקה בינארית, שלא כולל את השיפורים של מצב הניתוח המובנה:
- הקובץ או הכותרת פגומים.
- בהגדרות של משימת הבדיקה יש מגבלות גודל קטנות מדי, כמו
bytesLimitPerFileו-bytesLimitPerFilePercent. לדוגמה, אם המגבלה שלbytesLimitPerFileלא מספיק גדולה כדי לכלול כותרת בלוק מלאה ולפחות שורה אחת של נתונים תקינים, יכול להיות ש-Sensitive Data Protection יסרוק את הקובץ במצב סריקה בינארית.
בחירת הנתונים שנסרקים תלויה בשאלה אם הדגימה מוגדרת להתחיל מהחלק העליון של הקובץ או ממיקום אקראי.
לדוגמה, נניח שיש לכם קובץ Avro עם כותרות של בלוקים בגודל 50KB ובלוקים של נתונים בגודל 2MB. באופן כללי, אם מתחילים את הדגימה מלמעלה, אפשר לוודא שכותרת הבלוק תמיד נכללת בדגימה של Sensitive Data Protection. אם מתחילים לדגום ממיקום אקראי בקובץ וגודל הדגימה קטן מבלוק נתונים, יכול להיות שכותרת הבלוק לא תיכלל בדגימה. בדוגמה הזו, הגדלת גודל הדגימה (שצוין על ידי bytesLimitPerFile או bytesLimitPerFilePercent) ל-2.05MB עוזרת למנוע מהבדיקה לחזור למצב ניתוח בינארי.
