שילוב עם טיקטוק

בדף הזה מוסבר על ההגדרות הנדרשות כדי להעביר נתונים מטיקטוק כמקור נתונים של עומס העבודה השיווקי של Cortex Framework Data Foundation.

‫TikTok היא אפליקציית מדיה חברתית פופולרית שמתמקדת בסרטונים קצרים. Cortex Framework יכול לספק נתונים לניתוח הביצועים הכוללים של השיווק. שילוב של נתונים מ-TikTok וממקורות שונים מאפשר לכם לקבל תמונה מקיפה יותר של קהל היעד ושל יעילות הקמפיינים ברשתות החברתיות בפלטפורמות שונות.

בתרשים הבא מתואר איך הנתונים של TikTok זמינים דרך עומס העבודה השיווקי של Cortex Framework Data Foundation:

איור 1. מקור נתונים של טיקטוק.

הערה: כדי לגשת לקובצי הגדרות, לתצוגות ולמודלים אנליטיים של מקור הנתונים של TikTok, אפשר לעיין בספריית מקורות הנתונים.

קובץ תצורה

קובץ config.json מגדיר את ההגדרות שנדרשות כדי להתחבר למקורות נתונים להעברת נתונים ממגוון עומסי עבודה. הקובץ הזה מכיל את הפרמטרים הבאים של TikTok:

   "marketing": {
        "deployTikTok": true,
        },
        "TikTok": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_TikTok"
            }
        }

בטבלה הבאה מתואר הערך של כל פרמטר שיווקי:

פרמטר	משמעות	ערך ברירת המחדל	תיאור
marketing.deployTikTok	פריסת טיקטוק	true	מריצים את הפריסה של מקור הנתונים של TikTok.
marketing.TikTok.deployCDC	פריסת סקריפטים של CDC לטיקטוק	true	יצירת סקריפטים לעיבוד CDC בטיקטוק כדי להפעיל אותם כ-DAG ב-Managed Service for Apache Airflow.
marketing.TikTok.datasets.cdc	מערך נתונים של CDC לטיקטוק		מערך נתוני ה-CDC לטיקטוק.
marketing.TikTok.datasets.raw	מערך נתונים גולמי לטיקטוק		מערך נתונים גולמי של טיקטוק.
marketing.TikTok.datasets.reporting	מערך נתונים לדיווח בטיקטוק	"REPORTING_TikTok"	מערך נתונים לדיווח בטיקטוק.

מודל נתונים

בקטע הזה מתואר מודל הנתונים של TikTok באמצעות דיאגרמת קשר בין ישויות (ERD).

איור 2. ‫TikTok: תרשים קשרים בין ישויות.

תצוגות בסיסיות

אלה האובייקטים הכחולים ב-ERD, והם תצוגות בטבלאות CDC ללא טרנספורמציות, מלבד כינויים מסוימים של שמות עמודות. אפשר לראות תסריטים ב-src/marketing/src/TikTok/src/reporting/ddls.

תצוגות של דוחות

אלה האובייקטים הירוקים ב-ERD, והם תצוגות דיווח שמכילות מדדים מצטברים. אפשר לראות תסריטים ב-src/marketing/src/TikTok/src/reporting/ddls.

חיבור API

‫Cortex Framework משתמש בממשקי ה-API של TikTok Reporting, גרסה v1.3, כמקור המוסמך לנתוני טיקטוק. ה-Cortex Framework משתמש במצב סינכרוני וקורא ל-APIs של Basic Reporting כדי לאחזר מדדי ביצועים של מודעות וקבוצות של מודעות. כך אנחנו מוודאים של-Cortex Framework יש גישה למידע עדכני ומדויק מטיקטוק, שמאפשר ניתוח נתונים ודיווח יעילים.

מידע נוסף על חיבור ה-API זמין במאמר ממשקי ה-API של TikTok לדיווח.

אימות חשבון

כדי להגדיר חשבון TikTok ולאמת את החשבון, פועלים לפי השלבים הבאים:

1. אם עדיין אין לכם חשבון מפתחים ב-TikTok, אתם צריכים להגדיר אותו.
2. יוצרים אפליקציה לשילוב Cortex Framework. מידע נוסף זמין במאמר בנושא TikTok API for Business. מוודאים שבוחרים את שתי ההרשאות הבאות בהיקפי ההרשאות של האפליקציה:
   • Ad Account Management/Ad Account Information
   • Reporting/All
3. מקבלים את מזהה האפליקציה, הסוד וטוקן הגישה לטווח ארוך כמו שמתואר במדריך ל-TikTok, ושומרים אותם ב-Secret Manager בשמות הבאים:
   • מזהה האפליקציה: cortex_tiktok_app_id
   • Secret: cortex_tiktok_app_secret
   • אסימון גישה לטווח ארוך: cortex_tiktok_access_token

עדכניות הנתונים והעיכובים

באופן כללי, רמת העדכניות של הנתונים במקורות הנתונים של Cortex Framework מוגבלת על ידי מה שמאפשר החיבור במעלה הזרם, וגם על ידי התדירות של הפעלת ה-DAG. משנים את תדירות ההפעלה של ה-DAG בהתאם לתדירות של מקור הנתונים, למגבלות המשאבים ולצרכים העסקיים.

עם TikTok Marketing API, רוב הנתונים (לא כולל המרות) זמינים כמעט בזמן אמת.

חיבורים ל-Managed Airflow

יוצרים את החיבורים הבאים ב-Managed Airflow. פרטים נוספים זמינים במאמר בנושא ניהול חיבורים ב-Airflow.

שם החיבור	מטרה
tiktok_raw_dataflow	‫TikTok API > BigQuery Raw Dataset
tiktok_cdc_bq	למערך נתונים גולמי > העברת מערך נתונים של CDC
tiktok_reporting_bq	למערך נתונים של CDC > העברת מערך נתונים של דיווח

הרשאות לחשבון השירות של Managed Service for Apache Airflow

נותנים הרשאות Dataflow לחשבון השירות שבו נעשה שימוש ב-Managed Airflow (כפי שהוגדר בחיבור tiktok_raw_dataflow). הוראות מפורטות זמינות במסמכי התיעוד של Dataflow.

בנוסף, לאותו חשבון שירות צריכה להיות גישת Secret Manager Accessor.

הגדרות הטמעה

אפשר לשלוט בצינורות הנתונים של Source to Raw ושל Raw to CDC דרך ההגדרות בקובץ src/TikTok/config/ingestion_settings.yaml. בקטע הזה מתוארים הפרמטרים של כל צינור נתונים.

מקור לטבלאות גולמיות

בקטע הזה יש רשומות שקובעות איך הנתונים מ-TikTok מאוחזרים ואיפה הנתונים מופיעים במערך הנתונים הגולמי. כל רשומה תואמת לטבלת נתונים גולמיים אחת שכוללת נתונים שנמשכו מ-TikTok API עבור הישות הזו. על סמך פרמטרי ההגדרה האלה, Cortex Framework יוצר DAG של Airflow שמפעיל צינורות נתונים של Dataflow לעיבוד נתונים מממשקי API של TikTok.

הפרמטרים הבאים שולטים בהגדרות של Source to Raw לכל רשומה:

פרמטר	תיאור
base_table	טבלה במערך הנתונים הגולמי שבה מאוחסנים הנתונים של ישות מסוימת(לדוגמה, נתוני 'מודעה').
load_frequency	באיזו תדירות מופעל DAG עבור הישות הזו כדי לעבד נתונים. פרטים על הערכים האפשריים מופיעים בתיעוד של Airflow.
schema_file	קובץ סכמה בספרייה src/table_schema שממפה את שדות התגובה של ה-API לשמות העמודות בטבלת היעד.
partition_details	אופציונלי: אם רוצים לחלק את הטבלה למחיצות כדי לשפר את הביצועים. מידע נוסף זמין במאמר בנושא חלוקת טבלה למחיצות.
cluster_details	אופציונלי: אם רוצים שהטבלה הזו תהיה מקובצת כדי לשפר את הביצועים. מידע נוסף מופיע במאמר בנושא הגדרות אשכול.

טבלאות Raw לטבלאות CDC

בקטע הזה יש רשומות שקובעות איך הנתונים עוברים מטבלאות גולמיות לטבלאות CDC. כל רשומה תואמת לטבלת CDC (שבתורה תואמת לישות שהוזכרה ב-Source to Raw table).

הפרמטרים הבאים שולטים בהגדרות של Raw to CDC לכל רשומה:

פרמטר	תיאור
base_table	טבלה במערך נתונים של CDC שבה מאוחסנים הנתונים הגולמיים אחרי שינוי CDC (לדוגמה,auction_ad_performance)
load_frequency	התדירות שבה DAG של הישות הזו פועל כדי לאכלס את טבלת ה-CDC. מידע נוסף על הערכים האפשריים זמין במאמרי העזרה בנושא Airflow.
row_identifiers	רשימה של עמודות (מופרדות בפסיק) שיוצרות רשומה ייחודית לטבלה הזו.
partition_details	אופציונלי: אם רוצים לחלק את הטבלה למחיצות כדי לשפר את הביצועים. מידע נוסף זמין במאמר בנושא חלוקת טבלה למחיצות.
cluster_details	אופציונלי: אם רוצים שהטבלה הזו תהיה מקובצת כדי לשפר את הביצועים. מידע נוסף מופיע במאמר בנושא הגדרות אשכול.

הגדרות דיווח

הגדרת האופן שבו Cortex Framework יוצר נתונים עבור שכבת הדיווח הסופית של TikTok ושליטה בו באמצעות קובץ הגדרות הדיווחsrc/TikTok/config/reporting_settings.yaml. הקובץ הזה קובע איך נוצרים אובייקטים של BigQuery בשכבת הדיווח (טבלאות, תצוגות מפורטות, פונקציות או פרוצדורות מאוחסנות).

מידע נוסף זמין במאמר בנושא התאמה אישית של קובץ הגדרות הדיווח.

מה השלב הבא?

• מידע נוסף על מקורות נתונים ועומסי עבודה אחרים זמין במאמר מקורות נתונים ועומסי עבודה.
• מידע נוסף על השלבים לפריסה בסביבות ייצור זמין במאמר דרישות מוקדמות לפריסת Cortex Framework Data Foundation.