Integrasi dengan Meta

Halaman ini menjelaskan konfigurasi yang diperlukan untuk mengambil data dari Meta (Facebook dan Instagram Ads) sebagai sumber data beban kerja pemasaran Cortex Framework Data Foundation.

Meta adalah perusahaan teknologi yang memiliki beberapa platform online populer. Cortex Framework mengintegrasikan data Iklan dari Instagram dan Facebook untuk menganalisisnya, menggabungkannya dengan sumber data lain, dan menggunakan AI untuk mendapatkan insight yang lebih mendalam serta mengoptimalkan strategi pemasaran Anda.

Diagram berikut menjelaskan cara data pemasaran Meta tersedia melalui beban kerja pemasaran Cortex Framework Data Foundation:

Sumber data meta

Gambar 1. Sumber data pemasaran Meta.

File konfigurasi

File config.json mengonfigurasi setelan yang diperlukan untuk terhubung ke sumber data guna mentransfer data dari berbagai beban kerja. File ini berisi parameter berikut untuk Meta:

   "marketing": {
        "deployMeta": true,
        "Meta": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_Meta"
            }
        }
    }

Tabel berikut menjelaskan nilai untuk setiap parameter pemasaran:

Parameter	Arti	Nilai Default	Deskripsi
`marketing.deployMeta`	Deploy Meta	`true`	Jalankan deployment untuk sumber data Meta.
`marketing.Meta.deployCDC`	Men-deploy skrip CDC untuk Meta	`true`	Buat skrip pemrosesan Meta CDC untuk dijalankan sebagai DAG di Cloud Composer.
`marketing.Meta.datasets.cdc`	Kumpulan data CDC untuk Meta		Set data CDC untuk Meta.
`marketing.Meta.datasets.raw`	Set data mentah untuk Meta		Set data mentah untuk Meta.
`marketing.Meta.datasets.reporting`	Set data pelaporan untuk Meta	`"REPORTING_Meta"`	Set data pelaporan untuk Meta.

Model Data

Bagian ini menjelaskan Model Data Meta menggunakan Diagram Hubungan Entitas (ERD).

Gambar 2. Meta: Diagram Hubungan Entitas.

Tampilan dasar

Objek ini adalah objek biru dalam ERD dan merupakan tampilan pada tabel CDC dengan transformasi minimal untuk mengekstrak struktur data yang kompleks. Lihat skrip di src/marketing/src/Meta/src/reporting/ddls.

Tampilan pelaporan

Ini adalah objek hijau dalam ERD dan merupakan tampilan pelaporan yang berisi metrik gabungan. Lihat skrip di src/marketing/src/Meta/src/reporting/ddls.

Koneksi API

Template penyerapan di Cortex Framework untuk Meta menggunakan Meta Marketing API untuk mengambil atribut dan metrik pelaporan. Template saat ini menggunakan versi v25.0.

Meta menerapkan batas kapasitas dinamis saat membuat kueri Marketing API. Jika batas laju tercapai, DAG penyerapan Source to Raw mungkin tidak berhasil diselesaikan. Dalam kasus seperti itu, Anda dapat melihat pesan error yang relevan di log, dan eksekusi DAG berikutnya akan memuat data yang hilang secara retroaktif.

Meta Marketing API memiliki dua tingkat akses, Dasar dan Standar. Tingkat standar menawarkan batas yang jauh lebih tinggi, dan direkomendasikan jika Anda berencana menggunakan penyerapan Source to Raw secara ekstensif. Untuk mengetahui detail selengkapnya tentang batas ini dan cara mendapatkan tingkat akses yang lebih tinggi, lihat dokumentasi Meta.

Jika memiliki akses tingkat Standard, Anda dapat menurunkan nilai setelan next_request_delay_sec di src/Meta/src/raw/pipelines/config.ini untuk waktu pemuatan yang lebih cepat.

Akses API dan token akses

Langkah-langkah berikut diperlukan di Pengelola Bisnis Meta dan Konsol Developer agar berhasil membawa data dari Meta ke Cortex Framework.

Identifikasi Aplikasi yang akan digunakan. Anda dapat membuat Aplikasi baru yang terhubung ke akun Bisnis. Pastikan aplikasi Anda berjenis Business.
Siapkan Izin aplikasi. Anda harus ditetapkan ke aplikasi sebagai Administrator sebelum dapat membuat token dengannya. Lihat Dokumentasi peran aplikasi. Pastikan Anda menetapkan aset (akun) yang relevan ke aplikasi Anda.
Buat token akses. Token akses diperlukan untuk mengakses Meta Marketing API, dan token tersebut selalu dikaitkan dengan aplikasi dan pengguna. Anda dapat membuat token dengan pengguna sistem, atau dengan login Anda sendiri.
1. Buat Pengguna Sistem Admin.
2. Buat token. Pastikan untuk mencatat token Anda segera setelah dibuat, karena token tersebut tidak dapat diambil lagi setelah Anda keluar dari halaman.
3. Berikan izin ads_read dan business_management ke token Anda, untuk mengakses objek yang didukung.
Catatan: Atau, Anda dapat membuat Token akses pengguna menggunakan info login Anda sendiri. Token yang dibuat dengan cara ini memiliki akses yang sama ke semua akun dan halaman seperti yang Anda miliki, tanpa perlu spesifikasi lebih lanjut.
Ikuti dokumentasi Cloud Composer untuk mengaktifkan Secret Manager di Cloud Composer. Kemudian, buat secret bernama cortex_meta_access_token, dan simpan token yang telah Anda buat di langkah sebelumnya sebagai konten.

Keaktualan dan Penundaan Data

Sebagai aturan umum, keaktualan data untuk sumber data Cortex Framework dibatasi oleh apa yang diizinkan oleh koneksi upstream, serta frekuensi eksekusi DAG Anda. Sesuaikan frekuensi eksekusi DAG agar selaras dengan frekuensi upstream, batasan resource, dan kebutuhan bisnis Anda.

Dengan Meta Marketing API, sebagian besar data (kecuali konversi) tersedia hampir secara real time, meskipun data tersebut dapat disesuaikan hingga 28 hari setelah peristiwa.

Izin koneksi Cloud Composer

Buat koneksi berikut di Cloud Composer. Lihat detail selengkapnya di dokumentasi Mengelola koneksi Airflow.

Nama Koneksi	Tujuan
`meta_raw_dataflow`	Untuk Meta Marketing API > BigQuery Raw Dataset
`meta_cdc_bq`	Untuk Transfer set data mentah > set data CDC
`meta_reporting_bq`	Untuk set data CDC > Transfer set data pelaporan

Izin akun layanan Cloud Composer

Berikan izin Dataflow ke akun layanan yang digunakan di Cloud Composer (seperti yang dikonfigurasi di koneksi meta_raw_dataflow). Lihat petunjuk di dokumentasi Dataflow. Akun layanan juga memerlukan izin Secret Manager Secret Accessor. Lihat detail dalam dokumentasi kontrol akses.

Parameter permintaan

Direktori src/Meta/config/request_parameters berisi file spesifikasi permintaan API untuk setiap entitas yang diekstrak dari Meta Marketing API. Setiap file permintaan berisi daftar kolom yang akan diambil dari Meta Marketing API, satu kolom per baris. Lihat informasi selengkapnya di Referensi Meta Marketing API.

Setelan penyerapan

Kontrol pipeline data Source to Raw dan Raw to CDC melalui setelan dalam file src/Meta/config/ingestion_settings.yaml. Bagian ini menjelaskan parameter setiap pipeline data.

Sumber ke tabel mentah

Bagian ini memiliki entri yang mengontrol entitas mana yang diambil oleh API dan bagaimana caranya. Setiap entri sesuai dengan satu entitas Meta Marketing API. Berdasarkan konfigurasi ini, Cortex Framework membuat DAG Airflow yang menjalankan pipeline Dataflow untuk mengambil data menggunakan Meta Marketing API.

File src/Meta/src/raw/pipelines/config.ini mengontrol beberapa perilaku DAG Cloud Composer, dan cara Meta Marketing API digunakan. Temukan deskripsi untuk setiap parameter dalam file.

Parameter berikut mengontrol setelan untuk Source to Raw untuk setiap entri:

Parameter	Deskripsi
`base_table`	Tabel di set data Mentah tempat data yang diambil disimpan (misalnya, `customer`).
`load_frequency`	Seberapa sering DAG untuk berjalan untuk mengambil data dari Meta. Untuk mengetahui informasi selengkapnya tentang kemungkinan nilai, lihat dokumentasi Airflow.
`object_endpoint`	Jalur endpoint API (misalnya, `campaigns` untuk endpoint `/{account_id}/campaigns`).
`entity_type`	Jenis tabel (harus salah satu dari `fact`, `dimension`, atau `addaccount)`.
`object_id_column`	Kolom (dipisahkan dengan koma) yang membentuk data unik untuk tabel ini. Hanya diperlukan jika `entity_type` adalah `fact`.
`breakdowns`	Opsional: Kolom perincian (dipisahkan dengan koma) untuk endpoint insight. Hanya berlaku jika `entity_type` adalah `fact`.
`action_breakdowns`	Opsional: Kolom perincian tindakan (dipisahkan dengan koma) untuk endpoint insight. Hanya berlaku jika `entity_type` adalah `fact`.
`partition_details`	Opsional: Jika Anda ingin tabel ini dipartisi untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Partisi Tabel.
`cluster_details`	Opsional: Jika Anda ingin tabel ini dikelompokkan untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Setelan Cluster.

Tabel mentah ke CDC

Bagian ini menjelaskan entri yang mengontrol cara data dipindahkan dari tabel Raw ke tabel CDC. Setiap entri sesuai dengan tabel mentah (yang pada gilirannya sesuai dengan entity Meta API seperti yang disebutkan).

Parameter berikut mengontrol setelan untuk Raw to CDC untuk setiap entri:

Parameter	Deskripsi
`base_table`	Tabel tempat data mentah telah direplikasi. Tabel dengan nama yang sama di set data CDC menyimpan data mentah setelah transformasi CDC (misalnya, `campaign_insights`).
`row_identifiers`	Kolom (dipisahkan dengan koma) yang membentuk data unik untuk tabel ini.
`load_frequency`	Seberapa sering DAG untuk entitas ini dijalankan untuk mengisi tabel CDC. Untuk mengetahui informasi selengkapnya tentang kemungkinan nilai, lihat dokumentasi Airflow.
`partition_details`	Opsional: Jika Anda ingin tabel ini dipartisi untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Partisi Tabel.
`cluster_details`	Opsional: Jika Anda ingin tabel ini dikelompokkan untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Setelan Cluster.

Skema tabel CDC

Untuk Meta, semua kolom disimpan dalam format string di lapisan mentah. Di lapisan CDC, jenis primitif dikonversi ke jenis data bisnis yang relevan, dan semua jenis kompleks disimpan dalam format JSON BigQuery.

Untuk mengaktifkan konversi ini, direktori src/Meta/config/table_schema berisi satu file skema untuk setiap entity yang ditentukan di bagian raw_to_cdc_tables yang menjelaskan cara menerjemahkan setiap tabel BigQueryraw dengan benar ke tabel CDC.

Setiap file skema berisi tiga kolom:

SourceField: Nama kolom tabel mentah untuk entity ini.
TargetField: Nama kolom dalam tabel cdc untuk entity ini.
DataType: Jenis data setiap kolom tabel cdc.

Setelan pelaporan

Anda dapat mengonfigurasi dan mengontrol cara Cortex membuat data untuk lapisan pelaporan akhir Meta menggunakan file setelan pelaporan (src/Meta/config/reporting_settings.yaml). File ini mengontrol cara objek BigQuery lapisan pelaporan (tabel, tampilan, fungsi, atau prosedur tersimpan) dibuat.

Untuk mengetahui informasi selengkapnya, lihat Menyesuaikan file setelan pelaporan.

Apa langkah selanjutnya?

Untuk mengetahui informasi selengkapnya tentang sumber data dan workload lainnya, lihat Sumber data dan workload.
Untuk mengetahui informasi selengkapnya tentang langkah-langkah deployment di lingkungan produksi, lihat Prasyarat deployment Data Foundation Cortex Framework.