Melakukan streaming temuan ke BigQuery untuk analisis

Dengan ekspor Security Command Center untuk BigQuery, Anda dapat menstreaming temuan baru dan yang diperbarui ke set data BigQuery hampir secara real-time. Di BigQuery, Anda dapat mengkueri status temuan dari waktu ke waktu, menganalisis tren postur keamanan, dan membuat laporan kustom. Ekspor akan mengalirkan temuan baru saat terjadi dan temuan yang ada hanya saat diperbarui.

Ringkasan

Saat Anda mengaktifkan fitur ini, temuan baru yang ditulis ke Security Command Center akan diekspor ke tabel BigQuery hampir secara real time. Kemudian, Anda dapat mengintegrasikan data ke dalam alur kerja yang ada dan membuat analisis kustom. Anda dapat mengaktifkan fitur ini di tingkat organisasi, folder, dan project untuk mengekspor temuan berdasarkan persyaratan Anda.

Fitur ini adalah cara yang direkomendasikan untuk mengekspor temuan Security Command Center ke BigQuery, karena dikelola sepenuhnya dan tidak memerlukan operasi manual atau penulisan kode kustom.

Struktur set data

Fitur ini menambahkan setiap temuan baru dan update berikutnya sebagai baris baru dalam tabel findings, yang dikelompokkan berdasarkan source_id, finding_id, dan event_time. Tindakan ini akan membuat beberapa data temuan dengan nilai source_id dan finding_id yang sama, tetapi dengan nilai event_time yang berbeda. Struktur set data ini memungkinkan Anda melihat perubahan status setiap temuan dari waktu ke waktu.

Perhatikan bahwa entri duplikat mungkin ada dalam set data Anda. Untuk mengurainya, Anda dapat menggunakan klausa DISTINCT, seperti yang ditunjukkan dalam contoh kueri pertama.

Setiap set data berisi tabel findings, yang memiliki kolom berikut:

Kolom Deskripsi
source_id

ID unik yang ditetapkan Security Command Center ke sumber temuan. Misalnya, semua temuan dari sumber Deteksi Anomali Cloud memiliki nilai source_id yang sama.

Contoh: 1234567890

finding_id ID unik yang mewakili temuan. ID ini bersifat unik dalam sumber untuk organisasi. ID ini bersifat alfanumerik dan memiliki maksimal 32 karakter.
event_time

Waktu terjadinya peristiwa atau waktu terjadinya pembaruan pada temuan. Misalnya, jika temuan menunjukkan firewall terbuka, event_time akan mencatat waktu saat detektor meyakini firewall dibuka. Jika temuan diselesaikan setelahnya, waktu ini mencerminkan kapan temuan tersebut diselesaikan.

Contoh: 2019-09-26 12:48:00.985000 UTC

Untuk mengetahui informasi selengkapnya tentang perubahan yang memperbarui waktu peristiwa, lihat Ringkasan siklus proses temuan.

bulk_export_id

Untuk ekspor massal, ini adalah UUID.

Untuk ekspor berkelanjutan, kolom ini kosong.

finding

Data penilaian seperti keamanan, risiko, kesehatan, atau privasi, yang diserap ke dalam Security Command Center untuk presentasi, notifikasi, analisis, pengujian kebijakan, dan penegakan. Misalnya, kerentanan pembuatan skrip lintas situs (XSS) di aplikasi App Engine adalah sebuah temuan.

Untuk mengetahui informasi selengkapnya tentang kolom bertingkat, lihat referensi API untuk objek Finding.

resource

Informasi yang terkait dengan resource Google Cloud yang terkait dengan temuan ini.

Untuk mengetahui informasi selengkapnya tentang kolom bertingkat, lihat referensi API untuk objek Resource.

Biaya

Anda akan dikenai biaya BigQuery terkait fitur ini. Untuk mengetahui informasi selengkapnya, lihat Harga BigQuery.

Sebelum memulai

Anda harus menyelesaikan langkah-langkah ini sebelum mengaktifkan fitur ini.

Menyiapkan izin

Untuk menyelesaikan panduan ini, Anda harus memiliki peran Identity and Access Management (IAM) berikut:

Membuat set data BigQuery

Membuat set data BigQuery. Untuk informasi selengkapnya, lihat Membuat set data.

Merencanakan residensi data

Jika residensi data diaktifkan untuk Security Command Center, konfigurasi yang menentukan ekspor streaming ke BigQuery—resource BigQueryExport—tunduk pada kontrol residensi data dan disimpan di lokasi Security Command Center yang Anda pilih.

Untuk mengekspor temuan di lokasi Security Command Center ke BigQuery, Anda harus mengonfigurasi BigQuery Export di lokasi Security Command Center yang sama dengan temuan.

Karena filter yang digunakan dalam BigQuery Export dapat berisi data yang tunduk pada kontrol residensi, pastikan Anda menentukan lokasi yang benar sebelum membuatnya. Security Command Center tidak membatasi lokasi tempat Anda membuat ekspor.

BigQuery Export hanya disimpan di lokasi tempat BigQuery Export tersebut dibuat dan tidak dapat dilihat atau diedit di lokasi lain.

Setelah membuat BigQuery Export, Anda tidak dapat mengubah lokasinya. Untuk mengubah lokasi, Anda harus menghapus BigQuery Export dan membuatnya kembali di lokasi baru.

Untuk mempelajari cara menggunakan Security Command Center saat residensi data diaktifkan, lihat Endpoint regional Security Command Center.

Cara Security Command Center mengekspor temuan ke BigQuery

Bagian berikut menjelaskan cara Security Command Center mengekspor temuan baru, yang diperbarui, dan yang dihapus ke BigQuery.

Mengekspor temuan baru dan yang diperbarui

Saat atribut temuan diperbarui, Security Command Center akan mengambil snapshot dan mencoba mengirim snapshot tersebut ke BigQuery.

Upaya ini menghasilkan salah satu hasil berikut:

  • Jika atribut temuan dalam snapshot cocok dengan filter ekspor yang ditentukan dalam ekspor BigQuery, snapshot akan dikirim ke BigQuery, tempat snapshot tersebut menjadi data temuan saat ini di BigQuery.

  • Jika atribut temuan tidak cocok dengan filter, snapshot tidak akan dikirim ke BigQuery. Jika snapshot temuan sebelumnya ada di BigQuery, snapshot tersebut akan tetap menjadi data terbaru yang tersedia dalam set data, meskipun tidak mencerminkan update terbaru di Security Command Center.

Misalnya, jika filter untuk BigQuery Export berisi status aktif, temuan baru akan dibuat dengan status aktif, dan snapshot temuan berhasil diekspor ke BigQuery.

Kemudian, status temuan tersebut di Security Command Center diperbarui menjadi tidak aktif. Pembaruan ini memicu ekspor snapshot baru temuan ke BigQuery, tetapi, karena nilai status tidak lagi cocok dengan filter, filter akan memblokir ekspor snapshot temuan.

Akibatnya, snapshot temuan di BigQuery masih memiliki status aktif, tetapi temuan yang sama di Security Command Center memiliki status tidak aktif.

Hal ini juga menyebabkan ketidakcocokan antara jumlah temuan aktif di Security Command Center dan jumlah temuan aktif di BigQuery. Jumlah temuan aktif hampir selalu lebih besar di BigQuery daripada di Security Command Center.

Misalnya, jika filter ekspor menentukan status aktif dan 100 temuan dihasilkan dengan status aktif, ke-100 temuan tersebut akan diekspor ke BigQuery. Kemudian di Security Command Center, 50 temuan tersebut diperbarui menjadi tidak aktif, dan filter memblokir ekspor yang dipicu oleh pembaruan karena nilai status tidak lagi cocok dengan filter. Akibatnya, di BigQuery, ke-100 temuan tersebut masih aktif, sedangkan di Security Command Center hanya 50 temuan yang tetap aktif.

Mengekspor temuan yang dihapus

Security Command Center menghapus temuan secara berkala berdasarkan kebijakan retensi data. Anda dapat mengonfigurasi apakah Security Command Center mengekspor snapshot temuan yang dihapus ke BigQuery.

Anda dapat mengaktifkan notifikasi penghapusan saat membuat atau memperbarui konfigurasi ekspor. Jika notifikasi penghapusan diaktifkan, Security Command Center akan mengirimkan snapshot temuan ke BigQuery dengan kolom deleted_finding ditetapkan ke true dan event_time ditetapkan ke waktu temuan dihapus. Dengan demikian, Anda dapat menjalankan kueri yang melacak temuan yang dihapus. Saat Anda mengubah opsi notifikasi penghapusan pada konfigurasi ekspor, perubahan tersebut hanya berlaku untuk penghapusan temuan di masa mendatang. Temuan yang dihapus sebelum mengaktifkan opsi ini tidak akan diekspor secara retroaktif.

Mengekspor temuan dari Security Command Center ke BigQuery

Untuk mengekspor temuan, aktifkan Security Command Center API terlebih dahulu.

Mengaktifkan Security Command Center API

Untuk mengaktifkan Security Command Center API:

  1. Buka halaman Library API di konsol Google Cloud .

    Buka Library API

  2. Pilih project yang ingin Anda aktifkan Security Command Center API-nya.

  3. Di kotak Search, masukkan Security Command Center, lalu klik Security Command Center di hasil penelusuran.

  4. Di halaman API yang muncul, klik Enable.

Security Command Center API diaktifkan untuk project Anda. Selanjutnya, Anda akan menggunakan gcloud CLI untuk membuat konfigurasi ekspor baru ke BigQuery.

Memberikan akses perimeter di Kontrol Layanan VPC

Jika Anda menggunakan Kontrol Layanan VPC dan set data BigQuery Anda adalah bagian dari project di dalam perimeter layanan, Anda harus memberikan akses ke project untuk mengekspor temuan.

Untuk memberikan akses ke project, buat aturan ingress dan egress untuk akun utama dan project tempat Anda mengekspor temuan. Aturan ini mengizinkan akses ke resource yang dilindungi dan memungkinkan BigQuery memverifikasi bahwa pengguna memiliki izin setIamPolicy pada set data BigQuery.

Sebelum menyiapkan ekspor baru ke BigQuery

Konsol

  1. Di konsol Google Cloud , buka halaman Kontrol Layanan VPC.

    Buka Kontrol Layanan VPC

  2. Pilih organisasi Anda.
  3. Di menu drop-down, pilih kebijakan akses yang berisi perimeter layanan yang ingin Anda beri akses.

    Perimeter layanan yang terkait dengan kebijakan akses akan muncul dalam daftar.

  4. Klik nama perimeter layanan yang ingin Anda perbarui.

    Untuk menemukan perimeter layanan yang perlu diubah, Anda dapat memeriksa log untuk menemukan entri yang menunjukkan pelanggaran RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Dalam entri tersebut, periksa kolom servicePerimeterName:

    accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
  5. Klik Edit.

Menambahkan aturan egress

  1. Klik Egress policy.
  2. Klik Add an egress rule.
  3. Di bagian From, tetapkan detail berikut:

    1. Untuk Identities > Identity, pilih Select identities & groups.
    2. Klik Add identities.
    3. Masukkan alamat email yang mengidentifikasi akun utama yang digunakan untuk memanggil Security Command Center API.
    4. Pilih akun utama atau tekan ENTER, lalu klik Add identities.
  4. Di bagian To, tetapkan detail berikut:

    1. Untuk Resources > Projects, pilih All projects.
    2. Untuk Operations or IAM roles, pilih Select operations.
    3. Klik Add operations, lalu tambahkan operasi berikut:

      • Tambahkan layanan bigquery.googleapis.com.
        1. Klik Semua metode.
        2. Klik Tambahkan semua metode.

Menambahkan aturan ingress

  1. Klik Ingress policy.
  2. Klik Add an ingress rule.
  3. Di bagian From, tetapkan detail berikut:

    1. Untuk Identities > Identity, pilih Select identities & groups.
    2. Klik Add identities.
    3. Masukkan alamat email yang mengidentifikasi akun utama yang digunakan untuk memanggil Security Command Center API.
    4. Pilih akun utama atau tekan ENTER, lalu klik Add identities.
  4. Di bagian To, tetapkan detail berikut:

    1. Untuk Resources > Projects, pilih Select projects.
    2. Klik Add projects, lalu tambahkan project yang berisi set data BigQuery.
    3. Untuk Operations or IAM roles, pilih Select operations.
    4. Klik Add operations, lalu tambahkan operasi berikut:

      • Tambahkan layanan bigquery.googleapis.com.
        1. Klik Semua metode.
        2. Klik Tambahkan semua metode.
  5. Klik Simpan.

gcloud

  1. Jika project kuota belum ditetapkan, tetapkan project kuota. Pilih project yang telah mengaktifkan Access Context Manager API.

    gcloud config set billing/quota_project QUOTA_PROJECT_ID

    Ganti QUOTA_PROJECT_ID dengan ID project yang ingin Anda gunakan untuk penagihan dan kuota.

  2. Buat file bernama egress-rule.yaml dengan konten berikut:

    - egressFrom:
        identities:
        - PRINCIPAL_ID
      egressTo:
        operations:
        - serviceName: bigquery.googleapis.com
          methodSelectors:
          - method: '*'
        resources:
        - '*'

    Ganti PRINCIPAL_ID dengan ID untuk akun utama yang digunakan untuk memanggil Security Command Center API.

  3. Buat file bernama ingress-rule.yaml dengan konten berikut:

    - ingressFrom:
        identities:
        - PRINCIPAL_ID
        sources:
        - accessLevel: '*'
      ingressTo:
        operations:
        - serviceName: bigquery.googleapis.com
          methodSelectors:
          - method: '*'
        resources:
        - projects/PROJECT_ID

    Ganti PRINCIPAL_ID dengan ID untuk akun utama yang digunakan untuk memanggil Security Command Center API.

    Ganti PROJECT_ID dengan ID project yang berisi set data BigQuery.

  4. Tambahkan aturan egress ke perimeter:

    gcloud access-context-manager perimeters update PERIMETER_NAME \
        --set-egress-policies=egress-rule.yaml

    Ganti kode berikut:

    • PERIMETER_NAME: nama perimeter. Misalnya, accessPolicies/1234567890/servicePerimeters/example_perimeter.

      Untuk menemukan perimeter layanan yang perlu diubah, Anda dapat memeriksa log untuk menemukan entri yang menunjukkan pelanggaran RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Dalam entri tersebut, periksa kolom servicePerimeterName:

      accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
  5. Tambahkan aturan ingress ke perimeter:

    gcloud access-context-manager perimeters update PERIMETER_NAME \
        --set-ingress-policies=ingress-rule.yaml

    Ganti kode berikut:

    • PERIMETER_NAME: nama perimeter. Misalnya, accessPolicies/1234567890/servicePerimeters/example_perimeter.

      Untuk menemukan perimeter layanan yang perlu diubah, Anda dapat memeriksa log untuk menemukan entri yang menunjukkan pelanggaran RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Dalam entri tersebut, periksa kolom servicePerimeterName:

      accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME

Untuk mengetahui informasi selengkapnya, lihat Aturan ingress dan egress.

Menyiapkan ekspor baru ke BigQuery

Pada langkah ini, Anda akan membuat konfigurasi ekspor untuk mengekspor temuan ke instance BigQuery. Anda dapat membuat konfigurasi ekspor di level project, folder, atau organisasi. Misalnya, jika Anda ingin mengekspor temuan dari project ke set data BigQuery, buat konfigurasi ekspor di level project untuk mengekspor hanya temuan yang terkait dengan project tersebut. Secara opsional, Anda dapat menentukan filter untuk mengekspor temuan tertentu saja.

Pastikan untuk membuat konfigurasi ekspor di tingkat yang sesuai. Misalnya, jika Anda membuat konfigurasi ekspor di Project B untuk mengekspor temuan dari Project A dan menentukan filter seperti resource.project_display_name: project-a-id, konfigurasi tersebut tidak akan mengekspor temuan apa pun.

Anda dapat membuat maksimum 500 konfigurasi ekspor ke BigQuery untuk organisasi Anda. Anda dapat menggunakan set data yang sama untuk beberapa konfigurasi ekspor. Jika Anda menggunakan set data yang sama, semua update akan dilakukan pada tabel temuan yang sama.

Saat Anda membuat konfigurasi ekspor pertama, akun layanan akan otomatis dibuat untuk Anda. Akun layanan ini diperlukan untuk membuat atau memperbarui tabel temuan dalam set data dan untuk mengekspor temuan ke tabel. Akun ini memiliki bentuk service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com dan diberi peran BigQuery Data Editor (roles/bigquery.dataEditor) di tingkat set data BigQuery.

gcloud

  1. Buka konsol Google Cloud .

    Buka konsol Google Cloud

  2. Pilih project tempat Anda mengaktifkan Security Command Center API.

  3. Klik Activate Cloud Shell.

  4. Untuk membuat konfigurasi ekspor baru, jalankan perintah berikut:

    gcloud scc bqexports create BIGQUERY_EXPORT \
        --dataset=DATASET_NAME \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION \
        [--description=DESCRIPTION] \
        [--filter=FILTER] \
        [--deletion-notifications-enabled]
    

    Ganti kode berikut:

    • BIGQUERY_EXPORT dengan nama untuk konfigurasi ekspor ini.
    • DATASET_NAME dengan nama set data BigQuery—misalnya, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID, atau PROJECT_ID dengan nama folder, organisasi, atau project Anda. Anda harus menetapkan salah satu opsi ini. Untuk folder dan organisasi, namanya adalah ID folder atau ID organisasi. Untuk project, namanya adalah nomor project atau project ID.
    • LOCATION: lokasi Security Command Center untuk membuat konfigurasi ekspor; jika residensi data diaktifkan, gunakan eu, sa, atau us; jika tidak, gunakan nilai global.
    • DESCRIPTION dengan deskripsi konfigurasi ekspor yang dapat dibaca manusia. Variabel ini bersifat opsional.
    • FILTER dengan ekspresi yang menentukan temuan yang akan disertakan dalam ekspor. Misalnya, jika Anda ingin memfilter kategori XSS_SCRIPTING, ketik "category=\"XSS_SCRIPTING\". Variabel ini bersifat opsional.

    Gunakan flag berikut untuk mengonfigurasi apakah akan menerima notifikasi untuk temuan yang dihapus. Jika Anda tidak menentukan salah satu flag, perilaku default-nya adalah tidak mengekspor temuan yang dihapus.

    • --deletion-notifications-enabled: mengaktifkan notifikasi untuk temuan yang dihapus karena kebijakan retensi. Jika diaktifkan, temuan yang dihapus akan diekspor ke BigQuery dengan deleted_finding = true. Flag ini hanya berlaku untuk peristiwa penghapusan mendatang. Temuan yang dihapus sebelum mengaktifkan flag ini tidak akan diekspor secara retroaktif.

    • --no-deletion-notifications-enabled: menonaktifkan notifikasi untuk temuan yang dihapus.

Terraform

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi penyedia Terraform.

Buat konfigurasi ekspor untuk organisasi:

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my-dataset"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_organization_scc_big_query_export" "custom_big_query_export_config" {
  name         = "my-export"
  big_query_export_id    = "my-export"
  organization = "123456789"
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

Buat konfigurasi ekspor untuk folder:

resource "google_folder" "folder" {
  parent       = "organizations/123456789"
  display_name = "folder-name"

  deletion_protection = false
}

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my_dataset_id"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_folder_scc_big_query_export" "custom_big_query_export_config" {
  big_query_export_id    = "my-export"
  folder       = google_folder.folder.folder_id
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

Buat konfigurasi ekspor untuk project:

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my_dataset_id"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_project_scc_big_query_export" "custom_big_query_export_config" {
  name         = "my-export"
  big_query_export_id    = "my-export"
  project      = "my-project-name"
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

Java

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.CreateBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;
import java.util.UUID;

public class CreateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // projectId: Google Cloud Project id.
    String projectId = "{your-project}";

    // Specify the location.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter = "severity=\"LOW\" OR severity=\"MEDIUM\"";

    // bigQueryDatasetId: The BigQuery dataset to write findings' updates to.
    String bigQueryDatasetId = "{bigquery-dataset-id}";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "default-" + UUID.randomUUID().toString().split("-")[0];

    createBigQueryExport(organizationId, location, projectId, filter, bigQueryDatasetId,
        bigQueryExportId);
  }

  // Create export configuration to export findings from a project to a BigQuery dataset.
  // Optionally specify filter to export certain findings only.
  public static BigQueryExport createBigQueryExport(String organizationId, String location,
      String projectId, String filter, String bigQueryDatasetId, String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);
      // Create the BigQuery export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setDescription(
                  "Export low and medium findings if the compute resource "
                      + "has an IAM anomalous grant")
              .setFilter(filter)
              .setDataset(String.format("projects/%s/datasets/%s", projectId, bigQueryDatasetId))
              .build();

      CreateBigQueryExportRequest bigQueryExportRequest =
          CreateBigQueryExportRequest.newBuilder()
              .setParent(organizationName.toString())
              .setBigQueryExport(bigQueryExport)
              .setBigQueryExportId(bigQueryExportId)
              .build();

      // Create the export request.
      BigQueryExport response = client.createBigQueryExport(bigQueryExportRequest);

      System.out.printf("BigQuery export request created successfully: %s\n", response.getName());
      return response;
    }
  }
}

Python

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.



def create_bigquery_export(
    parent: str, export_filter: str, bigquery_dataset_id: str, bigquery_export_id: str
):
    from google.cloud import securitycenter_v2

    """
    Create export configuration to export findings from a project to a BigQuery dataset.
    Optionally specify filter to export certain findings only.

    Args:
        parent: Use any one of the following resource paths:
             - organizations/{organization_id}/locations/{location_id}
             - folders/{folder_id}/locations/{location_id}
             - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.
        bigquery_dataset_id: The BigQuery dataset to write findings' updates to.
             - projects/{PROJECT_ID}/datasets/{BIGQUERY_DATASET_ID}
        bigquery_export_id: Unique identifier provided by the client.
             - example id: f"default-{str(uuid.uuid4()).split('-')[0]}"
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    client = securitycenter_v2.SecurityCenterClient()

    # Create the BigQuery export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.description = "Export low and medium findings if the compute resource has an IAM anomalous grant"
    bigquery_export.filter = export_filter
    bigquery_export.dataset = bigquery_dataset_id

    request = securitycenter_v2.CreateBigQueryExportRequest()
    request.parent = parent
    request.big_query_export = bigquery_export
    request.big_query_export_id = bigquery_export_id

    # Create the export request.
    response = client.create_big_query_export(request)

    print(f"BigQuery export request created successfully: {response.name}\n")
    return response

Anda akan melihat temuan di set data BigQuery dalam waktu sekitar 15 menit setelah membuat konfigurasi ekspor. Setelah tabel BigQuery dibuat, setiap temuan baru dan yang diperbarui yang cocok dengan filter dan cakupan Anda akan muncul di tabel dalam waktu hampir real-time.

Untuk meninjau temuan Anda, lihat Meninjau temuan.

Membuat aturan ingress untuk ekspor baru ke BigQuery

Jika Anda menggunakan Kontrol Layanan VPC dan set data BigQuery Anda adalah bagian dari project di dalam perimeter layanan, Anda harus membuat aturan ingress untuk ekspor baru ke BigQuery.

Konsol

  1. Buka kembali perimeter layanan dari bagian sebelumnya.

    Buka Kontrol Layanan VPC

Menambahkan aturan ingress

  1. Klik Ingress policy.
  2. Klik Add an ingress rule.
  3. Di bagian From, tetapkan detail berikut:

    1. Untuk Identities > Identity, pilih Select identities & groups.
    2. Klik Add identities.
    3. Masukkan alamat email yang mengidentifikasi agen layanan BigQuery Export. Alamat ini memiliki format berikut:

      service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com

      Ganti ORGANIZATION_ID dengan ID organisasi Anda.

    4. Pilih agen layanan atau tekan ENTER, lalu klik Add identities.
  4. Di bagian To, tetapkan detail berikut:

    1. Untuk Resources > Projects, pilih Select projects.
    2. Klik Add projects, lalu tambahkan project yang berisi set data BigQuery.
    3. Untuk Operations or IAM roles, pilih Select operations.
    4. Klik Add operations, lalu tambahkan operasi berikut:

      • Tambahkan layanan bigquery.googleapis.com.
        1. Klik Semua metode.
        2. Klik Tambahkan semua metode.
  5. Klik Simpan.

gcloud

  1. Jika project kuota belum ditetapkan, tetapkan project kuota. Pilih project yang telah mengaktifkan Access Context Manager API.

    gcloud config set billing/quota_project QUOTA_PROJECT_ID

    Ganti QUOTA_PROJECT_ID dengan ID project yang ingin Anda gunakan untuk penagihan dan kuota.

  2. Buat file bernama ingress-rule.yaml dengan konten berikut:

    - ingressFrom:
        identities:
        - serviceAccount:service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
        sources:
        - accessLevel: '*'
      ingressTo:
        operations:
        - serviceName: bigquery.googleapis.com
          methodSelectors:
          - method: '*'
        resources:
        - projects/PROJECT_ID

    Ganti ORGANIZATION_ID dengan ID organisasi Anda.

    Ganti PROJECT_ID dengan ID project yang berisi set data BigQuery.

  3. Tambahkan aturan ingress ke perimeter:

    gcloud access-context-manager perimeters update PERIMETER_NAME \
        --set-ingress-policies=ingress-rule.yaml

    Ganti kode berikut:

    • PERIMETER_NAME: nama perimeter. Misalnya, accessPolicies/1234567890/servicePerimeters/example_perimeter.

      Untuk menemukan perimeter layanan yang perlu diubah, Anda dapat memeriksa log untuk menemukan entri yang menunjukkan pelanggaran RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Dalam entri tersebut, periksa kolom servicePerimeterName:

      accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME

Untuk mengetahui informasi selengkapnya, lihat Aturan ingress dan egress.

Project, pengguna, dan akun layanan yang dipilih kini dapat mengakses resource yang dilindungi dan mengekspor temuan.

Jika Anda telah mengikuti semua langkah dalam panduan ini, dan ekspor berfungsi dengan baik, Anda kini dapat menghapus hal berikut:

  • Aturan ingress untuk akun utama
  • Aturan egress untuk akun utama

Aturan tersebut hanya diperlukan untuk mengonfigurasi konfigurasi ekspor. Namun, agar konfigurasi ekspor terus berfungsi, Anda harus mempertahankan aturan ingress yang Anda buat sebelumnya, yang memungkinkan Security Command Center mengekspor temuan ke set data BigQuery Anda di balik perimeter layanan.

Melihat detail konfigurasi ekspor

gcloud

  1. Buka konsol Google Cloud .

    Buka konsol Google Cloud

  2. Pilih project tempat Anda mengaktifkan Security Command Center API.

  3. Klik Activate Cloud Shell.

  4. Untuk memverifikasi detail konfigurasi ekspor, jalankan perintah berikut:

    gcloud scc bqexports get BIGQUERY_EXPORT \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION
    

    Ganti kode berikut:

    • BIGQUERY_EXPORT dengan nama untuk konfigurasi ekspor ini.
    • FOLDER_ID, ORGANIZATION_ID, atau PROJECT_ID dengan nama folder, organisasi, atau project Anda. Anda harus menetapkan salah satu opsi ini. Untuk folder dan organisasi, namanya adalah ID folder atau ID organisasi. Untuk project, namanya adalah nomor project atau project ID.
    • LOCATION: lokasi Security Command Center untuk membuat konfigurasi ekspor; jika residensi data diaktifkan, gunakan eu, sa, atau us; jika tidak, gunakan nilai global.

      Misalnya, untuk mendapatkan konfigurasi ekspor bernama my-bq-export dari organisasi dengan ID organisasi yang ditetapkan ke 123, jalankan:

      gcloud scc bqexports get my-bq-export \
          --organization=123 \
          --location=global
      

Java

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.GetBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class GetBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    getBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Retrieve an existing BigQuery export.
  public static BigQueryExport getBigQueryExport(String organizationId, String location,
      String bigQueryExportId) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {

      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      GetBigQueryExportRequest bigQueryExportRequest =
          GetBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      BigQueryExport response = client.getBigQueryExport(bigQueryExportRequest);
      System.out.printf("Retrieved the BigQuery export: %s", response.getName());
      return response;
    }
  }
}

Python

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

def get_bigquery_export(parent: str, bigquery_export_id: str):
    from google.cloud import securitycenter_v2

    """
    Retrieve an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.GetBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    response = client.get_big_query_export(request)
    print(f"Retrieved the BigQuery export: {response.name}")
    return response

Memperbarui konfigurasi ekspor

Jika perlu, Anda dapat mengubah filter, set data, dan deskripsi konfigurasi ekspor yang ada. Anda tidak dapat mengubah nama konfigurasi ekspor.

gcloud

  1. Buka konsol Google Cloud .

    Buka konsol Google Cloud

  2. Pilih project tempat Anda mengaktifkan Security Command Center API.

  3. Klik Activate Cloud Shell.

  4. Untuk memperbarui konfigurasi ekspor, jalankan perintah berikut:

    gcloud scc bqexports update BIGQUERY_EXPORT \
        --dataset=DATASET_NAME \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION \
        [--description=DESCRIPTION] \
        [--filter=FILTER] \
        [--deletion-notifications-enabled]
    

    Ganti kode berikut:

    • BIGQUERY_EXPORT dengan nama konfigurasi ekspor yang ingin Anda perbarui.
    • DATASET_NAME dengan nama set data BigQuery—misalnya, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID, atau PROJECT_ID dengan nama folder, organisasi, atau project Anda. Anda harus menetapkan salah satu opsi ini. Untuk folder dan organisasi, namanya adalah ID folder atau ID organisasi. Untuk project, namanya adalah nomor project atau project ID.
    • LOCATION: lokasi Security Command Center tempat memperbarui konfigurasi ekspor; jika residensi data diaktifkan, gunakan eu, sa, atau us; jika tidak, gunakan nilai global.
    • DESCRIPTION dengan deskripsi konfigurasi ekspor yang dapat dibaca manusia. Variabel ini bersifat opsional.
    • FILTER dengan ekspresi yang menentukan temuan yang akan disertakan dalam ekspor. Misalnya, jika Anda ingin memfilter kategori XSS_SCRIPTING, ketik "category=\"XSS_SCRIPTING\". Variabel ini bersifat opsional.

    Gunakan flag berikut untuk mengonfigurasi apakah akan menerima notifikasi untuk temuan yang dihapus. Jika Anda tidak menentukan salah satu flag, perilaku defaultnya adalah tidak mengekspor temuan yang dihapus.

    • --deletion-notifications-enabled: mengaktifkan notifikasi untuk temuan yang dihapus karena kebijakan retensi. Jika diaktifkan, temuan yang dihapus akan diekspor ke BigQuery dengan deleted_finding = true. Flag ini hanya berlaku untuk peristiwa penghapusan mendatang. Temuan yang dihapus sebelum mengaktifkan flag ini tidak akan diekspor secara retroaktif.

    • --no-deletion-notifications-enabled: menonaktifkan notifikasi untuk temuan yang dihapus.

Java

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.UpdateBigQueryExportRequest;
import com.google.protobuf.FieldMask;
import java.io.IOException;

public class UpdateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter =
        "severity=\"LOW\" OR severity=\"MEDIUM\" AND "
            + "category=\"Persistence: IAM Anomalous Grant\" AND "
            + "-resource.type:\"compute\"";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "{bigquery-export-id}";

    updateBigQueryExport(organizationId, location, filter, bigQueryExportId);
  }

  // Updates an existing BigQuery export.
  public static BigQueryExport updateBigQueryExport(String organizationId, String location,
      String filter, String bigQueryExportId) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      //  Set the new values for export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setName(bigQueryExportName.toString())
              .setDescription("Updated description.")
              .setFilter(filter)
              .build();

      UpdateBigQueryExportRequest request =
          UpdateBigQueryExportRequest.newBuilder()
              .setBigQueryExport(bigQueryExport)
              // Set the update mask to specify which properties should be updated.
              // If empty, all mutable fields will be updated.
              // For more info on constructing field mask path, see the proto or:
              // https://cloud.google.com/java/docs/reference/protobuf/latest/com.google.protobuf.FieldMask
              .setUpdateMask(FieldMask.newBuilder()
                  .addPaths("filter")
                  .addPaths("description").build())
              .build();

      BigQueryExport response = client.updateBigQueryExport(request);
      System.out.println("BigQueryExport updated successfully!");
      return response;
    }
  }
}

Python

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

def update_bigquery_export(parent: str, export_filter: str, bigquery_export_id: str):
    """
    Updates an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.export_filter = 'severity="MEDIUM"'
        bigquery_export_id: Unique identifier provided by the client.
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    from google.cloud import securitycenter_v2
    from google.protobuf import field_mask_pb2

    client = securitycenter_v2.SecurityCenterClient()

    # Set the new values for export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.name = f"{parent}/bigQueryExports/{bigquery_export_id}"
    bigquery_export.filter = export_filter
    bigquery_export.description = "Updated description."

    # Field mask to only update the export filter.
    # Set the update mask to specify which properties should be updated.
    # If empty, all mutable fields will be updated.
    # For more info on constructing field mask path, see the proto or:
    # https://googleapis.dev/python/protobuf/latest/google/protobuf/field_mask_pb2.html
    field_mask = field_mask_pb2.FieldMask(paths=["filter", "description"])

    request = securitycenter_v2.UpdateBigQueryExportRequest()
    request.big_query_export = bigquery_export
    request.update_mask = field_mask

    response = client.update_big_query_export(request)

    if response.filter != export_filter:
        print("Failed to update BigQueryExport!")
        return
    print("BigQueryExport updated successfully!")
    return response

Melihat semua konfigurasi ekspor

Anda dapat melihat semua konfigurasi ekspor dalam organisasi, folder, atau project Anda.

gcloud

  1. Buka konsol Google Cloud .

    Buka konsol Google Cloud

  2. Pilih project tempat Anda mengaktifkan Security Command Center API.

  3. Klik Activate Cloud Shell.

  4. Untuk mencantumkan konfigurasi ekspor, jalankan perintah berikut:

    gcloud scc bqexports list \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION \
        [--limit=LIMIT] \
        [--page-size=PAGE_SIZE]
    

    Ganti kode berikut:

    • FOLDER_ID, ORGANIZATION_ID, atau PROJECT_ID dengan nama folder, organisasi, atau project Anda. Anda harus menetapkan salah satu opsi ini. Untuk folder dan organisasi, namanya adalah ID folder atau ID organisasi. Untuk project, namanya adalah nomor project atau project ID.

      Jika Anda menentukan ID organisasi, daftar tersebut akan mencakup semua konfigurasi ekspor yang ditentukan dalam organisasi tersebut, termasuk yang ada di tingkat folder dan project. Jika Anda menentukan ID folder, daftar tersebut akan mencakup semua konfigurasi ekspor yang ditentukan di tingkat folder dan dalam project di dalam folder tersebut. Jika Anda menentukan nomor project atau project ID, daftar tersebut hanya akan menyertakan semua konfigurasi ekspor untuk project tersebut.

    • LOCATION: lokasi Security Command Center untuk mencantumkan konfigurasi ekspor; jika residensi data diaktifkan, gunakan eu, sa, atau us; jika tidak, gunakan nilai global.

    • LIMIT dengan jumlah konfigurasi ekspor yang ingin Anda lihat. Variabel ini bersifat opsional.

    • PAGE_SIZE dengan nilai ukuran halaman. Variabel ini bersifat opsional.

Java

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.ListBigQueryExportsRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.SecurityCenterClient.ListBigQueryExportsPagedResponse;
import java.io.IOException;

public class ListBigQueryExports {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    listBigQueryExports(organizationId, location);
  }

  // List BigQuery exports in the given parent.
  public static ListBigQueryExportsPagedResponse listBigQueryExports(String organizationId,
      String location) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);

      ListBigQueryExportsRequest request = ListBigQueryExportsRequest.newBuilder()
          .setParent(organizationName.toString())
          .build();

      ListBigQueryExportsPagedResponse response = client.listBigQueryExports(request);

      System.out.println("Listing BigQuery exports:");
      for (BigQueryExport bigQueryExport : response.iterateAll()) {
        System.out.println(bigQueryExport.getName());
      }
      return response;
    }
  }
}

Python

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

def list_bigquery_exports(parent: str):
    from google.cloud import securitycenter_v2

    """
    List BigQuery exports in the given parent.
    Args:
         parent: The parent which owns the collection of BigQuery exports.
             Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.ListBigQueryExportsRequest()
    request.parent = parent

    response = client.list_big_query_exports(request)

    print("Listing BigQuery exports:")
    for bigquery_export in response:
        print(bigquery_export.name)
    return response

Menghapus konfigurasi ekspor

Jika tidak lagi memerlukan konfigurasi ekspor, Anda dapat menghapusnya.

gcloud

  1. Buka konsol Google Cloud .

    Buka konsol Google Cloud

  2. Pilih project tempat Anda mengaktifkan Security Command Center API.

  3. Klik Activate Cloud Shell.

  4. Untuk menghapus konfigurasi ekspor, jalankan perintah berikut:

    gcloud scc bqexports delete BIGQUERY_EXPORT \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION
    

    Ganti kode berikut:

    • BIGQUERY_EXPORT dengan nama untuk konfigurasi ekspor yang ingin Anda hapus.
    • FOLDER_ID, ORGANIZATION_ID, atau PROJECT_ID dengan nama folder, organisasi, atau project Anda. Anda harus menetapkan salah satu opsi ini. Untuk folder dan organisasi, namanya adalah ID folder atau ID organisasi. Untuk project, namanya adalah nomor project atau project ID.
    • LOCATION: lokasi Security Command Center untuk menghapus konfigurasi ekspor; jika residensi data diaktifkan, gunakan eu, sa, atau us; jika tidak, gunakan nilai global.

      Misalnya, untuk menghapus konfigurasi ekspor bernama my-bq-export dari organisasi dengan ID organisasi yang ditetapkan ke 123, jalankan:

      gcloud scc bqexports delete my-bq-export \
          --organization=123 \
          --location=global
      

Java

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.


import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.DeleteBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class DeleteBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    deleteBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Delete an existing BigQuery export.
  public static void deleteBigQueryExport(String organizationId, String location,
      String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      DeleteBigQueryExportRequest bigQueryExportRequest =
          DeleteBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      client.deleteBigQueryExport(bigQueryExportRequest);
      System.out.printf("BigQuery export request deleted successfully: %s", bigQueryExportId);
    }
  }
}

Python

Untuk melakukan autentikasi ke Security Command Center, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

def delete_bigquery_export(parent: str, bigquery_export_id: str):
    """
    Delete an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """
    from google.cloud import securitycenter_v2

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.DeleteBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    client.delete_big_query_export(request)
    print(f"BigQuery export request deleted successfully: {bigquery_export_id}")

Setelah menghapus konfigurasi ekspor, Anda dapat menghapus data dari Data Studio. Untuk informasi selengkapnya, lihat Menghapus, menghapus permanen, dan memulihkan sumber data.

Meninjau temuan di BigQuery

Setelah Anda membuat konfigurasi ekspor, temuan baru akan diekspor ke set data BigQuery dalam project yang Anda tentukan.

Untuk meninjau temuan di BigQuery, lakukan hal berikut:

  1. Buka project di BigQuery.

    Buka BigQuery

  2. Pilih project.

  3. Di panel Explorer, luaskan node untuk project Anda.

  4. Perluas set data Anda.

  5. Klik tabel findings.

  6. Di tab yang terbuka, klik Pratinjau. Contoh set data akan ditampilkan.

Kueri yang berguna

Bagian ini memberikan contoh kueri untuk menganalisis data temuan. Dalam contoh berikut, ganti DATASET dengan nama yang ditetapkan ke set data Anda dan PROJECT_ID dengan nama project untuk set data Anda.

Untuk memecahkan masalah error yang Anda alami, lihat Pesan error.

Jumlah temuan baru yang dibuat dan diperbarui setiap hari

SELECT
    FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
    count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC

Data temuan terbaru untuk setiap temuan

SELECT
    * EXCEPT(row)
FROM (
    SELECT *, ROW_NUMBER() OVER(
        PARTITION BY finding_id
        ORDER BY event_time DESC, finding.mute_update_time DESC
    ) AS row
    FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1

Temuan saat ini yang aktif, diurutkan berdasarkan waktu

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC

Temuan saat ini yang ada dalam project

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'

Ganti PROJECT dengan nama project.

Temuan saat ini yang ada dalam folder

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'

Ganti FOLDER dengan nama folder.

Temuan saat ini dari pemindai Logging Scanner

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
  AND source_property.value = "LOGGING_SCANNER"

Temuan aktif saat ini dari jenis Persistence: IAM Anomalous Grant

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
  AND finding.category = "Persistence: IAM Anomalous Grant"

Menghubungkan temuan aktif dari jenis tertentu dengan Cloud Audit Logs

Contoh kueri ini membantu menyelidiki temuan pemberian IAM yang anomali dari Event Threat Detection menggunakan Cloud Audit Logs dengan menampilkan urutan tindakan Aktivitas Admin pemberi izin selama rentang waktu sebelum dan sesudah tindakan pemberian IAM yang anomali. Kueri berikut menghubungkan log Aktivitas Admin antara 1 jam sebelum dan 1 jam setelah stempel waktu temuan.

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT
  finding_id,
  ANY_VALUE(event_time) as event_time,
  ANY_VALUE(finding.access.principal_email) as grantor,
  JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
  ARRAY_AGG(
    STRUCT(
      timestamp,
      IF(timestamp < event_time, 'before', 'after') as timeline,
      protopayload_auditlog.methodName,
      protopayload_auditlog.resourceName,
      protopayload_auditlog.serviceName
    )
    ORDER BY timestamp ASC
  ) AS recent_activity
FROM (
  SELECT
    f.*,
    a.*,
  FROM latestFindings AS f
  LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
  ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
  WHERE f.finding.state = "ACTIVE"
    AND f.finding.category = "Persistence: IAM Anomalous Grant"
    AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
    AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
  )
GROUP BY
  finding_id
ORDER BY
  event_time DESC

Outputnya mirip dengan hal berikut ini:

Screenshot hasil kueri yang menampilkan temuan dengan log audit yang berkorelasi

Membuat diagram di Data Studio

Data Studio memungkinkan Anda membuat laporan dan dasbor interaktif.

Secara umum, Anda akan dikenai biaya penggunaan BigQuery saat mengakses BigQuery melalui Data Studio. Untuk mengetahui informasi selengkapnya, lihat Memvisualisasikan data BigQuery menggunakan Data Studio.

Untuk membuat diagram yang memvisualisasikan data temuan berdasarkan tingkat keparahan dan kategori, lakukan hal berikut:

  1. Buka Data Studio dan login.
  2. Jika diminta, berikan informasi tambahan dan siapkan preferensi lainnya. Baca persyaratan layanan dan, jika Anda setuju, lanjutkan.
  3. Klik Laporan Kosong.
  4. Di tab Hubungkan ke data, klik kartu BigQuery.
  5. Jika diminta, izinkan Data Studio untuk mengakses project BigQuery.
  6. Hubungkan ke data temuan Anda:

    1. Untuk Project, pilih project tersebut untuk set data Anda. Atau, di tab Project saya, masukkan project ID Anda untuk menelusurinya.
    2. Untuk Dataset, klik nama set data Anda.
    3. Untuk Table, klik findings.
    4. Klik Tambahkan.
    5. Pada dialog, klik Tambahkan ke laporan.
  7. Setelah laporan ditambahkan, klik Tambahkan diagram.

  8. Klik diagram kolom bertumpuk, lalu klik area tempat Anda ingin menempatkannya.

    Screenshot pilihan diagram
  9. Di panel Chart > Bar, pada tab Data, tetapkan kolom berikut:

    1. Di kolom Dimension, pilih finding.severity.
    2. Di kolom Breakdown Dimension, pilih finding.category.
    Screenshot diagram temuan yang dikategorikan menurut tingkat keparahan dan
            disubkategorikan menurut kategori

Laporan diperbarui untuk menampilkan beberapa kolom dengan temuan yang dibagi berdasarkan tingkat keparahan dan kategori.

Langkah berikutnya