Menganalisis gambar

Tutorial ini menunjukkan cara mendapatkan insight dari data gambar tidak terstruktur dengan mengintegrasikan BigQuery ML dengan Gemini. Dalam tutorial ini, Anda akan membuat model jarak jauh berdasarkan gemini-2.5-flash dan menggunakan fungsi `AI.GENERATE_TEXT` untuk otomatis mengekstrak metadata, seperti judul dan tahun rilis, dari koleksi poster film.AI.GENERATE_TEXT

Tujuan

• Membuat tabel objek BigQuery atas data gambar di bucket Cloud Storage.
• Membuat model jarak jauh BigQuery ML yang menargetkan model gemini-2.5-flash Vertex AI.
• Menggunakan model jarak jauh dengan fungsi AI.GENERATE_TEXT untuk mengidentifikasi film yang terkait dengan sekumpulan poster film.

Biaya

Tutorial ini menggunakan komponen yang dapat ditagih berikut Google Cloud:

• BigQuery ML
• Vertex AI

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

1. Di Google Cloud konsol, pada halaman pemilih project, pilih atau buat Google Cloud project.

   Peran yang diperlukan untuk memilih atau membuat project

   • Memilih project: Memilih project tidak memerlukan peran IAM tertentu Anda dapat memilih project mana pun yang telah diberi peran.
   • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

2. Pastikan penagihan diaktifkan untuk Google Cloud project Anda.

3. Aktifkan BigQuery, BigQuery Connection, dan Vertex AI API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

   Aktifkan API

Peran yang diperlukan

Untuk menjalankan tutorial ini, Anda memerlukan peran Identity and Access Management (IAM) berikut:

• Membuat dan menggunakan set data, koneksi, dan model BigQuery: BigQuery Admin (roles/bigquery.admin).
• Memberikan izin ke akun layanan koneksi: Project IAM Admin (roles/resourcemanager.projectIamAdmin).

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

• Membuat set data: bigquery.datasets.create
• Membuat, mendelegasikan, dan menggunakan koneksi: bigquery.connections.*
• Menetapkan koneksi default: bigquery.config.*
• Menetapkan izin akun layanan: resourcemanager.projects.getIamPolicy dan resourcemanager.projects.setIamPolicy
• Membuat tabel objek: bigquery.tables.create dan bigquery.tables.update
• Membuat model dan menjalankan inferensi:
  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menyiapkan lingkungan

Untuk melakukan inferensi BigQuery ML pada tabel objek menggunakan gemini-2.5-flash, Anda harus menetapkan reservasi BigQuery ke project Anda. Jika sudah ada reservasi yang ditetapkan ke project Anda, Anda dapat melewati langkah ini.

Membuat reservasi

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di menu navigasi, klik Capacity management.

3. Klik Create Reservation.

4. Di halaman Create reservation, lakukan hal berikut:

   1. Untuk Reservation name, masukkan bqml-tutorial-reservation.
   2. Untuk Location, pilih us (multiple regions in United States).
   3. Jangan ubah setelan default yang tersisa, lalu klik Save.

Menetapkan reservasi

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di menu navigasi, klik Capacity management.

3. Di tabel Slot Reservations, temukan reservasi yang ingin Anda tetapkan ke project Anda.

4. Klik View actions > Create assignment.

5. Di Create an assignment, klik Browse, lalu pilih project Anda.

6. Untuk Job type, pilih QUERY. Pilihan ini memastikan bahwa kueri SQL Anda menggunakan slot reservasi ini.

7. Klik Create.

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda.

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik View actions > Create dataset

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US.

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

bq

Untuk membuat set data baru, gunakan perintah bq mk --dataset.

1. Buat set data bernama bqml_tutorial dengan lokasi data ditetapkan ke US.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Konfirmasi bahwa set data telah dibuat:

   bq ls

API

Panggil datasets.insert metode dengan resource set data yang ditentukan.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Membuat tabel objek

Buat tabel objek atas gambar poster film di bucket Cloud Storage publik . Tabel objek memungkinkan Anda menganalisis gambar tanpa memindahkannya dari Cloud Storage.

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk membuat tabel objek:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters`
     WITH CONNECTION DEFAULT
     OPTIONS (
       object_metadata = 'SIMPLE',
       uris =
         ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);

Membuat model jarak jauh

Buat model jarak jauh yang merepresentasikan model gemini-2.5-flash Vertex AI:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk membuat model jarak jauh:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini-vision`
     REMOTE WITH CONNECTION DEFAULT
     OPTIONS (ENDPOINT = 'gemini-2.5-flash');

   Kueri mungkin memerlukan waktu beberapa menit untuk diselesaikan, setelah itu model gemini-vision akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Menganalisis poster film

Gunakan model jarak jauh untuk menganalisis poster film dan menentukan film yang direpresentasikan oleh setiap poster, lalu tulis data ini ke tabel.

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk menganalisis gambar poster film:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results` AS (
     SELECT
       uri,
      result
     FROM
       AI.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-vision`,
         TABLE `bqml_tutorial.movie_posters`,
         STRUCT( 0.2 AS temperature,
           'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT)));
       

3. Di editor kueri, jalankan pernyataan berikut untuk melihat data tabel:

   SELECT * FROM `bqml_tutorial.movie_posters_results`;

   Outputnya mirip dengan hal berikut ini:

   +--------------------------------------------+----------------------------------+
   | uri                                        | result                           |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/little_annie_rooney.jpg            |  "title": "Little Annie Rooney", |
   |                                            |  "year": 1912                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/mighty_like_a_mouse.jpg            |  "title": "Mighty Like a Moose", |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   | gs://cloud-samples-data/vertex-ai/dataset- | json                          |
   | management/datasets/classic-movie-         | {                                |
   | posters/brown_of_harvard.jpeg              |  "title": "Brown of Harvard",    |
   |                                            |  "year": 1926                    |
   |                                            | }                                |
   |                                            |                              |
   +--------------------------------------------+----------------------------------+
   

Memformat output model

Agar data judul dan tahun film lebih mudah dibaca, format data yang ditampilkan oleh model.

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan kueri berikut untuk memformat data:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.movie_posters_results_formatted` AS (
     SELECT
       uri,
       JSON_QUERY(RTRIM(LTRIM(results.result, " ```json"), "```"), "$.title") AS title,
       JSON_QUERY(RTRIM(LTRIM(results.result, " ```json"), "```"), "$.year") AS year
     FROM
       `bqml_tutorial.movie_posters_results` results );

3. Di editor kueri, jalankan pernyataan berikut untuk melihat data tabel:

   SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;

   Outputnya mirip dengan hal berikut ini:

   +--------------------------------------------+----------------------------+------+
   | uri                                        | title                      | year |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port"   | 1895 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/barque_sortant_du_port.jpeg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery"  | 1903 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/the_great_train_robbery.jpg        |                            |      |
   +--------------------------------------------+----------------------------+------+
   | gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney"      | 1912 |
   | management/datasets/classic-movie-         |                            |      |
   | posters/little_annie_rooney.jpg            |                            |      |
   +--------------------------------------------+----------------------------+------+
   

Menghapus project

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Google Cloud konsol, buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Jika Anda ingin menggunakan kembali project, hapus resource yang Anda buat untuk tutorial.

Menghapus set data

Konsol

Hapus seluruh set data bqml_tutorial dan semua kontennya dengan menjalankan perintah SQL berikut:

DROP SCHEMA IF EXISTS `bqml_tutorial` CASCADE;

bq

Hapus seluruh set data bqml_tutorial dan semua kontennya:

bq rm -r bqml_tutorial

Menghapus reservasi

Konsol

Jika Anda membuat reservasi BigQuery sebagai bagian dari tutorial ini, Anda harus menghapusnya untuk menghindari biaya slot berkelanjutan.

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di menu navigasi, klik Capacity management.

3. Di tabel Slot Reservations, temukan bqml-tutorial-reservation.

4. Klik View actions > Delete.

bq

Jika Anda membuat reservasi BigQuery bernama bqml-tutorial-reservation di lokasi us, gunakan perintah berikut untuk menghapusnya:

bq rm --reservation --location=us bqml-tutorial-reservation

Menghapus koneksi

Konsol

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer, temukan project Anda, lalu klik Connections.

3. Di tabel, temukan koneksi Anda.

4. Klik View actions > Delete.

bq

Hapus koneksi:

bq rm --connection --location=us CONNECTION_ID

Ganti CONNECTION_ID dengan ID koneksi Anda yang sebenarnya.

Langkah berikutnya

• Pelajari lebih lanjut fungsi AI generatif di BigQuery.
• Pelajari cara menyesuaikan model menggunakan data Anda.
• Pelajari arsitektur referensi, diagram, dan praktik terbaik tentang Google Cloud. Lihat Cloud Architecture Center kami.