Membuat streaming dan menyerap data

Langkah pertama dalam menganalisis data video dengan aplikasi adalah membuat pipeline untuk aliran data yang berkelanjutan. Streams menawarkan kemampuan untuk menyerap data video real-time, yang kemudian dapat digunakan sebagai input untuk model atau disimpan di Warehouse.

Membuat Feed

Untuk dapat melakukan streaming data video, Anda harus membuat aliran terlebih dahulu.

Saat pertama kali membuat streaming di project baru, pembuatan streaming dapat memerlukan waktu beberapa saat. Waktu ini sekitar 30 menit. Waktu ini disebabkan oleh sistem yang perlu menginisialisasi cluster komputasi untuk komputasi berikutnya.

Konsol

Buat aliran di konsol Google Cloud .

  1. Buka tab Streams di dasbor Vision Platform Agen Gemini Enterprise.

    Buka tab Streams

  2. Klik Daftar.

  3. Masukkan nama streaming dan pilih region. Anda dapat mengklik Tambahkan Baris untuk mendaftarkan beberapa streaming secara bersamaan.

  4. Klik tombol Register untuk membuat satu atau beberapa streaming.

Menyerap video

Setelah membuat aliran, Anda dapat mulai memproses data menggunakan aliran tersebut.

Beberapa batasan dan pertimbangan berlaku untuk video yang di-ingest:

  • Sumber video input harus memiliki spesifikasi berikut:

    Jika video tidak memenuhi spesifikasi ini, Gemini Enterprise Agent Platform Vision mungkin tidak memproses input dengan baik.

  • Audio terputus selama penyerapan.
  • Jika streaming adalah bagian dari aplikasi yang terhubung ke gudang, parameter video (seperti FPS atau resolusi) harus sama untuk seluruh streaming; variasi dalam parameter data video RTSP atau parameter data video lokal tidak didukung.
  • Karena latensi startup model, video yang di-ingest mungkin tidak memiliki beberapa detik pertama konten. Durasi ini dapat mencapai hingga lima belas detik.
  • Penghentian penyerapan dapat terjadi setelah koneksi yang lama (~5 jam, rata-rata). Tidak ada kemampuan koneksi ulang dari alat vaictl ; pengguna harus menghubungkan kembali secara manual.
  • Meskipun vaictl adalah alat yang berguna untuk memproses data video, alat ini tidak secara otomatis menangani pemulihan dari error jaringan. Error ini dapat berasal dari sisi sumber data atau sisi penyerapan Cloud. Pengguna bertanggung jawab untuk membuat skrip mulai ulang untuk menangani penghentian operasi vaictl yang tidak terduga.

SDK Visi Platform Agen Gemini Enterprise

Untuk mengirim permintaan penyerapan data video menggunakan streaming yang ada, Anda harus menginstal Gemini Enterprise Agent Platform Vision SDK.

Lakukan penggantian variabel berikut:

  • PROJECT_ID: Project ID Google Cloud Anda.
  • LOCATION_ID: ID lokasi Anda. Contoh, us-central1. Informasi selengkapnya. Wilayah yang didukung.
  • LOCAL_FILE.EXT: Nama file video lokal. Contoh, my-video.mp4.
  • STREAM_ID: ID stream yang Anda buat di cluster Misalnya, input-1.
  • RTSP_ADDRESS: Alamat feed Real Time Streaming Protocol (RTSP) Anda. Misalnya, rtsp://my-ip-camera.

Data video lokal:

# This command streams a video file to a stream. Streaming ends when the video ends.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT

Data video lokal (berulang):

# This command streams a video file to a stream. Video is looped into the stream until you stop the command.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT --loop

Data feed Real Time Streaming Protocol (RTSP):

# This command will send an RTSP feed into the stream.
# This command has to run in the network that has direct access to the RTSP feed.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send rtsp to streams STREAM_ID --rtsp-uri RTSP_ADDRESS

Memutar video yang di-ingest

Setelah membuat aliran dan mengirim konten video ke aliran, Anda dapat memutar konten video.

Jika Anda membiarkan tab tampilan streaming terbuka selama lebih dari satu jam, Anda harus memuat ulang halaman untuk terus memuat konten video.

Konsol

Putar video yang di-ingest di konsol Google Cloud .

  1. Buka tab Streams di dasbor Vision Platform Agen Gemini Enterprise.

    Buka tab Streams

  2. Klik nama aliran dari daftar aliran.

  3. Di halaman detail streaming video, tampilan live video yang di-ingest akan otomatis dimuat.