Questa pagina descrive come annotare un flusso video dai protocolli di live streaming standard.
L'API Video Intelligence Streaming consente l'analisi in tempo reale dello streaming per contenuti multimediali dal vivo. Le funzionalità supportate includono:
Rilevamento etichette dal vivo
Rilevamento del cambio di inquadratura dal vivo
Rilevamento di contenuti espliciti dal vivo
Rilevamento e monitoraggio degli oggetti in tempo reale
La libreria di importazione AIStreamer fornisce un insieme di interfacce open source e codice di esempio per connettersi all'API Streaming dell'API Video Intelligence. La libreria supporta:
HTTP Live Streaming (HLS): un protocollo di streaming e comunicazione multimediale basato su HTTP.
Real Time Streaming Protocol (RTSP): un protocollo di controllo di rete per i server di streaming multimediale. Viene utilizzato insieme a Real Time Protocol (RTP) e Real Time Control Protocol (RTCP).
Real Time Messaging Protocol (RTMP): un protocollo per lo streaming di audio, video e dati su internet.
Per iniziare a utilizzare AIStreamer
La libreria di importazione AIStreamer include i seguenti esempi (incluso un esempio Docker).
Live streaming: Istruzioni per il supporto dei protocolli di live streaming (HLS, RTSP e RTMP) nell'API Video Intelligence.
Docker e Kubernetes: Istruzioni per l'utilizzo del nostro esempio di Docker e del deployment di Kubernetes.
Rilevamento etichette dal vivo: Istruzioni per l'analisi delle etichette in streaming.
Rilevamento del cambio di inquadratura dal vivo: Istruzioni per lo streaming dell'analisi del cambio di inquadratura.
Rilevamento di contenuti espliciti dal vivo: Istruzioni per l'analisi dei contenuti espliciti in streaming.
Rilevamento e monitoraggio degli oggetti in tempo reale: Istruzioni per lo streaming dell'analisi di rilevamento e monitoraggio degli oggetti.
Architettura del codice
La libreria di importazione AIStreamer include le seguenti tre directory:
client: Librerie client Python e C++ per la connessione a Video Intelligence.
env: Esempio di Docker per l'importazione di AIStreamer.
proto: Definizioni di proto e interfaccia gRPC per Video Intelligence.
Dipendenze di terze parti
La libreria di importazione AIStreamer open source si basa sulle seguenti librerie open source di proprietà di Google e di terze parti.
Bazel: uno strumento di build e test con supporto multilingue.
gRPC: un framework RPC universale open source ad alte prestazioni.
Protobuf: il meccanismo estensibile, indipendente dalla lingua e dalla piattaforma di Google per la serializzazione dei dati strutturati.
rules_protobuf: regole Bazel per la creazione di buffer di protocollo e servizi gRPC.
glog: implementazione C++ del modulo di logging di Google.
gflags: libreria C++ che implementa l'elaborazione dei flag della riga di comando.
ffmpeg: una soluzione multipiattaforma completa per registrare, convertire e trasmettere in streaming audio e video.
gStreamer: un altro framework multipiattaforma per l'elaborazione e lo streaming multimediale.