Questo tutorial mostra l'utilizzo di Cloud Run, dell'API Cloud Vision e di ImageMagick per rilevare e sfocare le immagini offensive caricate in un bucket Cloud Storage. Questo tutorial si basa sul tutorial Utilizzo di Pub/Sub con Cloud Run.
Questo tutorial illustra la modifica di un'app di esempio esistente. Se vuoi, puoi anche scaricare l'esempio completato.
Configurazione dei valori predefiniti di gcloud
Per configurare gcloud con i valori predefiniti per il tuo servizio Cloud Run:
Imposta il progetto predefinito:
gcloud config set project PROJECT_ID
Sostituisci PROJECT_ID con il nome del progetto che hai creato per questo tutorial.
Configura gcloud per la regione scelta:
gcloud config set run/region REGION
Sostituisci REGION con la regione Cloud Run supportata che preferisci.
Località Cloud Run
Cloud Run è regionale, il che significa che l'infrastruttura che esegue i tuoi servizi Cloud Run si trova in una regione specifica ed è gestita da Google per essere disponibile in modo ridondante in tutte le zone all'interno di quella regione.
Il rispetto dei requisiti di latenza, disponibilità o durabilità sono fattori
primari per la selezione della regione in cui vengono eseguiti i servizi Cloud Run.
In genere puoi selezionare la regione più vicina ai tuoi utenti, ma devi considerare
la posizione degli altri Google Cloud
prodotti utilizzati dal tuo servizio Cloud Run.
L'utilizzo combinato dei prodotti Google Cloud in più località può influire
sulla latenza e sui costi del servizio.
Cloud Run è disponibile nelle seguenti regioni:
Soggetto ai prezzi di Livello 1
asia-east1
(Taiwan)asia-northeast1
(Tokyo)asia-northeast2
(Osaka)asia-south1
(Mumbai, India)europe-north1
(Finlandia)Bassi livelli di CO2
europe-north2
(Stoccolma)Bassi livelli di CO2
europe-southwest1
(Madrid)Bassi livelli di CO2
europe-west1
(Belgio)Bassi livelli di CO2
europe-west4
(Paesi Bassi)Bassi livelli di CO2
europe-west8
(Milano)europe-west9
(Parigi)Bassi livelli di CO2
me-west1
(Tel Aviv)northamerica-south1
(Messico)us-central1
(Iowa)Bassi livelli di CO2
us-east1
(Carolina del Sud)us-east4
(Virginia del Nord)us-east5
(Columbus)us-south1
(Dallas)Bassi livelli di CO2
us-west1
(Oregon)Bassi livelli di CO2
Soggetto ai prezzi di Livello 2
africa-south1
(Johannesburg)asia-east2
(Hong Kong)asia-northeast3
(Seul, Corea del Sud)asia-southeast1
(Singapore)asia-southeast2
(Giacarta)asia-south2
(Delhi, India)australia-southeast1
(Sydney)australia-southeast2
(Melbourne)europe-central2
(Varsavia, Polonia)europe-west10
(Berlino)europe-west12
(Torino)europe-west2
(Londra, Regno Unito)Bassi livelli di CO2
europe-west3
(Francoforte, Germania)europe-west6
(Zurigo, Svizzera)A basse emissioni di CO2
me-central1
(Doha)me-central2
(Dammam)northamerica-northeast1
(Montreal)Bassi livelli di CO2
northamerica-northeast2
(Toronto)Bassi livelli di CO2
southamerica-east1
(San Paolo, Brasile)Bassi livelli di CO2
southamerica-west1
(Santiago, Cile)Bassi livelli di CO2
us-west2
(Los Angeles)us-west3
(Salt Lake City)us-west4
(Las Vegas)
Se hai già creato un servizio Cloud Run, puoi visualizzare la regione nella dashboard Cloud Run nella consoleGoogle Cloud .
Informazioni sulla sequenza di operazioni
Il flusso di dati in questo tutorial segue questi passaggi:
- Un utente carica un'immagine in un bucket Cloud Storage.
- Cloud Storage pubblica un messaggio sul nuovo file in Pub/Sub.
- Pub/Sub esegue il push del messaggio al servizio Cloud Run.
- Il servizio Cloud Run recupera il file immagine a cui viene fatto riferimento nel messaggio Pub/Sub.
- Il servizio Cloud Run utilizza l'API Cloud Vision per analizzare l'immagine.
- Se vengono rilevati contenuti violenti o per adulti, il servizio Cloud Run utilizza ImageMagick per sfocare l'immagine.
- Il servizio Cloud Run carica l'immagine sfocata in un altro bucket Cloud Storage per l'utilizzo.
L'utilizzo successivo dell'immagine sfocata è lasciato come esercizio per il lettore.
Crea un repository standard Artifact Registry
Crea un repository standard di Artifact Registry per archiviare l'immagine container:
gcloud artifacts repositories create REPOSITORY \ --repository-format=docker \ --location=REGION
Sostituisci:
- REPOSITORY con un nome univoco per il repository.
- REGION con la regione Google Cloud da utilizzare per il repository Artifact Registry.
Configurare i bucket Cloud Storage
gcloud
Crea un bucket Cloud Storage per caricare le immagini, dove INPUT_BUCKET_NAME è un nome del bucket univoco a livello globale:
gcloud storage buckets create gs://INPUT_BUCKET_NAME
Il servizio Cloud Run legge solo da questo bucket.
Crea un secondo bucket Cloud Storage per ricevere le immagini sfocate, dove BLURRED_BUCKET_NAME è un nome di bucket univoco a livello globale:
gcloud storage buckets create gs://BLURRED_BUCKET_NAME
Il servizio Cloud Run carica le immagini sfocate in questo bucket. L'utilizzo di un bucket separato impedisce alle immagini elaborate di riattivare il servizio.
Per impostazione predefinita, le revisioni di Cloud Run vengono eseguite come account di servizio predefinito di Compute Engine.
Se invece utilizzi un service account gestito dall'utente, assicurati di aver assegnato i ruoli IAM richiesti in modo che disponga dell'autorizzazione
storage.objects.get
per la lettura da INPUT_BUCKET_NAME e dell'autorizzazionestorage.objects.create
per il caricamento su BLURRED_BUCKET_NAME.
Terraform
Per scoprire come applicare o rimuovere una configurazione Terraform, consulta Comandi Terraform di base.
Crea due bucket Cloud Storage: uno per caricare le immagini originali e un altro per il servizio Cloud Run per caricare le immagini sfocate.
Per creare entrambi i bucket Cloud Storage con nomi univoci a livello globale, aggiungi
quanto segue al file main.tf
esistente:
Per impostazione predefinita, le revisioni di Cloud Run vengono eseguite come service account predefinito di Compute Engine.
Se invece utilizzi un
service account gestito dall'utente, assicurati
di aver assegnato i ruoli IAM richiesti
in modo che disponga dell'autorizzazione storage.objects.get
per la lettura da
google_storage_bucket.imageproc_input
e
dell'autorizzazione storage.objects.create
per il caricamento su
google_storage_bucket.imageproc_output
.
Nei passaggi seguenti, creerai e implementerai un servizio che elabora la notifica dei caricamenti di file in INPUT_BUCKET_NAME. Attiva la distribuzione delle notifiche dopo aver eseguito il deployment e il test del servizio, per evitare l'invocazione prematura del nuovo servizio.
Modifica il codice campione del tutorial Pub/Sub
Questo tutorial si basa sul codice assemblato nel tutorial Utilizzare Pub/Sub. Se non hai ancora completato il tutorial, fallo ora, saltando i passaggi di pulizia, poi torna qui per aggiungere il comportamento di elaborazione delle immagini.
Aggiungere il codice di elaborazione delle immagini
Il codice di elaborazione delle immagini è separato dalla gestione delle richieste per facilitare la lettura e i test. Per aggiungere il codice di elaborazione delle immagini:
Passa alla directory del codice campione del tutorial Pub/Sub.
Aggiungi il codice per importare le dipendenze di elaborazione delle immagini, incluse le librerie per l'integrazione con i servizi Google Cloud , ImageMagick e il file system.
Node.js
Apri un nuovo fileimage.js
nell'editor e copia quanto segue:Python
Apri un nuovo fileimage.py
nell'editor e copia quanto segue:Vai
Apri un nuovo fileimagemagick/imagemagick.go
nell'editor e copia quanto segue:Java
Apri un nuovo filesrc/main/java/com/example/cloudrun/ImageMagick.java
nell'editor e copia quanto segue:Aggiungi codice per ricevere un messaggio Pub/Sub come oggetto evento e controllare l'elaborazione delle immagini.
L'evento contiene dati sull'immagine caricata originariamente. Questo codice determina se l'immagine deve essere sfocata controllando i risultati di un'analisi di Cloud Vision per contenuti violenti o per adulti.
Node.js
Python
Go
Java
Recupera l'immagine a cui viene fatto riferimento dal bucket di input Cloud Storage creato sopra, utilizza ImageMagick per trasformare l'immagine con un effetto sfocatura e carica il risultato nel bucket di output.
Node.js
Python
Go
Java
Integra l'elaborazione delle immagini nel codice campione Pub/Sub
Per modificare il servizio esistente in modo da incorporare il codice di elaborazione delle immagini:
Aggiungi nuove dipendenze per il tuo servizio, incluse le librerie client Cloud Vision e Cloud Storage:
Node.js
npm install gm @google-cloud/storage @google-cloud/vision
Python
Aggiungi le librerie client necessarie in modo che il tuorequirements.txt
abbia un aspetto simile a questo:Vai
L'applicazione di esempio Go utilizza i moduli Go. Le nuove dipendenze aggiunte sopra nell'istruzione di importazioneimagemagick/imagemagick.go
verranno scaricate automaticamente dal comando successivo che le richiede.Java
Aggiungi la seguente dipendenza sotto<dependencyManagement>
inpom.xml
: Aggiungi le seguenti dipendenze in<dependencies>
nel filepom.xml
:Aggiungi il pacchetto di sistema ImageMagick al container modificando
Dockerfile
sotto l'istruzioneFROM
. Se utilizzi un Dockerfile "multistadio", inseriscilo nella fase finale.Debian/Ubuntu Alpine Scopri di più su come utilizzare i pacchetti di sistema nel tuo servizio Cloud Run nel tutorial sull'utilizzo dei pacchetti di sistema.
Sostituisci il codice di gestione dei messaggi Pub/Sub esistente con una chiamata di funzione alla nostra nuova logica di sfocatura.
Node.js
Il fileapp.js
definisce l'app Express.js e prepara i messaggi Pub/Sub ricevuti per l'uso. Apporta le seguenti modifiche:- Aggiungere il codice per importare il nuovo file
image.js
- Rimuovi il codice "Hello World" esistente dalla route
- Aggiungi codice per convalidare ulteriormente il messaggio Pub/Sub
Aggiungi il codice per chiamare la nuova funzione di elaborazione delle immagini
Al termine, il codice avrà questo aspetto:
Python
Il filemain.py
definisce l'app Flask e prepara i messaggi Pub/Sub ricevuti per l'utilizzo. Apporta le seguenti modifiche:- Aggiungere il codice per importare il nuovo file
image.py
- Rimuovi il codice "Hello World" esistente dalla route
- Aggiungi codice per convalidare ulteriormente il messaggio Pub/Sub
Aggiungi il codice per chiamare la nuova funzione di elaborazione delle immagini
Al termine, il codice avrà questo aspetto:
Vai
Il filemain.go
definisce il servizio HTTP e prepara i messaggi Pub/Sub ricevuti per l'uso. Apporta le seguenti modifiche:- Aggiungere il codice per importare il nuovo file
imagemagick.go
- Rimuovi il codice "Hello World" esistente dal gestore
- Aggiungi codice per convalidare ulteriormente il messaggio Pub/Sub
- Aggiungi il codice per chiamare la nuova funzione di elaborazione delle immagini
Java
Il filePubSubController.java
definisce il controller che gestisce le richieste HTTP e prepara i messaggi Pub/Sub ricevuti per l'utilizzo. Apporta le seguenti modifiche:- Aggiungi le nuove importazioni
- Rimuovi il codice "Hello World" esistente dal controller
- Aggiungi codice per convalidare ulteriormente il messaggio Pub/Sub
- Aggiungi il codice per chiamare la nuova funzione di elaborazione delle immagini
- Aggiungere il codice per importare il nuovo file
Scarica il campione completo
Per recuperare l'esempio di codice completo per l'elaborazione delle immagini da utilizzare:
Clona il repository dell'app di esempio sulla tua macchina locale:
Node.js
git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git
In alternativa, puoi scaricare il campione come file ZIP ed estrarlo.
Python
git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
In alternativa, puoi scaricare il campione come file ZIP ed estrarlo.
Vai
git clone https://github.com/GoogleCloudPlatform/golang-samples.git
In alternativa, puoi scaricare il campione come file ZIP ed estrarlo.
Java
git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
In alternativa, puoi scaricare il campione come file ZIP ed estrarlo.
Passa alla directory che contiene il codice campione di Cloud Run:
Node.js
cd nodejs-docs-samples/run/image-processing/
Python
cd python-docs-samples/run/image-processing/
Vai
cd golang-samples/run/image-processing/
Java
cd java-docs-samples/run/image-processing/
Spedisci il codice
La spedizione del codice è composta da tre passaggi: la creazione di un'immagine container con Cloud Build, il caricamento dell'immagine container in Artifact Registry e il deployment dell'immagine container in Cloud Run.
Per spedire il codice:
Crea il container e pubblicalo su Artifact Registry:
Node.js
gcloud builds submit --tag REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub
dove
pubsub
è il nome del tuo servizio.Sostituisci:
- PROJECT_ID con l'ID progetto Google Cloud
- REPOSITORY con il nome del repository Artifact Registry.
- REGION con la regione Google Cloud da utilizzare per il repository Artifact Registry.
In caso di esito positivo, vedrai un messaggio di operazione riuscita contenente l'ID, l'ora di creazione e il nome dell'immagine. L'immagine è archiviata in Artifact Registry e può essere riutilizzata se necessario.
Python
gcloud builds submit --tag REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub
dove
pubsub
è il nome del tuo servizio.Sostituisci:
- PROJECT_ID con l'ID progetto Google Cloud
- REPOSITORY con il nome del repository Artifact Registry.
- REGION con la regione Google Cloud da utilizzare per il repository Artifact Registry.
In caso di esito positivo, vedrai un messaggio di operazione riuscita contenente l'ID, l'ora di creazione e il nome dell'immagine. L'immagine è archiviata in Artifact Registry e può essere riutilizzata se necessario.
Vai
gcloud builds submit --tag REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub
dove
pubsub
è il nome del tuo servizio.Sostituisci:
- PROJECT_ID con l'ID progetto Google Cloud
- REPOSITORY con il nome del repository Artifact Registry.
- REGION con la regione Google Cloud da utilizzare per il repository Artifact Registry.
In caso di esito positivo, vedrai un messaggio di operazione riuscita contenente l'ID, l'ora di creazione e il nome dell'immagine. L'immagine è archiviata in Artifact Registry e può essere riutilizzata se necessario.
Java
Questo esempio utilizza Jib per creare immagini Docker utilizzando strumenti Java comuni. Jib ottimizza le build dei container senza la necessità di un Dockerfile o di Docker installato. Scopri di più sulla creazione di container Java con Jib.Utilizzando Dockerfile, configura e crea un'immagine di base con i pacchetti di sistema installati per eseguire l'override dell'immagine di base predefinita di Jib:
gcloud builds submit --tag REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/imagemagick
Sostituisci:
- PROJECT_ID con l'ID progetto Google Cloud
- REPOSITORY con il nome del repository Artifact Registry.
- REGION con la regione Google Cloud da utilizzare per il repository Artifact Registry.
Utilizza l'assistente per le credenziali gcloud per autorizzare Docker a eseguire il push su Artifact Registry.
gcloud auth configure-docker
Crea il container finale con Jib e pubblicalo su Artifact Registry:
mvn compile jib:build \ -Dimage=REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub \ -Djib.from.image=REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/imagemagick
Sostituisci:
- PROJECT_ID con l'ID progetto Google Cloud
- REPOSITORY con il nome del repository Artifact Registry.
- REGION con la regione Google Cloud da utilizzare per il repository Artifact Registry.
Esegui questo comando per eseguire il deployment del servizio, utilizzando lo stesso nome del servizio utilizzato nel tutorial sull'utilizzo di Pub/Sub:
Node.js
gcloud run deploy pubsub-tutorial --image REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME --no-allow-unauthenticated
Python
gcloud run deploy pubsub-tutorial --image REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME --no-allow-unauthenticated
Vai
gcloud run deploy pubsub-tutorial --image REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME --no-allow-unauthenticated
Java
gcloud run deploy pubsub-tutorial --image REGION-docker.pkg.dev/PROJECT_ID /REPOSITORY/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME --memory 512M --no-allow-unauthenticated
dove
pubsub
è il nome del container epubsub-tutorial
è il nome del servizio. Tieni presente che l'immagine container viene sottoposta a deployment nel servizio e nella regione (Cloud Run) che hai configurato in precedenza in Configurazione dei valori predefiniti di gcloud. Sostituisci:- PROJECT_ID con l'ID progetto Google Cloud
- REPOSITORY con il nome del repository Artifact Registry.
- REGION con la regione Google Cloud da utilizzare per il repository Artifact Registry.
- BLURRED_BUCKET_NAME con il bucket Cloud Storage che hai creato in precedenza per ricevere immagini sfocate per impostare la variabile di ambiente.
Il flag
--no-allow-unauthenticated
limita l'accesso non autenticato al servizio. Mantenendo privato il servizio, puoi fare affidamento sull'integrazione automatica di Pub/Sub di Cloud Run per autenticare le richieste. Per maggiori dettagli su come viene configurata questa integrazione, consulta la sezione Integrazione con Pub/Sub. Per ulteriori dettagli sull'autenticazione basata su IAM, consulta la pagina Gestione dell'accesso.Attendi il completamento del deployment, che può richiedere circa 30 secondi. Se l'operazione riesce, la riga di comando visualizza l'URL del servizio.
Attivare le notifiche di Cloud Storage
Configura Cloud Storage per pubblicare un messaggio in un argomento Pub/Sub ogni volta che un file (noto come oggetto) viene caricato o modificato. Invia la notifica all'argomento creato in precedenza in modo che qualsiasi nuovo caricamento di file richiami il servizio.
gcloud
gcloud storage service-agent --project=PROJECT_ID gcloud storage buckets notifications create gs://INPUT_BUCKET_NAME --topic=myRunTopic --payload-format=json
myRunTopic
è l'argomento che hai creato nel tutorial precedente.
Sostituisci INPUT_BUCKET_NAME con il nome che hai utilizzato quando hai creato i bucket.
Per maggiori dettagli sulle notifiche dei bucket di archiviazione, leggi Notifiche di modifica degli oggetti.
Terraform
Per scoprire come applicare o rimuovere una configurazione Terraform, consulta Comandi Terraform di base.
Per attivare le notifiche, il account di servizio Cloud Storage
univoco per il progetto deve esistere e disporre dell'autorizzazione IAM
pubsub.publisher
per l'argomento Pub/Sub. Per concedere questa
autorizzazione e creare una notifica Cloud Storage, aggiungi quanto segue al
file main.tf
esistente:
Fai una prova
Carica un'immagine offensiva, ad esempio questa immagine di uno zombie mangiacarne:
curl -o zombie.jpg https://cdn.pixabay.com/photo/2015/09/21/14/24/zombie-949916_960_720.jpg gcloud storage cp zombie.jpg gs://INPUT_BUCKET_NAME
dove INPUT_BUCKET_NAME è il bucket Cloud Storage che hai creato in precedenza per caricare le immagini.
Vai ai log del servizio:
- Vai alla pagina Cloud Run nella Google Cloud console.
- Fai clic sul servizio
pubsub-tutorial
. - Seleziona la scheda Log. La visualizzazione dei log potrebbe richiedere alcuni istanti. Se non li vedi subito, ricontrolla dopo qualche istante.
Cerca il messaggio
Blurred image: zombie.png
.Puoi visualizzare le immagini sfocate nel bucket Cloud Storage BLURRED_BUCKET_NAME che hai creato in precedenza: individua il bucket nella pagina Cloud Storage della console Google Cloud .