En este tutorial se explica cómo aplicar una cuarentena automática a los datos y cómo desplegar sistemas de clasificación con Cloud Storage y otros productos. Google CloudEn este tutorial se da por supuesto que tienes conocimientos sobreGoogle Cloud y programación básica de shell.
En todas las organizaciones, los responsables de protección de datos como tú se enfrentan a una cantidad de datos cada vez mayor, datos que deben protegerse y tratarse de forma adecuada. Poner en cuarentena y clasificar esos datos puede ser complicado y llevar mucho tiempo, sobre todo si se trata de cientos o miles de archivos al día.
¿Y si pudieras coger cada archivo, subirlo a una ubicación de cuarentena y que se clasificara automáticamente y se moviera a la ubicación adecuada en función del resultado de la clasificación? En este tutorial se explica cómo implementar un sistema de este tipo con Cloud Run Functions, Cloud Storage y Protección de Datos Sensibles.
Conceder permisos a cuentas de servicio
El primer paso es conceder permisos a dos cuentas de servicio: la cuenta de servicio de funciones de Cloud Run y el agente de servicio de Cloud Data Loss Prevention.
Conceder permisos a la cuenta de servicio predeterminada de App Engine
En la consola Google Cloud , abre la página IAM y administración y selecciona el proyecto que has creado:
Busca la cuenta de servicio de App Engine. Esta cuenta tiene el formato
[PROJECT_ID]@appspot.gserviceaccount.com. Sustituye[PROJECT_ID]por el ID de tu proyecto.Selecciona el icono de edición edit situado junto a la cuenta de servicio.
Añade los siguientes roles:
- Administrador de DLP
- Agente de servicio de la API DLP
Haz clic en Guardar.
Conceder permisos al agente de servicio de Cloud Data Loss Prevention
El agente de servicio de Cloud Data Loss Prevention se crea la primera vez que es necesario.
En Cloud Shell, crea el agente de servicio de Cloud Data Loss Prevention llamando a
InspectContent:curl --request POST
"https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/us-central1/content:inspect"
--header "X-Goog-User-Project: PROJECT_ID"
--header "Authorization: Bearer $(gcloud auth print-access-token)"
--header 'Accept: application/json'
--header 'Content-Type: application/json'
--data '{"item":{"value":"google@google.com"}}'
--compressedSustituye
PROJECT_IDpor el ID de tu proyecto.En la Google Cloud consola, abre la página IAM y administración y selecciona el proyecto que has creado:
Selecciona la casilla Incluir concesiones de roles proporcionadas por Google
Busca el agente de servicio de Data Loss Prevention de Cloud. Esta cuenta tiene el formato
service-[PROJECT_NUMBER]@dlp-api.iam.gserviceaccount.com. Sustituye[PROJECT_NUMBER]por el número de tu proyecto.Selecciona el icono de edición edit situado junto a la cuenta de servicio.
Añade el rol Proyecto > Lector y, a continuación, haz clic en Guardar.
Crear el flujo de procesamiento de cuarentena y clasificación
En esta sección, creará la canalización de cuarentena y clasificación que se muestra en el siguiente diagrama.
Los números de esta canalización corresponden a estos pasos:
- Subes archivos a Cloud Storage.
- Invoca una función de Cloud Functions.
- Protección de Datos Sensibles inspecciona y clasifica los datos.
- El archivo se mueve al contenedor correspondiente.
Crear segmentos de Cloud Storage
- Contenedor 1: sustituye
[YOUR_QUARANTINE_BUCKET]por un nombre único. - Contenedor 2: sustituye
[YOUR_SENSITIVE_DATA_BUCKET]por un nombre único. - Contenedor 3: sustituye
[YOUR_NON_SENSITIVE_DATA_BUCKET]por un nombre único.
consola
En la Google Cloud consola, abre el navegador de Cloud Storage:
Haz clic en Crear segmento.
En el cuadro de texto Nombre del segmento, introduce el nombre que has seleccionado para
[YOUR_QUARANTINE_BUCKET]y, a continuación, haz clic en Crear.Repite el proceso con los segmentos
[YOUR_SENSITIVE_DATA_BUCKET]y[YOUR_NON_SENSITIVE_DATA_BUCKET].
gcloud
Abre Cloud Shell:
Crea tres segmentos con los siguientes comandos:
gcloud storage buckets create gs://[YOUR_QUARANTINE_BUCKET] gcloud storage buckets create gs://[YOUR_SENSITIVE_DATA_BUCKET] gcloud storage buckets create gs://[YOUR_NON_SENSITIVE_DATA_BUCKET]
Crear un tema y una suscripción de Pub/Sub
consola
Abre la página Temas de Pub/Sub:
Haz clic en Crear tema.
En el cuadro de texto, escribe el nombre del tema.
Selecciona la casilla Añadir una suscripción predeterminada.
Haz clic en Crear tema.
gcloud
Abre Cloud Shell:
Crea un tema y sustituye
[PUB/SUB_TOPIC]por el nombre que quieras:gcloud pubsub topics create [PUB/SUB_TOPIC]
Crea una suscripción y sustituye
[PUB/SUB_SUBSCRIPTION]por el nombre que quieras:gcloud pubsub subscriptions create [PUB/SUB_SUBSCRIPTION] --topic [PUB/SUB_TOPIC]
Crear las funciones de Cloud Run
En esta sección se explica cómo desplegar la secuencia de comandos de Python que contiene las dos funciones de Cloud Run siguientes:
- Función que se invoca cuando se sube un objeto a Cloud Storage.
- Función que se invoca cuando se recibe un mensaje en la cola de Pub/Sub.
La secuencia de comandos de Python que usas para completar este tutorial se encuentra en un repositorio de GitHub. Para crear la primera función de Cloud, debes habilitar las APIs correctas.
Para habilitar las APIs, haz lo siguiente:
- Si estás trabajando en la consola, cuando hagas clic en Crear función, verás una guía sobre cómo habilitar las APIs que necesitas para usar Cloud Functions.
- Si trabajas en gcloud CLI, debes habilitar manualmente las siguientes APIs:
- API de Artifact Registry
- API Eventarc
- API Admin de Cloud Run
Crear la primera función
consola
Abre la página Información general de Cloud Run Functions:
Selecciona el proyecto en el que has habilitado las funciones de Cloud Run.
Haz clic en Crear función.
En el cuadro Nombre de la función, sustituye el nombre predeterminado por
create_DLP_job.En el campo Activador, selecciona Cloud Storage.
En el campo Tipo de evento, selecciona Finalizar o crear.
En el campo Contenedor, haz clic en Examinar, selecciona el contenedor de cuarentena resaltándolo en la lista desplegable y, a continuación, haz clic en Seleccionar.
Haz clic en Guardar.
Haz clic en Siguiente.
En Entorno de ejecución, selecciona Python 3.7.
En Código fuente, marca Editor insertado.
Sustituye el texto del cuadro main.py por el contenido del siguiente archivo
https://github.com/GoogleCloudPlatform/dlp-cloud-functions-tutorials/blob/master/gcs-dlp-classification-python/main.py.Haz los cambios siguientes:
[PROJECT_ID_DLP_JOB & TOPIC]: el ID del proyecto que aloja tu función de Cloud Run y tu tema de Pub/Sub.[YOUR_QUARANTINE_BUCKET]el nombre del segmento al que subirás los archivos que se van a procesar .[YOUR_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que vas a mover los archivos sensibles.[YOUR_NON_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que subirás los archivos que se van a procesar.[PUB/SUB_TOPIC]: el nombre del tema de Pub/Sub que has creado anteriormente.
En el cuadro de texto Punto de entrada, sustituye el texto predeterminado por el siguiente:
create_DLP_job.Sustituye el texto del cuadro de texto requirements.txt por el contenido del siguiente archivo:
https://github.com/GoogleCloudPlatform/dlp-cloud-functions-tutorials/blob/master/gcs-dlp-classification-python/requirements.txt.Haz clic en Desplegar.
Si aparece una marca de verificación verde junto a la función, significa que la implementación se ha realizado correctamente.
gcloud
Abre una sesión de Cloud Shell y clona el repositorio de GitHub que contiene el código y algunos archivos de datos de muestra:
Cambia el directorio por la carpeta en la que se ha clonado el repositorio:
cd ~dlp-cloud-functions-tutorials/gcs-dlp-classification-python/
Haz las siguientes sustituciones en el archivo main.py:
[PROJECT_ID_DLP_JOB & TOPIC]: el ID del proyecto que aloja tu función de Cloud Run y tu tema de Pub/Sub.[YOUR_QUARANTINE_BUCKET]: el nombre del segmento al que subirás los archivos que se van a procesar .[YOUR_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que vas a mover los archivos sensibles.[YOUR_NON_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que subirás los archivos que se van a procesar.[PUB/SUB_TOPIC: el nombre del tema de Pub/Sub que has creado anteriormente.
Despliega la función y sustituye
[YOUR_QUARANTINE_BUCKET]por el nombre de tu segmento:gcloud functions deploy create_DLP_job --runtime python37 \ --trigger-resource [YOUR_QUARANTINE_BUCKET] \ --trigger-event google.storage.object.finalizeValida que la función se haya implementado correctamente:
gcloud functions describe create_DLP_job
Si el despliegue se ha realizado correctamente, el estado será similar al siguiente:
status: READY timeout: 60s
Cuando la función de Cloud se haya implementado correctamente, ve a la siguiente sección para crear la segunda función de Cloud.
Crear la segunda función
consola
Abre la página Información general de Cloud Run Functions:
IR A LA PÁGINA DE INFORMACIÓN GENERAL DE Cloud Run Functions
Selecciona el proyecto en el que has habilitado las funciones de Cloud Run.
Haz clic en Crear función.
En el cuadro Nombre de la función, sustituye el nombre predeterminado por
resolve_DLP.En el campo Activador, selecciona Pub/Sub.
En el campo Seleccionar un tema de Cloud Pub/Sub, busca el tema de Pub/Sub que hayas creado antes.
Haz clic en Guardar.
Haz clic en Siguiente.
En Entorno de ejecución, selecciona Python 3.7.
En Código fuente, selecciona Editor insertado.
En el cuadro de texto Punto de entrada, sustituye el texto predeterminado por
resolve_DLP.Sustituye el texto del cuadro main.py por el contenido del siguiente archivo: https://github.com/GoogleCloudPlatform/dlp-cloud-functions-tutorials/blob/master/gcs-dlp-classification-python/main.py. Haz las siguientes sustituciones
[PROJECT_ID_DLP_JOB & TOPIC]: el ID del proyecto que aloja tu función de Cloud Run y tu tema de Pub/Sub.[YOUR_QUARANTINE_BUCKET]: el nombre del segmento al que subirás los archivos que se van a procesar .[YOUR_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que vas a mover los archivos sensibles.[YOUR_NON_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que subirás los archivos que se van a procesar.[PUB/SUB_TOPIC: el nombre del tema de Pub/Sub que has creado anteriormente.
Haz clic en Desplegar.
Si aparece una marca de verificación verde junto a la función, significa que la implementación se ha realizado correctamente.
gcloud
Abre (o vuelve a abrir) una sesión de Cloud Shell y clona el repositorio de GitHub que contiene el código y algunos archivos de datos de ejemplo:
Cambia el directorio a la carpeta que contiene el código Python:
cd gcs-dlp-classification-python/
Haz las siguientes sustituciones en el archivo
main.py:[PROJECT_ID_DLP_JOB & TOPIC]: el ID del proyecto que aloja tu función de Cloud Run y tu tema de Pub/Sub.[YOUR_QUARANTINE_BUCKET]: el nombre del segmento al que subirás los archivos que se van a procesar.[YOUR_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que vas a mover los archivos sensibles.[YOUR_NON_SENSITIVE_DATA_BUCKET]: el nombre del segmento al que subirás los archivos que se van a procesar.[PUB/SUB_TOPIC: el nombre del tema de Pub/Sub que has creado anteriormente.
Despliega la función y sustituye
[PUB/SUB_TOPIC]por tu tema de Pub/Sub:gcloud functions deploy resolve_DLP --runtime python37 --trigger-topic [PUB/SUB_TOPIC]
Valida que la función se haya implementado correctamente:
gcloud functions describe resolve_DLP
Si el despliegue se ha realizado correctamente, el estado será similar al siguiente:
status: READY timeout: 60s
Cuando la función de Cloud se haya implementado correctamente, ve a la siguiente sección.
Subir archivos de muestra al segmento de cuarentena
El repositorio de GitHub asociado a este artículo incluye archivos de datos de ejemplo. La carpeta contiene algunos archivos con datos sensibles y otros con datos no sensibles. Los datos sensibles se clasifican como datos que contienen uno o varios de los siguientes valores de INFO_TYPES:
US_SOCIAL_SECURITY_NUMBER EMAIL_ADDRESS PERSON_NAME LOCATION PHONE_NUMBER
Los tipos de datos que se usan para clasificar los archivos de muestra se definen en la constante INFO_TYPES del archivo main.py, que inicialmente se establece en 'FIRST_NAME,PHONE_NUMBER,EMAIL_ADDRESS,US_SOCIAL_SECURITY_NUMBER'.
Si aún no has clonado el repositorio, abre Cloud Shell y clona el repositorio de GitHub que contiene el código y algunos archivos de datos de ejemplo:
Cambia a las carpetas de los archivos de datos de muestra:
cd ~/dlp-cloud-functions-tutorials/sample_data/
Copia los archivos de datos de muestra en el segmento de cuarentena con el comando
cp. Sustituye[YOUR_QUARANTINE_BUCKET]por el nombre de tu segmento de cuarentena:gcloud storage cp * gs://[YOUR_QUARANTINE_BUCKET]/
Protección de Datos Sensibles inspecciona y clasifica cada archivo subido al contenedor de cuarentena y lo mueve al contenedor de destino adecuado en función de su clasificación.
En la consola de Cloud Storage, abre la página Navegador de almacenamiento:
Selecciona uno de los segmentos de destino que has creado anteriormente y revisa los archivos subidos. Revisa también los demás segmentos que hayas creado.