Generale
Che cos'è Managed Service per Apache Spark?
Managed Service per Apache Spark è un servizio veloce, facile da usare, a basso costo e completamente gestito che ti consente di eseguire l'ecosistema Apache Spark e Apache Hadoop su Google Cloud Platform. Managed Service per Apache Spark esegue il provisioning rapido di cluster di grandi o piccole dimensioni, supporta molti tipi di job comuni ed è integrato con altri servizi Google Cloud Platform, come Cloud Storage e Cloud Logging, contribuendo così a ridurre il TCO.
In che modo Managed Service per Apache Spark è diverso dai cluster Hadoop tradizionali?
Managed Service per Apache Spark è un servizio Spark/Hadoop gestito progettato per rendere Spark e Hadoop facili, veloci e potenti. In un deployment Hadoop tradizionale, anche se basato sul cloud, devi installare, configurare, amministrare e orchestrare il lavoro sul cluster. Al contrario, Managed Service per Apache Spark gestisce la creazione, la gestione, il monitoraggio e l'orchestrazione dei job per te.
Come posso utilizzare Managed Service per Apache Spark?
Esistono diversi modi per utilizzare un cluster Managed Service per Apache Spark, a seconda delle tue esigenze e capacità. Puoi utilizzare l'interfaccia basata su browser Google Cloud console per interagire con Managed Service per Apache Spark. In alternativa, poiché Managed Service per Apache Spark è integrato con la Google Cloud CLI, puoi utilizzare la Google Cloud CLI. Per l'accesso programmatico ai cluster, utilizza l'API REST Managed Service per Apache Spark. Puoi anche stabilire connessioni SSH ai nodi master o worker del cluster.
Come funziona Managed Service per Apache Spark?
Managed Service per Apache Spark è un framework gestito che viene eseguito su Google Cloud Platform e collega diversi strumenti comuni per l'elaborazione dei dati, tra cui Apache Hadoop, Spark, Hive e Pig. Managed Service per Apache Spark dispone di un insieme di meccanismi di controllo e integrazione che coordinano il ciclo di vita, la gestione e il coordinamento dei cluster. Managed Service per Apache Spark è integrato con il gestore di applicazioni YARN per semplificare la gestione e l'utilizzo dei cluster.
Che tipo di job posso eseguire?
Managed Service per Apache Spark fornisce supporto end-to-end e out-of-the-box per molti dei tipi di job più comuni, tra cui job Spark, Spark SQL, PySpark, MapReduce, Hive e Pig.
Quale gestore di cluster utilizza Managed Service per Apache Spark con Spark?
Managed Service per Apache Spark esegue Spark su YARN.
Con quale frequenza vengono aggiornati i componenti di Managed Service per Apache Spark?
Managed Service per Apache Spark viene aggiornato quando si verificano release principali nei componenti sottostanti (Hadoop, Spark, Hive, Pig). Ogni release principale di Managed Service per Apache Spark supporta versioni specifiche di ogni componente (vedi Versioni di Managed Service per Apache Spark supportate).
Managed Service per Apache Spark è integrato con altri prodotti Google Cloud Platform?
Sì, Managed Service per Apache Spark ha integrazioni native e automatiche con Compute Engine, Cloud Storage, Bigtable, BigQuery, Logging e Cloud Monitoring. Inoltre, Managed Service per Apache Spark è integrato negli strumenti che interagiscono con piattaforma Cloud, tra cui la gcloud CLI e la Google Cloud console.
Posso eseguire un cluster permanente?
Una volta avviati, i cluster Managed Service per Apache Spark continuano a essere eseguiti fino all'arresto. Puoi eseguire un cluster Managed Service per Apache Spark per tutto il tempo necessario.
Gestione dei cluster
Posso eseguire più cluster contemporaneamente?
Sì, puoi eseguire più cluster Managed Service per Apache Spark per progetto contemporaneamente. Per impostazione predefinita, tutti i progetti sono soggetti a quote delle risorse Google Cloud. Puoi controllare facilmente l'utilizzo della quota e richiedere un aumento della quota. Per saperne di più, consulta Quote delle risorse di Managed Service per Apache Spark.
Come posso creare o eliminare un cluster?
Puoi creare ed eliminare cluster in diversi modi. Le sezioni Managed Service per Apache Spark in the Google Cloud console semplificano la gestione dei cluster dal tuo browser. I cluster possono essere gestiti anche tramite la riga di comando tramite il gcloud CLI. Per casi d'uso più complessi o avanzati, puoi utilizzare l'API REST Cloud Managed Service per Apache Spark per gestire i cluster in modo programmatico.
Posso applicare impostazioni personalizzate quando creo un cluster?
Managed Service per Apache Spark supporta le azioni di inizializzazione eseguite quando viene creato un cluster. Queste azioni di inizializzazione possono essere script o eseguibili che Managed Service per Apache Spark eseguirà durante il provisioning del cluster per personalizzare le impostazioni, installare applicazioni o apportare altre modifiche al cluster.
Come faccio a dimensionare un cluster in base alle mie esigenze?
Le decisioni relative al dimensionamento dei cluster sono influenzate da diversi fattori, tra cui il tipo di lavoro da eseguire, i vincoli di costo, i requisiti di velocità e la quota di risorse. Poiché Managed Service per Apache Spark può essere implementato su una varietà di tipi di macchine, hai la flessibilità di scegliere le risorse di cui hai bisogno, quando ne hai bisogno.
Posso ridimensionare il mio cluster?
Sì, puoi ridimensionare facilmente il cluster, anche durante l'elaborazione dei job. Puoi ridimensionare il cluster tramite o tramite la riga di comando. Google Cloud console Il ridimensionamento può aumentare o diminuire il numero di worker in un cluster. I worker aggiunti a un cluster saranno dello stesso tipo e dimensione dei worker esistenti. Il ridimensionamento dei cluster è accettabile e supportato, tranne in casi speciali, ad esempio la riduzione del numero di worker a uno o la riduzione della capacità HDFS al di sotto della quantità necessaria per il completamento del job.
Gestione di job e flussi di lavoro
Come posso inviare job al mio cluster?
Esistono diversi modi per inviare job a un cluster Managed Service per Apache Spark. Il modo più semplice è utilizzare la pagina Invia un job di Managed Service per Apache Spark nella Google Cloud console o il comando gcloud dataproc jobs submit di gcloud CLI. Per l'invio programmatico dei job, consulta il riferimento API Dataproc.
Posso eseguire più job contemporaneamente?
Sì, puoi eseguire più job contemporaneamente su un cluster Managed Service per Apache Spark. Cloud Managed Service per Apache Spark utilizza un gestore di risorse (YARN) e configurazioni specifiche dell'applicazione, come la scalabilità con Spark, per ottimizzare l'utilizzo delle risorse su un cluster. Il rendimento dei job verrà scalato in base alle dimensioni del cluster e al numero di job attivi.
Posso annullare i job sul mio cluster?
Certamente. I job possono essere annullati tramite l' Google Cloud console interfaccia web o la riga di comando. Managed Service per Apache Spark utilizza l'annullamento dell'applicazione YARN per interrompere i job su richiesta.
Posso automatizzare i job sul mio cluster?
I job possono essere automatizzati per essere eseguiti sui cluster tramite diversi meccanismi. Puoi utilizzare la gcloud CLI Google Cloud CLI o le API REST Managed Service per Apache Spark per automatizzare la gestione e il flusso di lavoro di cluster e job.
Sviluppo
Quali linguaggi di sviluppo sono supportati?
Puoi utilizzare i linguaggi supportati dall'ecosistema Spark/Hadoop, tra cui Java, Scala, Python e R.
Managed Service per Apache Spark ha un'API?
Sì, Managed Service per Apache Spark dispone di un insieme di API RESTful che ti consentono di interagire in modo programmatico con cluster e job.
Posso accedere tramite SSH a un cluster?
Sì, puoi accedere tramite SSH a ogni macchina (nodo master o nodo worker) all'interno di un cluster. Puoi accedere tramite SSH da un browser o dalla riga di comando.
Posso accedere alle UI web di Spark/Hadoop?
Sì, le UI di Hadoop e Spark (UI di Spark, Hadoop, YARN) sono accessibili all'interno di un cluster. Anziché aprire le porte per le UI, ti consigliamo di utilizzare un tunnel SSH, che inoltrerà in modo sicuro il traffico dai cluster tramite la connessione SSH.
Posso installare o gestire software sul mio cluster?
Sì, come con un cluster o un server Hadoop, puoi installare e gestire software su un cluster Managed Service per Apache Spark.
Qual è il fattore di replica predefinito?
A causa di considerazioni sulle prestazioni e dell'elevata affidabilità dell'archiviazione collegata ai cluster Managed Service per Apache Spark, il fattore di replica predefinito è impostato su 2.
Quale sistema operativo viene utilizzato per Managed Service per Apache Spark?
Managed Service per Apache Spark è basato su Debian e Ubuntu. Le immagini più recenti sono basate su Debian 10 Buster e Ubuntu 18.04 LTS.
Dove posso trovare informazioni su Hadoop Streaming?
Puoi consultare la documentazione del progetto Apache.
Come faccio a installare il comando gcloud dataproc?
Quando installi gcloud CLI, viene installato lo strumento a riga di comando gcloud
standard, inclusi i comandi gcloud dataproc.
Accesso e disponibilità dei dati
Come posso inserire e recuperare i dati da un cluster?
Managed Service per Apache Spark utilizza Hadoop Distributed File System (HDFS) per l'archiviazione. Inoltre, Managed Service per Apache Spark installa automaticamente il connettore Google Cloud Storage compatibile con HDFS, che consente di utilizzare Cloud Storage in parallelo con HDFS. I dati possono essere spostati all'interno e all'esterno di un cluster tramite caricamento/download in HDFS o Cloud Storage.
Posso utilizzare Cloud Storage con Dataproc?
Sì, i cluster Managed Service per Apache Spark installano automaticamente il connettore Cloud Storage. La scelta di Cloud Storage rispetto a HDFS tradizionale offre una serie di vantaggi, tra cui la persistenza, l'affidabilità e il rendimento dei dati.
Posso ricevere assistenza per il connettore Cloud Storage?
Sì, quando viene utilizzato con Managed Service per Apache Spark, il connettore Cloud Storage
è supportato allo stesso livello di Managed Service per Apache Spark (vedi
Richiedere assistenza). Tutti gli utenti del connettore
possono utilizzare il tag google-cloud-dataproc su
Stack Overflow
per domande e risposte sul connettore.
Qual è la dimensione ideale dei file per i set di dati su HDFS e Cloud Storage?
Per migliorare il rendimento, archivia i dati in file di dimensioni maggiori, ad esempio file di dimensioni comprese tra 256 MB e 512 MB.
Quanto è affidabile Managed Service per Apache Spark?
Poiché Managed Service per Apache Spark è basato su tecnologie Google Cloud Platform affidabili e collaudate, tra cui Compute Engine, Cloud Storage e Monitoring, è progettato per garantire alta disponibilità e affidabilità. In qualità di prodotto in disponibilità generale, puoi consultare lo SLA di Managed Service per Apache Spark.
Che cosa succede ai miei dati quando un cluster viene arrestato?
Tutti i dati in Cloud Storage vengono mantenuti dopo l'arresto del cluster. Questo è uno dei motivi per cui scegliere Cloud Storage anziché HDFS, poiché i dati HDFS vengono rimossi quando un cluster viene spento (a meno che non vengano trasferiti in una località permanente prima dello spegnimento).
Logging, monitoraggio e debug
Che tipo di logging e monitoraggio è disponibile?
Per impostazione predefinita, i cluster Managed Service per Apache Spark sono integrati con Monitoring e Logging. Monitoring e Logging semplificano l'ottenimento di informazioni dettagliate sull'integrità, il rendimento e lo stato dei cluster Managed Service per Apache Spark. I log di sistema e delle applicazioni (YARN, Spark e così via) vengono inoltrati a Logging.
Come posso visualizzare i log di Managed Service per Apache Spark?
Puoi visualizzare i log di Managed Service per Apache Spark in diversi modi. Puoi visitare Logging per visualizzare i log aggregati dei cluster in un browser web. Inoltre, puoi utilizzare la riga di comando (SSH) per visualizzare manualmente i log o monitorare gli output delle applicazioni. Infine, i dettagli sono disponibili anche tramite le UI web delle applicazioni Hadoop, come l'interfaccia web YARN.
Come si possono monitorare i cluster?
I cluster possono essere monitorati facilmente tramite Monitoring o la sezione Cloud Managed Service per Apache Spark di Google Cloud console. Puoi anche monitorare i cluster tramite l'accesso alla riga di comando (SSH) o le interfacce web delle applicazioni (Spark, YARN e così via).
Sicurezza e accesso
In che modo vengono protetti i miei dati?
Google Cloud Platform utilizza un modello di sicurezza avanzato, che si applica anche a Cloud Managed Service per Apache Spark. Managed Service per Apache Spark fornisce meccanismi di autenticazione, autorizzazione e crittografia, come SSL, per proteggere i dati. I dati possono essere criptati dall'utente in transito verso e da un cluster, al momento della creazione del cluster o dell'invio del job.
Come posso controllare l'accesso al mio cluster Managed Service per Apache Spark?
Google Cloud Platform offre meccanismi di autenticazione che possono essere utilizzati con Managed Service per Apache Spark. L'accesso ai cluster e ai job Managed Service per Apache Spark può essere concesso agli utenti a livello di progetto.
Fatturazione
Come viene fatturato Managed Service per Apache Spark?
Managed Service per Apache Spark viene fatturato al secondo e si basa sulle dimensioni di un cluster e sulla durata di operatività del cluster. Nel calcolo del componente del costo del cluster, Managed Service per Apache Spark addebita una tariffa fissa in base al numero di CPU virtuali (vCPU) in un cluster. Questa tariffa fissa è la stessa indipendentemente dal tipo di macchina o dalle dimensioni delle risorse Compute Engine utilizzate.
Mi vengono addebitati i costi per altre risorse Google Cloud?
Sì, l'esecuzione di un cluster Managed Service per Apache Spark comporta addebiti per altre risorse Google Cloud utilizzate nel cluster, come Compute Engine e Cloud Storage. Ogni articolo è indicato separatamente nella fattura, in modo che tu possa sapere esattamente come vengono calcolati e allocati i costi.
Esiste un periodo di tempo minimo o massimo per la fatturazione?
Gli addebiti di Google Cloud vengono calcolati al secondo, non all'ora. Al momento, Compute Engine ha un incremento di fatturazione minimo di 1 minuto. Di conseguenza, anche Managed Service per Apache Spark ha un incremento di fatturazione minimo di 1 minuto.
Disponibilità
Chi può creare un cluster Managed Service per Apache Spark?
Managed Service per Apache Spark è in disponibilità generale, il che significa che tutti i clienti di Google Cloud Platform possono utilizzarlo.
In quali regioni è disponibile Managed Service per Apache Spark?
Managed Service per Apache Spark è disponibile in tutte le regioni e zone della piattaforma Google Cloud.