Chi è più veloce: Azure o Aws? Chi è più caro: Microsoft o Amazon? E rispetto ad un private cloud come MWMCED? Abbiamo i risultati dei nostri test: Azure vs Aws vs MWMCED Private Cloud.
Oggi prendiamo spunto da un bel articolo di Infoworld “Ultimate cloud speed tests: Amazon vs. Google vs. Windows Azure” (cliccate qui per leggerlo www.infoworld.com/article/2610403/cloud-computing/ultimate-cloud-speed-tests–amazon-vs–google-vs–windows-azure.html) che un paio di anni fa fece un benchmark sulle velocità computazionali di due Public Cloud: Microsoft Azure e Amazon AWS.
Per rendere ancora più avvincente la sfida, inseriremo nel confronto il Cloud di MWMCED, che negli ultimi dieci anni ha fatto delle performance uno dei motivi che lo contraddistinguono maggiormente nelle soluzioni cloud.
Arbitro di questo coinvolgente triangolare è DaCapo Benchmark, suite open source disegnata per facilitare l’analisi di alcuni componenti importanti all’interno delle VM.
Analizzeremo nel dettaglio performance e prezzi* (tenendo in considerazione che MWMCED è l’unica che include nella propria offerta un supporto H24 diretto con i propri consulenti con risposta sotto i 15 minuti) e paragoneremo i risultati con i dati di Infoworld del 26 febbraio 2014 per capire se ci sono stati dei miglioramenti nel tempo.
Per completezza abbiamo inserito nel test anche un nuovo valore: “deviazione”.
Ci siamo accorti, subito dopo aver lanciato un paio di benchmark, che il risultato sullo stesso test a distanza di alcuni minuti poteva portare anche una variazione importante. Quindi abbiamo eseguito gli stessi test per 5 volte riportando tutti i risultati. Per il contest manterremo valida la somma della media dei secondi e valuteremo anche il valore di deviazione calcolato con la formula DEV.ST.C (per gli amanti di Excel equivale a: “Restituire una stima della deviazione standard sulla base di un campione. Ignora i valori logici e il testo nel campione”).
In poche parole più la deviazione è prossima allo 0 e più le performance sono stabili nel tempo.
Pronti? Ecco i round che determineranno il vincitore:
Avrora
AVRORA è un framework composto da strumenti di simulazione e di analisi per microcontrollori AVR. Ogni istanza simulatore elabora gli eventi da una coda utilizzando uno dei thread disponibili.
Esternamente single-threaded, internamente multi-threaded.
thread-model: single.
Batik
Generazione di immagini in formato vettoriale (SVG) utilizzando il toolkit java di Apache Software Foundation. Utilizza thread aggiuntivi per velocizzare il processo di rendering e di transcodifica.
Esternamente single-threaded, internamente multi-threaded.
thread-model: single.
Fop
Conversione in file PDF di un documento XML formattato (XSL-FO).
thread-model: single.
H2
Esegue un benchmark di tipo TPC-C su un Database relazionale (Derby di Apache Foundation).
thread-model: per cpu.
Jython
Esegue il benchmark “pybench” su porzioni di codice python.
thread-model: single.
Luindex
Indicizzazione di un set di documenti testuali utilizzando la libreria Lucene di Apache Software Foundation.
thread-model: single.
Lusearch
Esecuzione di query di ricerca utilizzando la libreria Lucene di Apache Software Foundation.
thread-model: per cpu.
Pmd
Esecuzione dell’analisi di porzioni di codice java in ricerca di errori.
Esternamente single-threaded, internamente multi-threaded.
thread-model: single.
Sunflow
Creazione di immagini partendo da un modello tridimensionale (rendering) utilizzando l’algoritmo “ray tracing”.
thread-model: per cpu.
Tomcat
Esegue le applicazioni di default di Tomcat
thread-model: per cpu.
Tradebeans
Esegue la versione per EJB container (Geronimo) del benchmark “Daytrader” di Apache Software Foundation.
thread-model: per cpu.
Tradesoap
Esegue la versione SOAP del benchmark “Daytrader” di Apache Software Foundation.
thread-model: per cpu.
Xalan
Conversione in formato HTML di documenti XML.
thread-model: per cpu.
Ed ecco i partecipanti con le due categorie:
Categoria Small
- Microsoft Azure A1 – 1 CPU, 1.75 GB di RAM
- Amazon AWS M3.medium – 1 CPU, 3.75GB di RAM
- MWMCED V1 – 1 CPU, 2 GB di RAM
Categoria Medium
- Microsoft Azure A2 – 2 CPU, 3.5 GB di RAM
- Amazon AWS C4.large – 2 CPU, 3.75 GB di RAM
- MWMCED V2 – 2 CPU, 4 GB di RAM
Partiamo con la Categoria Small!
Categoria Small VM:
Microsoft Azure A1 vs MWMCED V1
Azure A1 ha completato tutti i test in 209,49 secondi. MWMCED lo chiude a 73,59 secondi e risulta più performante addirittura del 185%. Oltre alla velocità MWMCED risulta essere anche più economica con un costo inferiore al 46% rispetto alla VM A1 di Azure. La deviazione di Azure è stato di 0.96 mentre il Private Cloud di MWMCED riporta delle performance più costanti con un valore di 0.51.
(Exception sui test Tradebeans e Tradesoap su VM Azure)
Categoria Small VM:
Amazon AWS M3 Medium vs Microsoft Azure A1
Azure completa i benchmark in 209,49 secondi contro AWS che risulta più veloce del 17% e chiude a 178,89 secondi. Anche con il prezzo AWS è decisamente migliore risultando il 14% più economico rispetto al competitor Microsoft.
Più costante Azure con una deviazione di 0.96 rispetto al 1.04 di AWS.
(Exception sui test Tradebeans e Tradesoap su VM Azure)
Categoria Small VM:
Amazon AWS M3 Medium vs MWMCED V1
Partiamo dalla deviazione: MWMCED è meno sensibile alle variazioni con un valore di 0.51 rispetto alla variabile di Amazon Aws (1.04).
MWMCED risulta più veloce del 161% e meno cara del 42% nonostante il supporto incluso nel costo della VM!
Classifica performance categoria Small VM:
1° posto VM MWMCED V1 (Private Cloud)
2° posto VM Amazon AWS M3 Medium (Public Cloud)
3° posto VM Microsoft Azure A1 (Public Cloud)
Passiamo ora alla Categoria Medium!
Categoria Medium VM:
Microsoft Azure A2 vs MWMCED V2
Nei test la VM A2 di Azure ha eseguito tutti i benchmark con una media totale di 148,42 secondi contro il private cloud di MWMCED che si è attestato con una media totale di 64,70 secondi. La deviazione di Azure A2 ha portato un buon rapporto di 0.40 rispetto a quello ottimo di MWMCED con un 0.23.
Il risultato è che la VM di MWMCED è più performante del 129% rispetto ad Azure A2 ed inoltre risulta essere meno costosa del 37%.
Categoria Medium VM:
Amazon AWS C4.large vs MWMCED V2
MWMCED è ancora la VM più performante del 33% rispetto ad AWS anche se in questo caso il costo della VM di AWS è inferiore del 22%. E’ corretto però ricordare che nel costo di MWMCED è incluso il servizio di assistenza mentre AWS ed Azure quotano il supporto a parte.
Le due VM riportano una deviazione molto simile: 0.23 – 0.21
E’ interessante vedere come la deviazione delle VM di Public Cloud come Amazon e Microsoft siano più stabili su VM con un taglio più performante.
Amazon AWS C4.large vs Microsoft Azure A1
Azure anche in questo caso lascia strada ad AWS sia sotto il profilo delle performance che sotto il profilo dei costi.
AWS chiude il test in 86,12 secondi contro i 148,42 secondi di Azure ben sopra del 72% rispetto al competitor. Anche sotto il piano del prezzo AWS risulta più conveniente con un costo inferiore del 51%.
Classifica performance categoria medium VM:
1° Posto VM MWMCED V2 (Private Cloud)
2° Posto VM C4.large AWS (Public Cloud)
3° Posto VM A2 Azure (Public Cloud)
Conclusioni:
Sebbene tutti i benchmark siano favorevoli a MWMCED tenete in considerazione che l’infrastruttura cloud va scelta in base ai servizi che dovranno essere esguiti. Un sito internet senza grosse pretese girerà in maniera impeccabile su qualsiasi VM voi scegliate. Differentemente questo test potrebbe esservi di aiuto se vi serve molta potenza di calcolo e dovrete quindi optare per VM molto più performanti (contattate il team di MWMCED che può aiutarvi con una consulenza gratuita e studiare l’infrastruttura più adeguata al vostro business).
E il vostro cloud, Public o Private, quanto è performante? Ecco il link per scaricare la Suite DaCapo (dacapobench.org). Fateci sapere se conoscete qualche provider “estremamente performante” da inserire nei prossimi test realizzati dal nostro team di ricerca MWMCED.
* = Il prezzo di ogni singolo secondo è stato calcolato per tipologia di VM. Il costo delle VM MWMCED include per tutte le sue installazioni un supporto diretto con i tre consulenti certificati senior che seguono il cliente per tutta la durata del suo private cloud. Per completezza inseriamo i listini pubblicati nel periodo del benchmark (24/03/2016) con relativi costi di supporto.
Microsoft Azure
Prezzo VM A1: Euro 48,00 mese
Prezzo VM A2: Euro 97,00 mese
Prezzo supporto con presa in carico entro 1 ora: Euro 845,00 mese
Amazon AWS
Prezzo VM M3.Medium: Euro 47,00
Prezzo VM C4.Large: Euro 94,00
Prezzo supporto con presa in carico entro 1 ora: da USD 100,00 mese
MWMCED Private Cloud
Prezzo MWMCED V1: Euro 73,00
Prezzo MWMCED V2: Euro 136,00
Prezzo supporto con presa in carico entro 15 min.: Incluso nel prezzo della VM