Friday, September 11, 2015

Performance test on Single Spark + HDFS + Sqoop VS MySQL

Mac OS X Version 10.9.4,   Processor 2.6G Intel Core i5,   Memory 16G 1600MHz DDR3

* using group+count in mysql and spark: 
select id, count(1) as cnt from contact_alerts group by id;

rows    size(M)   create(php)   import(sqoop)   spark(s) mysql(s)
100k     13               15s                             NA                6            0.003
1m        104             222s                           26s                15               5
10m      1016           31m                          1m28s             ?                 39

No comments:

Post a Comment