归档: 2015/9

Spark小试牛刀

随着项目的运营,收集了很多的用户数据。最近业务上想做些社交图谱相关的产品,但因为数据很多、很杂,传统的数据库查询已经满足不了业务的需求。试着用Spark来做,权当练练手了。 安装Spark因为有Scala的开发经验,所以就不用官方提供的二进制包了,自编译scala 2.11版本。 下载Spark:http://ftp.cuhk.edu.hk/pub/packages/apache.org/spar