Spark练习

介绍

Spark是一个流行的分布式内存计算框架。

通过设置master url，Spark能以如下模式运行：

• 本地模式
  • --master local[*]或者new SparkConf().("local[*]")
• 集群模式
  • standalone mode, spark运行于集群之上，不依赖于yarn和mesos
  • spark on YARN
  • spark on mesos

内容

子目录

• Spark基础
• Spark工具类
• MLLib练习
• GraphX练习
• Spark Streaming练习
• Spark SQL练习
• Spark Hive练习

其它

• Spark Programming Guide笔记

任务

任务	开始日期	结束日期	进度
Spark Programming Guide	-	-	0%

参考资料

• Spark internal - 多样化的运行模式
• spark在哪里指定master URL
• Spark examples
• Spark Programming Guide
• spark八法之方圆:RDD
• pyspark原理简介
• How-to: Use IPython Notebook with Apache Spark