关键词：
Apache Spark 是一个快速的、多用途的集群计算系统。在 Java，Scala，Python 和 R 语言以及一个支持常见的图计算的经过优化的引擎中提供了高级 API。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 Spark SQL，用于机器学习的 MLlib，用于图形处理的 GraphX 以及 Spark Streaming。
下载
从该项目官网的 下载页面 获取 Spark，该文档用于 Spark 2.0.2 版本。Spark 使用了用于 HDFS 和 YRAN 的 Hadoop client 的库。为了适用于主流的 Hadoop 版本可以下载先前的 package。用户还可以下载 “Hadoop free” binary 并且可以 通过增加 Spark 的 classpath 来与任何的 Hadoop 版本一起运行 Spark。
如果您希望从源码中构建 Spark，请访问 构建 Spark。
Spark 既可以在 Windows 上运行又可以在类似 UNIX 的系统（例如，Linux，Mac OS）上运行。它很容易在一台机器上本地运行 - 您只需要在您的系统 PATH 上安装 Java，或者将 JAVA_HOME 环境变量指向一个 Java 安装目录。
Spark 可运行在 Java 7+，Python 2.6+/3.4 和 R 3.1+ 的环境上。 针对 Scala API，Spark 2.0.1 使用了 Scala 2.11。 您将需要去使用一个可兼容的 Scala 版本（2.11.x）。
运行示例和 Shell
Spark 自带了几个示例程序。 Scala，Java，Python 和 R 的示例在 examples/src/main 目录中。在最顶层的 Spark 目录中使用 bin/run-example
|
|
您也可以通过一个改进版的 Scala shell 来运行交互式的 Spark。这是一个来学习该框架比较好的方式。
|
|
这个 –master 选项可以指定为 分布式集群中的 master URL，或者指定为 local 以使用 1 个线程在本地运行，或者指定为 local[N] 以使用 N 个线程在本地运行 。您应该指定为 local 来启动以便测试。该选项的完整列表，请使用 –help 选项来运行 Spark shell。
Spark 同样支持 Python API。在 Python interpreter（解释器）中运行交互式的 Spark，请使用 bin/pyspark :
|
|
Python 中也提供了应用示例。例如，
|
|
从 1.4 开始（仅包含了 DataFrames API）Spark 也提供了一个用于实验性的 R API。为了在 R interpreter（解释器）中运行交互式的 Spark，请执行 bin/sparkR :
|
|
R 中也提供了应用示例。例如，
|
|
在集群上运行
Spark 集群模式概述 说明了在集群上运行的主要的概念。Spark 既可以独立运行，也可以在几个已存在的 Cluster Manager（集群管理器）上运行。它当前提供了几种用于部署的选项 :
- Spark Standalone 模式 : 在私有集群上部署 Spark 最简单的方式。
- Spark on Mesos
- Spark on YARN
快速跳转
编程指南 :
- 快速入门 : 简单的介绍 Spark API，从这里开始！~
- Spark 编程指南 : 在所有 Spark 支持的语言（Scala，Java，Pyth 大专栏 Spark 概述on，R）中的详细概述。
- 构建在 Spark 之上的模块 :
- Spark Streaming : 实时数据流处理。
- Spark SQL，Datasets，和 DataFrames : 支持结构化数据和关系查询。
- MLlib : 内置的机器学习库。
- GraphX : 新一代用于图形处理的 Spark API。
API 文档:
部署指南:
- 集群模式概述 : 在集群上运行时概念和组件的概述。
- 提交应用程序 : 打包和部署应用。
- 部署模式 :
- Amazon EC2 : 花费大约 5 分钟的时间让您在 EC2 上启动一个集群的介绍
- Spark Standalone 模式 : 在不依赖第三方 Cluster Manager 的情况下快速的启动一个独立的集群
- Spark on Mesos : 使用 Apache Mesos 来部署一个私有的集群
- Spark on YARN : 在 Hadoop NextGen（YARN）上部署 Spark
其他文件:
- 配置: 通过它的配置系统定制 Spark
- 监控 : 监控应用程序的运行情况
- 优化指南 : 性能优化和内存调优的最佳实践
- 作业调度 : 资源调度和任务调度
- 安全性 : Spark 安全性支持
- 硬件配置 : 集群硬件挑选的建议
- 与其他存储系统的集成 :
- 构建 Spark : 使用 Maven 来构建 Spark
- Contributing to Spark
- Third Party Projects : 其它第三方 Spark 项目的支持
外部资源:
- Spark 主页
- Spark Wiki
- Spark 社区 资源，包括当地的聚会
- StackOverflow tag apache-spark
- 邮件列表 : 在这里询问关于 Spark 的问题
- AMP 营地 在加州大学伯克利分校: 一系列的训练营, 特色和讨论 练习对 Spark，Spark Steaming，Mesos 以及更多。可以免费通过 视频 , 幻灯片 和 练习 学习。
- 代码示例 : 更多示例可以在 Spark 的子文件夹中（Scala , Java , Python , R ）获得。
spark教程-spark概述及相关组件(代码片段)
1.概述Spark起源于加州大学伯克利分校RAD实验室,起初旨在解决MapReduce在迭代计算和交互计算中的效率低下问题.目前Spark已经发展成集离线计算,交互式计算,流计算,图计算,机器学习等模块于一体的通用大数据解决方案.2.Spark组件Spar... 查看详情
：sparksql概述(代码片段)
...#xff01; 往期内容：Spark基础入门-第一章：Spark框架概述Spark基础入门-第二章：Spark环境搭建-LocalSpark基础入门-第三章：Spark环境搭建-StandA 查看详情
note_spark_day01：spark框架概述和spark快速入门(代码片段)
stypora-copy-images-to:imgtypora-root-url:./SparkDay01：Spark基础环境预习视频： https://www.bilibili.com/video/BV1uT4y1F7ap Spark：基于Scala语言Flink：基于Java语言01-[了解]-Spark课程安排总的来说分为Spark基 查看详情
[机器学习spark]spark机器学习库mllib的概述与数据类型(代码片段)
...足📑📑本期更新内容：Spark机器学习库MLlib的概述与数据类型📑📑下篇文章预告：SparkMLlib基本统计💨💨简介：分享的是一个当代疫情在校封校的大学生学 查看详情
spark的介绍：前世今生(代码片段)
...世今生标签（空格分隔）：Spark的部分一：大数据的spark概述二：大数据的spark学习一：大数据的概述1.1Spark是什么？Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎... 查看详情
spark概述(代码片段)
ApacheSpark是一个快速的、多用途的集群计算系统。在Java，Scala，Python和R语言以及一个支持常见的图计算的经过优化的引擎中提供了高级API。它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的SparkSQL，用于机器学习的M... 查看详情
sparksql教程翻译datasetsanddataframes概述(代码片段)
文章目录SparkSQL,DataFramesandDatasetsGuide概述SQLDatasetsandDataFramesSparkSQL,DataFramesandDatasetsGuide原文地址https://spark.apache.org/docs/2.3.3/sql-programming-guide.html#spark-sql-dataframes-and-datasets 查看详情
3pyspark学习---sparkcontext概述(代码片段)
1TutorialSpark本身是由scala语言编写，为了支持py对spark的支持呢就出现了pyspark。它依然可以通过导入Py4j进行RDDS等操作。2sparkContext(1)sparkContext是spark运用的入口点，当我们运行spark的时候，驱动启动同时上下文也开始初始化。(2)spark... 查看详情
spark基础入门(代码片段)
第1章Spark概述1.1什么是Spark 官网：http://spark.apache.org Spark的产生背景 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为... 查看详情
初识spark(代码片段)
一.spark概述1.是什么:?ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。2012年,它是由加州伯克利大学AMP实验室开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Jo... 查看详情
04spark(代码片段)
04、SparkStandalone集群搭建4.1集群概述独立模式是Spark集群模式之一，需要在多台节点上安装spark软件包，并分别启动master节点和worker节点。master节点是管理节点，负责和各worker节点通信，完成worker的注册与注销。worker节点是任务执... 查看详情
转-spark编程指南(代码片段)
Spark编程指南概述Spark依赖初始化Spark使用Shell弹性分布式数据集(RDDs)并行集合外部Datasets（数据集）RDD操作基础传递Functions（函数）给Spark理解闭包示例Local（本地）vs.cluster（集群）模式打印RDD的elements与Key-ValuePairs一起使用Transfor... 查看详情
学习笔记--spark(代码片段)
参考来源：http://www.yiibai.com/spark/概述ApacheSpark是一个集群计算设计的快速计算。它是建立在HadoopMapReduce之上，它扩展了MapReduce模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。Spark的主要特征是其内存集群计算... 查看详情
spark学习之路（十六）sparkcore的源码解读spark-submit提交脚本(代码片段)
讨论QQ：1586558083目录一、概述二、源码解读2.2 find-spark-home2.3 spark-class2.4 SparkSubmit 正文回到顶部一、概述上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit... 查看详情
cdh5.12.0如何升级到spark2.0版本(代码片段)
...签（空格分隔）：大数据平台构建一：CDH5.12.0的spark2.0的概述：二：如何在CDH5.12.0上面升级spark2.0三：在cdh5.12.0CM上面进行配置spark2.0的parcel包的分发一：CDH5.12.0的spark2.0的概述：在CDH5.12.0集群中，默认安装的spark是1.6版本，这里需... 查看详情
spark2.4.7源码解读rdd依赖关系(代码片段)
目录（1）概述（2）窄依赖（2.1）一对一依赖（2.2）范围依赖（3）宽依赖（1）概述Spark中RDD的高效与DAG（有向无环图）有很大的关系，在DAG调度中需要对计算的过程划分Sta... 查看详情
zeppelin调试spark程序(代码片段)
目录1什么是Zeppelin2Zeppelin配置spark3Zeppein运行spark程序3.1创建sparknotebook3.2使用SparkSQL查看有多少数据库:3.3使用SparkCore执行wordcount1什么是Zeppelin详细安装入门概述：https://blog.csdn.net/ZGL_cyy/article/details/119342340a.Apa 查看详情
大数据技术之_19_spark学习_05_sparkgraphx应用解析+sparkgraphx概述解析+计算模式+pregelapi+图算法参考代码+pagerank((代码片段)
第1章SparkGraphX概述1.1什么是SparkGraphX1.2弹性分布式属性图1.3运行图计算程序第2章SparkGraphX解析2.1存储模式2.1.1图存储模式2.1.2GraphX存储模式2.2vertices、edges以及triplets2.2.1vertices2.2.2edges2.2.3triplets2.3图的构建2.3.1构建图的方法2.3.2构建... 查看详情