关键词：
😊😊😊欢迎来到本博客😊😊😊
本篇介绍的是Spark环境的准备🛠🛠🛠
预更新📑：体验第一个Spark程序
目录
一.环境准备
配置环境：Hadoop、spark（本人是2.0.0）、JDK（1.8）、Linux（Centos6.7）
二·.spark的部署方式
spark部署模式分为Local模式和集群模式，在local模式，常用于本地开发与测试，集群模式又分为standalone模式（集群单机模式）、Yarn模式、mesos模式
三.spark集群安装部署
1下载spark安装包.
下载spark安装包 在Apache spark官网下载网址：Downloads | Apache Spark (最新且稳定的版本是3.2.1，本人安装版本为2.0.0)
2.解压spark安装包
步骤1 先 alt+P，再拉spark-2.3.2-bin-hadoop2.7.tgz上传/opt/software目录下
回到master切换hadoop用户
$su Hadoop
$ cd /opt/software
$ls
$ tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /opt/module/
3.修改配置文件
步骤1 使用mv命令将spark-2.3.2-bin-hadoop2.7重名为spark
$cd /opt/module
$ mv spark-2.3.2-bin-hadoop2.7/ spark
步骤2 先进入/opt/module/spark/conf/目录，将spark-env.sh.template复制给spark-env.sh
$ cd /spark/conf
$ ls
$ cp spark-env.sh.template spark-env.sh
$vi spark-env.sh
# Java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_144
# 指定master的 IP
export SPARK_MASTER_HOST=master
# 指定master的 端口
export SPARK_MASTER_PORT=7077
步骤4 复制slaves.template slaves 并重命名slaves
cp slaves.template slaves
步骤5 使用vi slaves命令编辑slaves配置文件，指定从节点IP
$vi slaves
Slave1
Slave2
4.分发文件
$scp -r /opt/module/spark/ slave1:/opt/module/
$ scp -r /opt/module/spark/ slave2:/opt/module/
5 启动spark集群
cd ..(回到spark目录)
步骤2 先使用ssh命令切到slave1、slave2，使用jps查看各节点进程，主节点有master，从节点有worker
步骤3 访问spark管理界面(master) http://192.168.196.101:8080,如图：
看到该状态
虚拟化技术浅析第二弹之初识kubernetes
...低、编程工作量少、开发简单快捷、调试方便、环境容易搭建、容易发布部署及升级，开发运维等总体成本很低、见效快。其缺点也明显：（1）单体应用系统比较膨胀与臃肿，耦合度高，导致 查看详情
lavarel从零开始-第二弹（vue环境）(代码片段)
lavarel作为一个全栈框架，里面内嵌了vue开发环境，打开package.json文件，我们看到dev依赖模块中内嵌vue,axios,lodash等框架和库文件，打开／resource／assets／js／components目录，我们会看到一个名为ExampleComponent.vue的文件，该文件在app.js... 查看详情
intellijidea搭建spark开发环境
...发Spark应用，放着IDE的方便不用。这里介绍使用IntellijIdea搭建Spark的开发环境。1、IntellijIdea的安装由于Spark安装在Ubuntu环境中，这里的Idea也安装在Ubuntu中。首先是下载，到官网下载即可。下 查看详情
intellijidea搭建spark开发环境
...发Spark应用。放着IDE的方便不用。这里介绍使用IntellijIdea搭建Spark的开发环境。1、IntellijIdea的安装因为Spark安装在Ubuntu环境中。这里的Idea也安装在Ubuntu中。首先是下载，到官网下载就可以。 查看详情
mac上搭建spark开发环境
本文将介绍在Macos上搭建Spark开发环境。在安装spark环境之前，需要确保配置相应的java环境，jdk或者jre的版本需要在1.8.0版本以上。(1)首先下载开发IDE，目前比较流行的IDE是IntelliJIDEA,可以在官网下载使用，下载地址：https://www.jetbr... 查看详情
compose跨平台第二弹：体验composeforweb(代码片段)
...sktop中，我们已经了解了Compose-jb以及如何使用Compose-jb开发简单的桌面端应用，第二弹，我们就来了解下如何使用Compose-jb开发Web应用。相信看完这一弹之后你会对Compose-jb有新的了解。环境要求与ComposeForDesktop的环境要... 查看详情
搭建scala开发spark程序环境及实例演示
上一篇博文已经介绍了搭建scala的开发环境，现在进入正题。如何开发我们的第一个spark程序。下载spark安装包，下载地址http://spark.apache.org/downloads.html（因为开发环境需要引用spark的jar包）我下载的是spark-2.1.0-bin-hadoop2.6.tgz，因为... 查看详情
spark开发环境搭建——spark开发学习笔记(代码片段)
...难免有疏漏之处，欢迎各位批评指出。Spark开发环境搭建本文的操作环境和安装的版本操作系统ÿ 查看详情
搭建spark开发环境
实验报告①.spark集群基础查看自己三个节点环境的ip地址:ipaddreMaster:Slave1:Slave2: 切换hadoop用户查看master能否切换另外两台slave然后配置另外两台可以自由切换 配置成刚才... 查看详情
如何基于jupyternotebook搭建spark集群开发环境(代码片段)
摘要：本文介绍如何基于Jupyternotebook搭建Spark集群开发环境。本文分享自华为云社区《基于JupyterNotebook搭建Spark集群开发环境》，作者：apr鹏鹏。一、概念介绍：1、Sparkmagic：它是一个在JupyterNotebook中的通过Livy... 查看详情
搭建spark源码研读和代码调试的开发环境
转载自https://github.com/linbojin/spark-notes/blob/master/ide-setup.md搭建Spark源码研读和代码调试的开发环境TableofContents源码获取与编译从Github上获取Spark源码编译Spark项目源码导入与代码运行导入源码到IntellijIDEA16运行实例代码1.配置运行参... 查看详情
spark-windows（含eclipse配置）下本地开发环境搭建
spark-windows（含eclipse配置）下本地开发环境搭建 >>>>>>注意：这里忽略JDK的安装，JDK要求是1.8及以上版本,请通过java –version查看。一、spark命令行环境搭建Step1：安装Spark到官网http://spark.apache.org/downloads.html... 查看详情
spark编程环境搭建
基于IntellijIDEA搭建Spark开发环境搭基于IntellijIDEA搭建Spark开发环境搭——参考文档●参考文档http://spark.apache.org/docs/latest/programming-guide.html●操作步骤a)创建maven项目b)引入依赖（Spark依赖、打包插件等等）基于IntellijIDEA搭建Spark开发... 查看详情
八window搭建spark+idea开发环境(代码片段)
本文将简单搭建一个spark的开发环境，如下：1）操作系统：windowos2）IDEA开发工具以及scala插件（IDEA和插件版本要对应）： 2-1）IDEA2018.2.1：https://www.jetbrains.com/ 2-2）scala-intellij-bin-2018.2.11.zip：http://plugins.jetbrains.com/plugin/1347... 查看详情
spark编程环境搭建及wordcount实例(代码片段)
基于IntellijIDEA搭建Spark开发环境搭建 基于IntellijIDEA搭建Spark开发环境搭——参考文档 ●参考文档http://spark.apache.org/docs/latest/programming-guide.html ●操作步骤·a)创建maven项目·b)引入依赖（Spark依赖、... 查看详情
玩转sublime3第二弹es6环境
安装node： node作为JS的运行环境必须安装 文件下载：https://nodejs.org/dist/v6.11.4/node-v6.11.4-x64.msi 备注：可以去官网https://nodejs.org/en/获取最新的版本 安装完node之后NPM也会被安装，NPM：node包管理工具安装babel插件 ... 查看详情
spark机器学习速成宝典基础篇01windows下spark开发环境搭建+sbt+idea（scala版）
...，如果你是打算使用scala进行spark开发，则需要安装环境搭建步骤将spark-2.1.1-bin-hadoop 查看详情
idea搭建scala开发环境开发spark应用程序
...件因为idea默认不支持scala开发环境，所以当需要使用idea搭建scala开发环境时，首先需要安装scala插件，具体安装办法如下。1、打开idea，点击configure下拉菜单中的plugins选项：2、在弹出对话框中点击红框按钮：3、在弹出最新对话... 查看详情