Spark单节点安装-VirtualBox-Ubuntu-14.04

Spark大型电商项目实战 专栏收录该内容
58 篇文章 84 订阅

实验环境:

Windows版本:Windows 10 家庭版中文版 1607

Virtualbox版本:5.0.22 中文版
Ubuntu版本:ubuntu-14.04.1-server-amd64
Xshell版本:Xshell 5

Spark版本:Spark-1.5.1-bin-hadoop2.6


1.环境准备

1.1 在VirtualBox中安装有Ubuntu-14.04-server版的虚拟机(可以参考:VirtualBox安装Ubuntu-14.04.1-server)。

1.2 装有以下服务:

ssh服务:进行远程连接

$sudo apt-get install openssh-server
vim编辑器:vi的加强版

$sudo apt-get install vim

lrzsz工具:上传和下载程序,rz命令:服务器从宿主机接收(received)文件;sz命令:服务器向宿主机发送(send)文件。

$sudo apt-get install lrzsz

1.3 下载好以下源文件

xshell 5 :xshell官方下载 或 https://yunpan.cn/cMCDTTY5Rb37D  访问密码 d3fe

jdk 1.8版本:jdk官方下载 或https://yunpan.cn/cMCUi49u8rR36  访问密码 903c

scala 2.11.7:scala官方下载 或  https://yunpan.cn/cMCDcHZavNByT  访问密码 87bd

spark-1.5.1-bin-hadoop2.6:  spark官方下载https://yunpan.cn/cMCD27UiZddLU  访问密码 05c7


以下操作均是使用Xshell连接到系统后操作的,均使用root用户。


2.安装配置jdk

创建存放jdk的文件夹,并上传jdk源文件

#mkdir /usr/lib/jdk
#cd /usr/lib/jdk
#rz
在弹出的对话框中选择刚下载好的jdk源文件jdk-8u91-linux-x64.gz

上传成功后查看文件


解压到当前文件夹

#tar -xzvf jdk-8u91-linux-x64.gz

查看解压后的文件,并修改配置文件


在末尾添加如下代码

#set jdk environment
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH  
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH


第二行等号后的为jdk的安装目录路径,如果文件夹不同可以使用pwd命令查看后根据实际情况修改。

生效配置文件

#source /etc/profile
查看java版本,如果有如下输入说明jdk已安装成功


至此,jdk配置完成。


3.安装配置scala
切换到/opt/目录,并上传scala源文件:scala-2.11.7.tgz

#cd /opt/
#rz

查看并解压



查看scala版本


出现以上版本信息说明scala已经安装完成。

4.安装Python及Ipython

#sudo apt-get install python ipython -y

查看版本信息


(spark 2.0及以后版本会去除对ipython的支持)


5.安装Spark

切换到/opt/文件夹并上传spark文件,上传成功后解压到当前文件夹

#cd /opt/
#rz
#ls
#tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz
查看解压后的文件



然后配置日志级别,只显示警告以上信息

#cd /opt/spark-1.5.1-bin-hadoop2.6/conf
#cp log4j.properties.template log4j.properties
#vim log4j.properties

修改log4j.rootCategory为WARN, console,可避免测试中输出太多信息



接着基于模板创建配置文件

#sudo cp spark-env.sh.template spark-env.sh
#vim spark-env.sh

末尾加上如下内容,设置spark的环境变量

export SPARK_HOME=/opt/spark-1.5.1-bin-hadoop2.6
export SCALA_HOME=/opt/scala-2.11.7

等号后的内容分别为spark的安装目录和scala的安装目录,若安装路径不同可根据实际安装路径填写。

至此spark已经安装完成,最后执行测试下是否安装成功。


6.测试启动Spark

6.1 启动shell功能

进入spark的bin目录执行spark-shell

#cd /opt/spark-1.5.1-bin-hadoop2.6/bin/
#./spark-shell


退出使用Ctrl+D键。


进入pyspark

#./pyspark

同样可以使用Ctrl+D键退出。


使用IPython

#IPYTHON=1 ./pyspark

仍可用Ctrl+D键退出,spark 2.0后无ipyhton。

6.2 启动spark

启动主节点

#cd /opt/spark-1.5.1-bin-hadoop2.6/sbin/
#ls
#./start-master.sh


在网页端查看

http://192.168.56.101:8080

192.168.56.101为虚拟机ip地址,需根据自己实际ip地址更改,8080为端口号


启动从节点

#./start-slave.sh apark://spark:7077

spark://spark:7077是根据网页上的显示所定,一定要保持一致

启动从节点后刷新网页,会增加Workers Id

说明spark安装成功。

停止所有spark节点服务可以使用

#./stop-all.sh

至此spark已经安装完成,可以进行后续实验了。


参考文章

Spark 大数据动手实验:http://www.jianshu.com/p/27b6589cee32


  • 1
    点赞
  • 1
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值