Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建

  • 时间:
  • 浏览:1
  • 来源:神彩排列三_彩神排列三官方

使用命令:vim hadoop-env.sh 将环境变量信息修改如下,在export JAVA_HOME修改为:

(2)vim /etc/sysconfig/network命令修改centos_slave02虚拟机主机名

/etc/sysconfig/network修改后的内容如下:

在文件末尾换成如下内容:

(3)修改centos_salve03虚拟机主机IP地址:

利用vim core-site.xml命令,文件内容如下:

将共享目录中的jdk安装包qq克隆好友 到/sparkLearning目录

修改zookeeper_data中的myid信息:

下载后将所有软件都放置在E盘的share目录下:

设置环境变量:

打开浏览器,输入http://slave01.example.com:20088/,都不能得到hadoop集群管理界面:

使用以下命令生成相应的密钥(三台机器进行相同的操作)

如下图:

(2)修改centos_salve02主机名与IP地址映射

Ubuntu 10.04操作系统下载地址:

在spark-env.sh文件中换成如下内容:

Spark官方要求的JDK、Scala版本

CentOS 6.5下载地址:

在linux系统中,采用

不能便完成配置,下面对集群进行测试:

创建ZooKeeper集群数据保存目录

#### (2) 无密码登录实现

设置后的内容:

本实验要求装三台:CentOS 6.5,都不能分别安装,也都不能安装完一台后qqqq克隆好友 两台,具体过程略。初学者,建议三台分别安装。安装后如下图所示:

slaves文件内容如下:

将/etc/profile文件末尾内容修改如下:

完成后将公钥拷贝到要免登陆的机器上(三台可进行相同操作):



(2)修改centos_salve02虚拟机主机IP地址:

/etc/sysconfig/network-scripts/ifcfg-eth0文件内容解析:

测试外网的连通性(我在装的很久,8.8.8.8,由于被禁用….心中一万头cnm):

集群搭建相关软件下载地址:

/etc/sysconfig/network修改后的内容如下:

浏览器中输入slave01.example.com:8888



否则在启动过程中总是出现 了错误,查看日志文件

设置内容如下:

修改后内容如下:

登录slave02.example.com服务器,执行下列命令

具体如下图:

(1)修改centos_salve01主机名与IP地址映射

前面所有的配置完成后,重启centos_salve01、centos_salve02、centos_salve03使主机名设置生效,否则分别在三台机器上作如下测试命令:

下面只给出在centos_salve01虚拟机上的测试

修改dataDir为:

(3)修改centos_salve03主机名与IP地址映射

修改后内容如下:

/etc/profile文件也进行覆盖

作者:周志湖

网名:摇摆少年梦

微信号:zhouzhihubeyond

如下图:

进入/spark-1.5.0-bin-hadoop2.4/bin目录,启动./spark-shell,如下图所示:

在文件最后换成:

设置share文件夹为虚拟机的共享目录,如下图所示:

测试Scala不是安装成功

(3)vim /etc/sysconfig/network命令修改centos_slave03虚拟机主机名

/etc/sysconfig/network修改后的内容如下:

执行过程总是回车即可

生成的文件分别为/root/.ssh/id_rsa(私钥)、/root/.ssh/id_rsa.pub(公钥)

安装好的虚拟机一般默认使用的是NAT(关于NAT、桥接等虚拟机网络连接土措施参见买车人博客:http://blog.csdn.net/lovehuangjiaju/article/details/48183485),由于三台机器之间需用互通之外,还需用与本机连通,否则采用将网络连接土措施设置为Bridged(三台机器相同的设置),如下图所法:

vim mapred-site.xml修改文件内容如下:

设置完成后,使用

将slave01.example.com(centos_slave01)上的sparkLearning目录拷贝到另外两台服务器上:

执行REDME.md文件的wordcount操作:

#### (1) OpenSSH安装

由于亲戚亲戚你们在配置时,ping 8.8.8.8不能ping通,则主机不能正常上网;由于不能上网,则将网络连接土措施重新设置为NAT,并修改网络配置文件为dhcp土措施。在保证网络连通的请况下执行下列命令:

在亲戚亲戚你们在配置时,修改/etc/sysconfig/network-scripts/ifcfg-eth0文件对应的BOOTPROT=static、IPADDR、NETMASK、GATEWAY及DNS1信息即可

由于买车人机器上装了Ambari Server,占用了200200端口,而Spark Master默认端是200200,否则将sbin/start-master.sh中的SPARK_MASTER_WEBUI_PORT修改为8888

修改后内容如下:

至此Hadoop集群配置成功

如图所示:

设置内容如下:

注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,买车人发现Hadoop 2.4.1集群都不能顺利搭建,但在Spark 1.5.0集群启动时总是出现 了疑问图片(由于由于是64位操作系统由于,源码需用重新编译,但买车人没经过测试),经买车人测试在ubuntu 10.04 操作系统都不还后能 顺利成功搭建。亲戚亲戚你们都不能利用CentOS 6.5进行尝试,由于有疑问图片,再利用ubuntu 10.04搭建,所有步骤基本一致

如下图:

采用下列命上传spark-1.5.0-bin-hadoop2.4目录下的README.md文件到相应的根目录。

测试配置不是成功:

使用命令:vim /etc/profile 将环境变量信息修改如下:

命令重新启动网络,配置即可生效。

在根目录下创建sparkLearning目前,后续所有相关软件都放置在该目录下,代码如下:

没找到具体由于,在ubuntu 10.04服务器上进行相同的配置,集群搭建却成功了(心中一万头…..),运行界面如下:

命令都不能切换到该目录下,如下图

vim hdfs-site.xml内容如下:

设置内容如下:

输入http://slave01.example.com:200070 都不能得到HDFS管理界面

将/etc/profile内容修改如下:

(1)修改centos_salve01虚拟机主机IP地址:

采用下列命令设置各主机DNS(三台机器进行相同的设置)

(1)修改centos_salve01虚拟机主机名:

至此,Spark 1.5集群搭建成功。

执行结果如下图:

日志内容中包括下列错误:

8.8.8.8为Google提供的DNS服务器