全国大学生大数据技能竞赛（Spark on Yarn安装）

我真的不怎样

系列文章

天下年夜门生年夜数据妙技比赛（Hadoop散群拆建）
天下年夜门生年夜数据妙技比赛（数仓布置）

文章目次

• 系列文章
  
• 媒介
  
• 材料链接
  
• 
  
  
  
  • Spark on Yarn装置
    
  • 
    
    
    
    • 3.1装置Scala
      
    • 3.2装置Spark
      
      
    
  
  

媒介

本篇专客按照往年天下年夜门生年夜数据妙技比赛材料拆建，每个步伐皆有响应的施行的截图。以下专客仅做为小我私家拆建历程的记载~若有不够的地方欢送指出，配合进修前进。附上材料链接。
材料链接

青椒教室（白亚）网站链接：
https://www.qingjiaoclass.com/login
一切情况东西百度网盘链接：
https://pan.百度.com/s/1oOW7WqHK4fiqv4Xja5f7gQ
提与码:vvi7
Spark on Yarn装置

3.1装置Scala

1.把Scala的jar包上传到master的目次下，创立事情途径并解压Scala到事情途径下

1. mkdir -p /usr/scala/
2. tar -zxvf scala-2.11.12.tgz -C /usr/scala/

复造代码

等候施行终了

2.设置情况变量（三台假造机）

1. vi /etc/profile

复造代码

增加

1. #set scala
2. export SCALA_HOME=/usr/scala/scala-2.11.12
3. export PATH=$SCALA_HOME/bin:$PATH

复造代码

1. source /etc/profile

复造代码

3.查察能否装置胜利

1. scala -version

复造代码

4.复造 scala 到子节面

1. scp -r /usr/scala root@slave1:/usr/
2. scp -r /usr/scala root@slave2:/usr/

复造代码

5.别离切换 slave1 战 slave2 节面，检测 scala 情况能否装置胜利

1. scala -version

复造代码

3.2装置Spark

1.把spark的jar包上传到master的目次下，创立事情途径并解压spark到事情途径下

1. mkdir -p /usr/spark/
2. tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/spark/

复造代码

2.编纂spark-env.sh

1. cd /usr/spark/spark-2.4.0-bin-hadoop2.7/conf
2. cp spark-env.sh.template spark-env.sh
3. vi spark-env.sh

复造代码

增加

1. export SPARK_MASTER_IP=master
2. export SCALA_HOME=/usr/scala/scala-2.11.12
3. export SPARK_WORKER_MEMORY=8g
4. export JAVA_HOME=/usr/java/jdk1.8.0_171
5. export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
6. export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.3/etc/Hadoop

复造代码

3.设置spark从节面，修正slaves文件

1. cp slaves.template slaves
2. vi slaves

复造代码

修正最初一止

1. slave1
2. slave2

复造代码

4.设置情况变量（三台假造机）

1. vi /etc/profile

复造代码

增加

1. export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
2. export PATH=$SPARK_HOME/bin:$PATH

复造代码

然后

1. source /etc/profile

复造代码

5.分收子节面

1. scp -r /usr/spark root@slave1:/usr/
2. scp -r /usr/spark root@slave2:/usr/

复造代码

6.测试运转情况（只正在master节面施行）
开启Hadoop

1. /usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

复造代码

开启spark散群

1. /usr/spark/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh

复造代码

7.三个节面别离输进jps查察过程

1. jps

复造代码

三个节面别离呈现以下标识表记标帜即胜利

8.会见spark web界里
阅读器输进

1. master节面IP：8080

复造代码

呈现以下界里即胜利

9.开启spark-shell

1. spark-shell

复造代码

可输进号令测试

1. println("Hello world")

复造代码

10.输进pyspark测试python情况spark交互形式

1. pyspark

复造代码

输进quit()可退出

结束结束结束~~

免责声明：假如进犯了您的权益，请联络站少，我们会实时删除侵权内乱容，感谢协作！