怎样在linux系统上搭建Hadoop集群？

2024-12-25 19:12:02

推荐回答（3个）

回答1：

（1）下载jdk，在官网下载，下载rpm的包
（2）hadoop包的下载，官网上下载
　　　download hadoop->release->mirror site(镜像站)->随便选择离自己近的（HTTP下的第一个）->选择2.7.2->下载.tar.gz
（3）将两个包远程传输到linux虚拟机中
（4）将主机名和ip地址进行适配，让我们的ip地址和主机名（如bigdata）相匹配：写到/etc/hosts里面
　　　vi /etc/hosts
　　　按“i”进入插入状态　　　将原有的地址注释掉
　　　在新的一行输入：ip地址主机名（如172.17.171.42 bigdata）（注：可以双击xshell的窗口再打开一个连接窗口，可以在新的窗口查询ip地址并进行复制）
　　　按“Esc”退出插入状态
　　　输入：wq保存退出
　　　修改完之后可以输入hostname回车，查看是否成功
　　　reboot：重启，使得刚刚的修改生效
（5）将包放到opt下：cp hadoop-2.7.2.tar.gz /opt/
　　　　　　　　　　　cp jdk-8u111-linux-x64.rpm /opt/
　　　进入opt：cd /opt/
　　　查看opt下的文件：ll
（6）安装jdk，配置jdk的环境变量
　　　安装命令：rpm -ivh jdk-Bu101-linux-x64.rpm
　　　配置环境变量：进入profile进行编辑：vi /etc/profile
　　　　　　　　　并按照上面的方式在最后写入并保存：JAVA_HOME=/usr/java/default/（/usr/java/default/是jdk的安装目录）
　　　打印JAVA_HOME检验是否配置好：echo $JAVA_HOME结果发现打印出来的没有内容因为我们对/etc/profile的修改需要通过以下命令对它生效source /etc/profile。再次输入echo $JAVA_HOME，打印结果为/usr/java/default/
（7）验证jdk安装好：java -version
（8）配置SSH（免密码登录）
　　　回到根目录：cd 　　　安装SSH秘钥：ssh-keygen -t rsa会自动在/root/.shh/目录下生成
　　　查看目录：ll .ssh/有两个新生成的文件id_rsa(私钥)，id_rsa.pub(公钥)
　　　进入.ssh/:cd .ssh/
　　　将公钥写入authorized_key中：cat id_rsa.pub >> authorized_keys
　　　修改authorized_keys文件的权限：chmod 644 authorized_keys
　　　修改完后退出.ssh的目录cd进入初始目录输入：ssh bigdata（bigdata为你要远程登录的主机名或者ip地址）第一次登录需要确认是否需要继续登录输入yes继续登录
　　　退出exit
（9）安装及配置hadoop
　　　解压:tar zxf hadoop-2.7.2.tar.gz
　　　查看/opt目录下是否已经存在解压的文件：ll（结果为出现hadoop-2.7.2）
　　　继续查看hadoop-2.7.2里的内容：cd hadoop-2.7.2
　　　配置HADOOP_HOME:修改/etc/profile
　　　进入hadoop的配置文件目录cd /opt/hadoop-2.7.2/etc/hadoop/，会用的的配置文件如下：
　　　core-site.xml
　　　配置hadoop的文件系统即HDFS的端口是什么。
　　　配置项1为default.name，值为hdfs://bigdata:9000（主机名：bigdata也可也写成ip地址，端口9000习惯用）
　　　配置项2为hadoop临时文件，其实就是配置一个目录，配置完后要去创建这个目录，否则会存在问题。
　　　配置项3分布式文件系统的垃圾箱，值为4320表示3分钟回去清理一次

fs.default.name
hdfs://bigdata:9000

hadoop.tmp.dir
/opt/hadoop-2.7.2/current/tmp

fs.trash.interval
4320

　　　hdfs-site.xml
　　　配置项1，namenode的细节实际上就是一个目录
　　　配置项2，datanode的细节，真实环境中datanode的内容不需要再namenode的系统下配置，在此配置的原因是我们的系统是伪分布式系统，namenode和datanode在一台机器上
　　　配置项3，副本的数量，在hdfs中每个块有几个副本
　　　配置项4，HDFS是否启用web
　　　配置项5，HDFS的用户组
　　　配置项6，HDFS的权限，现在配置为不开启权限

dfs.namenode.name.dir
/opt/hadoop-2.7.2/current/dfs/name

dfs.datanode.data.dir
/opt/hadoop-2.7.2/current/data

dfs.replication
1

dfs.webhdfs.enabled
true

dfs.permissions.superusergroup
staff

dfs.permissions.enabled
false

　　　创建配置文件中不存在的目录：mkdir -p /opt/hadoop-2.7.2/current/data
　　　　　　　　　　　　　　　　　mkdir -p /opt/hadoop-2.7.2/current/dfs/name
　　　　　　　　　　　　　　　　　mkdir -p /opt/hadoop-2.7.2/current/tmp
　　　yarn-site.xml
　　　配置项1，resourcemanager的hostname，值为你运行的那台机器的主机名或IP地址
　　　配置项2，nodemanager相关的东西
　　　配置项3，nodemanager相关的东西
　　　配置项4，resourcemanager的端口，主机名+端口号（IP+端口）
　　　配置项5，resourcemanager调度器的端口
　　　配置项6，resourcemanager.resource-tracker,端口
　　　配置项7，端口
　　　配置项8，端口
　　　配置项9，日志是否启动
　　　配置项10，日志保留的时间长短（以秒为单位）
　　　配置项11，日志检查的时间
　　　配置项12，目录
　　　配置项13，目录的前缀

yarn.resourcemanager.hostname
bigdata

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address
bigdata:18040

yarn.resourcemanager.scheduler.address
bigdata:18030

yarn.resourcemanager.resource-tracker.address
bigdata:18025

yarn.resourcemanager.admin.address
bigdata:18141

yarn.resourcemanager.webapp.address
bigdata:18088

yarn.log-aggregation-enable
true

yarn.log-aggregation.retain-seconds
86400

yarn.log-aggregation.retain-check-interval-seconds
86400

yarn.nodemanager.remote-app-log-dir
/tmp/logs

yarn.nodemanager.remote-app-log-dir-suffix
logs

　　　mapred-site.xml
　　　没有mapred-site.xml，输入vi mapred-按“TAB”发现有mapred-site.xml.template，对该文件进行复制
　　　cp mapred-site.xml.template mapred-site.xml　　　　　配置项1，mapreduce的框架
　　　配置项2，mapreduce的通信端口
　　　配置项3，mapreduce的作业历史记录端口
　　　配置项4，mapreduce的作业历史记录端口
　　　配置项5，mapreduce的作业历史记录已完成的日志目录，在hdfs上
　　　配置项6，mapreduce中间完成情况日志目录
　　　配置项7，mapreduce的ubertask是否开启

mapreduce.framework.name
yarn

mapreduce.jobtracker.http.address
bigdata:50030

mapreduce.jobhisotry.address
bigdata:10020

mapreduce.jobhistory.webapp.address
bigdata:19888

mapreduce.jobhistory.done-dir
/jobhistory/done

mapreduce.intermediate-done-dir
/jobhisotry/done_intermediate

mapreduce.job.ubertask.enable
true

　　　slaves

bigdata
　　　hadoop-env.sh

JAVA_HOME＝/usr/java/default/
　　　格式化分布式文件系统（hdfs）：hdfs namenode -format
　　　成功的标志： INFO common.Storage: Storage directory /opt/hadoop-2.7.2/current/dfs/namehas been successfully formatted.
　　　启动Hadoop集群：/opt/hadoop-2.7.2/sbin/start-all.sh
　　　验证Hadoop集群是否正常启动：
　　　jps，系统中运行的java进程;
　　　通过端口查看（关闭防火墙或者service iptables stop在防火墙的规则中开放这些端口）：
　　　http://bigdata:50070(http://http://192.168.42.209/:50070)，分布式文件系统hdfs的情况
　　　yarn http://bigdata:18088(http://http://192.168.42.209/:50070)

回答2：

A、基础环境 1.jdk安装与配置 2.host 3.ssh 4.文件目录 B、 Hadoop安装与配置 1.下载hadoop软件 2.环境变量 3.hadoop配置 C、运行Hadoop 1.运行hdfs 2.运行yarn D、测试hadoop ，这是搭建集群的大题路径，详细的可以去看一下八斗学院的视频，第一部分是讲集群搭建的很详细

回答3：

网页链接