1、新建用户和组
addgroup hadoop
adduser --ingroup hadoop hadoop
注销root以hadoop用户登录
2、配置SSH
ssh-keygen -t rsa(密码为空,路径默认)
cp .ssh/id_rsa.pub .ssh/authorized_keys
3、准备HADOOP运行环境
wget http://archive.apache.org/dist/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
tar -xzvf hadoop-1.1.2.tar.gz
在/home/hadoop/.bashrc 中追加:
export PATH=/home/hadoop/hadoop-1.1.2/bin:$PATH
重新登录就生效
ssh localhost
which hadoop
4、配置HADOOP运行参数
vi conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
vi conf/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/mapreduce/local</value>
</property>
5、格式化名称节点并启动集群
hadoop namenode -format
6、启动集群并查看WEB管理界面
start-all.sh
访问http://localhost:50030可以查看 JobTracker 的运行状态
访问http://localhost:50060可以查看 TaskTracker 的运行状态
访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等
7、停止集群
stop-all.sh停止集群
相关推荐
1.本机虚拟机镜像为ova格式,大小为2.9G,仅限VirtualBox使用,本机无图形界面!请注意! 2.本机为ubuntu16.04服务器版本,无图形...5.使用hadoop集群前,需要根据本地虚拟机的IP地址修改/etc/hosts文件中的host配置。
文档为本人亲自编写,由于能力有限,如发现错误,欢迎批评指正。同时,欢迎有安装过程中有问题的小伙伴们一起交流学习。
对于想学习 Spark 的人而言,如何构建 Spark 集群是其最大的难点之一, 为了解决大家构建 Spark 集群的一切困难,Spark 集群的构建分为了五个步骤,从 零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整...
基于Ubuntu的Hadoop简易集群安装与配置,三台运行于Vmware中的ubuntu14.04系统搭建成简易Hadoop分布式集群,用于之后的大数据学习
单机和集群安装相差不多,先说单机然后补充集群的几点配置。 第一步,先安装工具软件编辑器:vim 代码如下:sudo apt-get install vimssh服务器: openssh,先安装ssh是为了使用远程终端工具(putty或xshell等),这样...
-018.Hadoop在Win7下免Cygwin环境安装伪分布式与第三方增强软件介入.mp4 -019.Hadoop在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用.mp4 -020.Hadoop架构分析之单节点体系.mp4 021.Hadoop架构分析之集群...
1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74
基于hadoop-1.1.2的伪分布式集群、分布式集群搭建。使用javaapi操作hdfs、hdfs内部操作命令、从win7访问ubuntu中的hadoop集群。 eclipse hadoop java 分布式 云计算 Hadoop上路 v1.1
基于hadoop-1.1.2的伪分布式集群、分布式集群搭建。使用javaapi操作hdfs、hdfs内部操作命令、从win7访问ubuntu中的hadoop集群。 eclipse hadoop java 分布式 云计算 Hadoop-1.1.2上路 v1.0
CentOS环境下Hadoop2.6.0分布式部署说明
实验目的: 1. 熟悉常用的基本命令操作 2. 掌握搭建环境部署项目 3. 体会云计算虚拟化等概念 实验环境: 1. 个人电脑 Windows10 2. 远程访问 jupyterlab 虚拟机(Ubuntu20.04) ...3. Linux+hadoop 完全分布式集群搭建
Hadoop集群安装配置教程 56 HBase安装 56 HBase伪分布式配置 57 HBase Shell编程实践 60 HBase JAVA API编程实践 64 安装MySQL 68 Hive安装 70 Redis安装和使用 74 MongoDB安装和使用 83 Neo4j安装和使用 ...
1.集群配置,包含三个结点,主节点控制所有的子节点 2.集群已经搭建好了,解压之后直接可以使用Finalshell和VMware连接 3.包含全套组件:hdfs,hbase,hive,...4.如果不知道如何使用,或者需要做Hadoop项目可以私信博主
【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建-附件资源
hadoop完全分布式的集群搭建 硬件环境 两台虚拟机 linux的Ubuntu10.10的系统 hadoop0.20.2
Hadoop 分布式集群配置环境一共六台服务器(包括三台腾讯云主机/三台阿里云主机).服务器环境为 Ubuntu 14.04 64 位 跟 CentOS 7.2
本文档适合初学者,指引初学者或初次接触 Hadoop 的人成功安装 Hadoop ,使用代码执行简单的 HDFS 操作,并利用 MapReduce 执行分布式计算示例代码。其中 MapReduce 示例代码为 Hadoop 官方带的 hadoop-0.20.2-...
spark要配合Hadoop的hdfs使用,然而Hadoop的特点就是分布式,在一台主机上搭建集群有点困难,百度后发现可以使用docker构建搭建,于是开搞: github项目:https://github.com/kiwenlau/hadoop-cluster-docker ...
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
本次实验,在 Hadoop 平台上,使用 MapReduce 实现了... Hadoop 支持用三种模式启动:单机模式、伪分布式模式、分布式集群模式。集群模式我们没有足够的机器,单机模式很难体现出分布式的优势,所以我们选用伪分布式。