1、准备HADOOP运行环境
下载解压并拷贝到Cygwin的用户主目录
http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
1.x版本有BUG,参考:
https://issues.apache.org/jira/browse/HADOOP-7682
https://issues.apache.org/jira/browse/HADOOP-8274
BUG修复请参考:
http://en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin
在/home/ysc/.bashrc 中追加:
export JAVA_HOME=/home/ysc/jdk1.7.0_17
export PATH=/home/ysc/hadoop-0.20.2/bin:$JAVA_HOME/bin:$PATH
在hadoop-0.20.2/conf/hadoop-evn.sh中追加
export JAVA_HOME=/home/ysc/jdk1.7.0_17
export HADOOP_LOG_DIR=/tmp/logs
创建符号链接
mklink /D C:\tmp C:\cygwin\tmp
重新登录就生效
ssh localhost
which hadoop
2、配置HADOOP运行参数
vi conf/core-site.xml
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
vi conf/hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property>
vi conf/mapred-site.xml
<property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>4</value> </property>
3、格式化名称节点并启动集群
hadoop namenode -format
4、启动集群并查看WEB管理界面
start-all.sh
访问http://localhost:50030可以查看 JobTracker 的运行状态
访问http://localhost:50060可以查看 TaskTracker 的运行状态
访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等
5、停止集群
stop-all.sh
停止集群
相关推荐
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
haodop超详细安装教程:包含jdk配置,ssh免密登录以及单机版hadoop安装配置、伪分布式hadoop安装及配置,以及分布式集群安装配置。
1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号...
这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,...
这是本人在单机上的Cent-OS系统中配置Hadoop-0.19.1伪分布式时的总结文档,但该文档也适合其他版本的Linux系统和目前各版本的Hadoop(Hadoop-0.20之后的版本配置文件hadoop-site.xml被拆分成了三个core-site.xml,...
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
Hadoop分布式集群搭建过程中IP配置,包括单机伪分布式和多台机器集群搭建。同时包括VBox linux虚拟机网卡配置
Centos7上搭建hadoop2.6.0分布式系统,教程超详细! 搭建过程中如果有什么疑问可以邮我1668544151@qq.com 单机搭建伪分布式也适用!
对于 90%以上想学习 Spark 的人而言,如何构建 Spark 集群是其最大的难点之一, 为了解决大家构建 Spark 集群的一切困难,家林把 Spark 集群的构建分为了四个步骤,从 零起步,不需要任何前置知识,涵盖操作的每一个...
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件...
这是在单机上的Cent-OS 系统中以Hadoop伪分布式形式进行安装和配置的过程,并收集和整理了Hadoop运维常用操作命令。 非常适合没有集群环境的初学者入门使用。
Hadoop3.2.1 分布式集群安装 1.准备环境: 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为: 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为: hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置: ...
其次,考虑到大规模骨架网络重构问题属于高维优化的范畴,单机版算法求解高维优化问题时计算效率低,为此提出一种基于Hadoop平台的分布式粒子群算法,该算法利用集群的计算和存储能力求解高维问题时能够显著提高计算效率...
Hadoop,分布式的大数据存储和计算, 免费开源,本文介绍Hadoop单机版、集群安装步骤。
1.掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能,鉴于目前...需要在一台机器上模拟一个小的集群,因此,需要通过本实验掌握在单机上进行Hadoop的伪分布式安装方法。
hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置
我成功的配置了Hadoop单击版和集群版,里面既有单机版,也有完全分布式版本;
后半部分主要讲述Hadoop集群有三种运行模式,分别为单机模式,伪分布模式,完全分布式模式。单机模式和伪分布式模式的配置基本相同,本文档将重点介绍,在此基础上给出完全分布式模式搭建还需要的工作。有需要的朋友...
本文来自于51cto,这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这...