wget http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz
tar -xzvf hadoop-2.2.0.tar.gz
cd hadoop-2.2.0
vi etc/hadoop/hadoop-env.sh
修改:
export JAVA_HOME=/home/ysc/jdk1.7.0_17
vi etc/hadoop/slaves
修改localhost为host001
vi etc/hadoop/core-site.xml
增加:
<property>
<name>fs.defaultFS</name>
<value>hdfs://host001:9000</value>
</property>
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml
增加:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/ysc/mapreduce/local</value>
</property>
vi etc/hadoop/yarn-site.xml
增加:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>host001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
vi etc/hadoop/hdfs-site.xml
增加:
<property>
<name>dfs.name.dir</name>
<value>/home/ysc/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/ysc/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
sudo vi /etc/profile
增加:
export HADOOP_PREFIX=/home/ysc/hadoop-2.2.0
export HADOOP_COMMON_HOME=/home/ysc/hadoop-2.2.0
export HADOOP_MAPRED_HOME=/home/ysc/hadoop-2.2.0
export HADOOP_CONF_DIR=/home/ysc/hadoop-2.2.0/etc/hadoop
export HADOOP_HDFS_HOME=/home/ysc/hadoop-2.2.0
export HADOOP_YARN_HOME=/home/ysc/hadoop-2.2.0
source /etc/profile
格式化:
bin/hdfs namenode -format
启动dfs:
sbin/start-dfs.sh
启动yarn:
sbin/start-yarn.sh
启动historyserver:
sbin/mr-jobhistory-daemon.sh start historyserver
运行wordcount:
echo "APDPlat is a java open source project, Application Product Development Platform." > text1.txt
echo "Yang Shangchuan is the founder of APDPlat which won the "2013 Outstanding Open Source Project" award." > text2.txt
bin/hadoop fs -mkdir input
bin/hadoop fs -put text1.txt input
bin/hadoop fs -put text2.txt input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount input output
访问管理页面:
ResourceManager: http://host001:8088
NodeManager: http://host001:8042
NameNode:http://host001:50070
NameNode:http://host001:50070
停止dfs:
sbin/stop-dfs.sh
停止yarn:
sbin/stop-yarn.sh
停止historyserver:
sbin/mr-jobhistory-daemon.sh stop historyserver
注意:要把这里的主机host001和用户ysc替换为你自己的,在/etc/hosts文件中要把127.0.0.1 localhost改为实际IP地址 host001
相关推荐
NULL 博文链接:https://yangshangchuan.iteye.com/blog/1950178
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用...
1、 load data local inpath '/input/files/tb.txt' overwrite into table tb; ...2 、hive –e 执行hql语句 -i 初始化参数,多用于加载UDF -f 执行hql文件,因为无法传参数,所以项目中基本不用
[root@master ~]# su – hadoop --从root用户切换为hadoop身份 通过 SecureCRT 软件上传 Hadoop安装文件到 /opt 目录,再由hadoop用户解压 [hadoop@master ~]$ cd /opt [hadoop@master opt]$ tar –zxvf hadoop-...
第 1 章 HDFS 概述1.1 HDFS 产出背景及定义尚硅谷大数据技术之 Hadoop(HFDS 文件系统)更多 Java –大数据 –前端 –python
该文档来自2013中国大数据技术大会上,Apache Tez Committer Bikas Saha讲师关于The Next Generation of Hadoop– Hadoop 2 and YARN主题的演讲。
Hadoop Overview HDFS Map-reduce Programming Paradigm Hadoop Map-reduce Job Scheduler Resources Hadoop, Why? 数据太多了,需要能存储、快速分析Pb级数据集的系统 单机的存储、IO、内存、CPU有限,需要可扩展...
[root@master ~]# su – hadoop --从root用户切换为hadoop身份 [hadoop@master ~]$ 创建新文件:wc.input 作为 MapReduce输入文件,输入以下内容,然后保存文件 [hadoop@master ~]$ vi wc.input hadoop mapreduce ...
什么是大数据? 导读:本文是关于生活中常识的,仅...在过去,存储它将是一个问题 – 但新技术(如 Hadoop)减轻了负担。 2.速度,数据以前所未有的速度流入,必须及时处理。RFID 标签,传感器和智能电表正在推动近乎实
024 Hadoop相关命令中的【–config configdir】作用 025 Hadoop 目录结构 026 Eclipse导入Hadoop源码项目 027 HDFS 设计目标 028 HDFS 文件系统架构概述 029 HDFS架构之NameNode和DataNode 030 HDFS 架构讲解总结 ...
光环大数据--大数据培训&人工智能培训 http://hadoop.aura.cn 光环大数据 http://hadoop.aura.cn Python 协程深入理解 光环大数据 Python 基础教程 光环大数据 Python 培训了解到,从语法上来看,协程和生成器类似,...
Hadoop大数据学习–Linux脚本入门小结–精华篇 为什么要学脚本 很多网友私信我,看我发过一些脚本,但是不会写,可是作为大数据学习者,我们深刻的意识到,脚本这个东西,已经不是运维人员的专属,我们大数据开发,...
CentOS7–精华篇,带你从0认识Linux之CentOS7,以及精华命令 是否正常连通,可以ping一下(NET模式) 自动配置IP(DHCP)的优劣 好处:方便 坏处:没有办法确定每次ip,保证其配置的都能够保持一致,所以为了稳定,我们要...
音乐商城是一个在线平台,用于销售音乐作品,包括数字音乐、CD、唱片、演唱会门票等。以下是音乐商城的一般分析: ...【引流】 ...大数据技术:包括Hadoop、Spark、Hive等用于处理和分析大规模数据集的技术。
BIG-DATA-HADOOP-MAPREDUCE-PROJECT项目 在Hadoop MapReduce中使用3种语言英语,法语,西班牙语的平均字母计数... 步骤1:检查Hadoop版本-hadoop版本步骤2:启动HDFS守护程序-start-dfs.sh步骤3:启动Yarn守护程序–
Kylin–基于Hadoop的大规模联机分析处理OLAP引擎 共33页.pdf
SDC Hadoop 大数据存储计算平台 构造大数据运行基石 大数据产品及服务能力全文共63页,当前为第12页。 产品架构 SDC 企业级一站式大数据基础平台 大数据领域 --- 存储计算为核心的基础平台 组件融合 Hadoop+Spark...
" " "Hadoop2.X 64位编译,编译Hadoop2.X 64位,编译Hadoop. " " "搭建环境,安排Hadooop2.X,启动Hadoop. " "实验步调 "用户及用户组,添加用户及用户组,添加sudo权限. " " "装置及配置依赖的软件包,装置openssh-server...
Linux虚拟网卡以及克隆虚拟机,虚拟机安装Mysql小结,满满精华帖 一、Linux虚拟网卡配置小结 查看一下windows主机:控制面板->本地服务->VMware相关服务有没有启动 1.如何配置Linux虚拟网卡: 1.如何配置Linux虚拟...
12. Cloudera 提供哪几种安装 CDH 的方法 大数据面试题全文共16页,当前为第3页。 a)Cloudera manager b)Tar ball c)Yum d)Rpm 判断题 13. Ganglia 不仅可以进行监控,也可以进行告警。( ) 14. Block Size 是不可以...