1、在eclipse中配置hadoop插件
将hadoop-eclipse-plugin-1.2.1.jar 复制到eclipse/plugins目录下,重启eclipse。
2、打开MapReduce视图
Window-> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。
3、添加一个MapReduce环境
在eclipse下端,控制台旁边会多一个Tab,叫“Map/ReduceLocations”,在下面空白的地方点右键,选择“NewHadoop location...”,在弹出的对话框中填写如下内容:
Location name(取个名字)
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)
4、使用eclipse对HDFS内容进行操作
经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。
注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。
5、创建MapReduce工程
5.1配置Hadoop路径
Window-> Preferences 选择 “Hadoop Map/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。
5.2创建工程
File ->New -> Project 选择“Map/ReduceProject”,然后输入项目名称,创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。
5.3创建Mapper或者Reducer
File ->New -> Mapper 创建Mapper,自动继承mapred包里面的MapReduceBase并实现Mapper接口。注意:这个插件自动继承的是mapred包里旧版的类和接口,新版的Mapper得自己写。Reducer同理。
相关推荐
大数据实验2:熟悉常用的 HDFS 操作 答案
HDFS是由Doug Cutting基于Google公司2003年10月开源的论文GFS做的开源实现,发展到目前为止,HDFS的运用非常广泛,基本上很多大数据平台大部分都会选用HDFS(或者类似HDFS)这样的分布式文件系统、来作为海量数据...
HDFS Shell命令允许使用命令行的方式在HDFS存储中进行文件夹和文件操作,包括像:文件夹的增删改查、文件的增删改查等等。 HDFS Shell命令 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS ...
HDFS架构 HDFS架构图 1 NameNode 2 SecondaryNameNode 3 DataNode 4 Hearbeats 5 Block块 6 目 录 一、HDFS架构图 HDFS的架构是较为经典的主/从架构,在架构图中NameNode是主节点,DataNode是从节点,HDFS Client是...
HDFS运行原理 HDFS存储机制 1 Block 2 元数据 3 HDFS读流程 4 HDFS写流程 5 目 录 一、HDFS存储机制 假如目前由一个10G的文件要存储到HDFS中。首先,会在客户端处进行切分,切分成一个个Block块,默认情况下Block块...
大数据开发:HDFS数据节点与名称节点的通信机制.docx
A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作...
课后作业 1.如何检测损坏的文件,以及对文件系统进行日常检查 2.添加节点如何优化数据平衡时的数据风暴 3.如何合并碎小的文件,为什么要这么做? 4.简述Hadoop集群的心跳机制 ...6.编写一个程序读取Har文件信息
3 、作业客户端检查作业的输出说明,计算输入分片并将作业资源(包括作业JAR、配置和分片信息)复制到HDFS。 4 、通过调用资源管理器上的submitApplication方法提交作。 作业是如何在Yarn中运行的 一、Yarn作业运行...
数据科学导论 实验2:熟悉常用的HDFS操作 1. 编程实现以下指定功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: 2. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream...
hadoop(二:hadoop3.3.0搭建,HDFS shell 命令,MapReduce程序)
在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce,之后Doug Cutting基于这篇论文通过Java做了开源实现,Mapredce如今是作为Hadoop的核心组件之一,而HDFS是Hadoop的另外一个核心,此外还有Hadoop2.X...
一、单选题 1、以下哪个步骤不属于数据的采集与预处理: A....B.Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是针对GFS的开源实现 大数据导论:大数据技术单元测试与答案全文共5页,当前
大数据技术基础实验报告-HDFS常用操作命令
华为大数据认证,HDFS部分
Hadoop面试题汇总,包括了常见高频率的面试问题和答案,例如hdfs的结果,数据的读写、数据倾斜、任务提交和优化等等
5. 熟练掌握 HDFS 项目开发环境的搭建。 6. 掌握使用 HDFS Java API 编写 HDFS 文件操作程序。 二、实验环境 本实验所需的软件环境包括全分布模式 Hadoop 集群、Eclipse。 三、实验内容 1. 启 动 全 分 布 模 式 ...
1.HDFS命令行操作 1.1 HDFS命令行操作 1.1.1HDFS概述 HDFS概述 Hadoop由3个部分构成: Core HDFS MapReduce 1.1.2HDFS命令 HDFS命令 HDFS基本操作命令: -help [cmd] // 显示命令的帮助信息 -ls(r) <path> // 显示...
大数据HDFS二次开发.pdf
Hadoop技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍,非扫描版,使用kindle可以打开,也可以转换为epub使用ibooks打开