错误信息:
Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
官方BUG参考:
https://issues.apache.org/jira/browse/HADOOP-7682
解决方法:
1、下载并解压http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
2、修改hadoop-1.1.2\src\core\org\apache\hadoop\fs\FileUtil.java,搜索 Failed to set permissions of path,找到689行,把throw new IOException改为LOG.warn
3、修改hadoop-1.1.2\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置
4、下载解压ant,将ant目录下的bin目录加入环境变量path
5、在Cygwin命令下行切换到hadoop-1.1.2目录,执行ant
6、用新生成的hadoop-1.1.2\build\hadoop-core-1.1.3-SNAPSHOT.jar替换nutch的hadoop-core-1.0.3.jar
7、对于eclipse开发来说,替换C:\Users\ysc\.ivy2\cache\org.apache.hadoop\hadoop-core\jars\hadoop-core-1.1.2.jar
附件中的JAR是对hadoop1.2.1修改后的JAR,可用于Nutch1.7,其他Nutch版本没测试过。
相关推荐
很不错的缓存代理服务器Squid教程 很不错的缓存代理服务器Squid教程
在Cygwin中安装完vim后 进入vim,发现上下左右键和退格键都无法正常使用 问题分析: 首先考虑到的就是缺少vim的配置文件,首先查看/etc路径下是否有vim的配置文件 admin@ThinkPad /etc $ cd /etc admin@ThinkPad /...
本包是为了解决在windows下通过cygwin运行hadoop时,执行tasktracker模块时报错Failed to set permissions of path: \mapred\local\ttprivate to 0700,通过修改源代码来解决的包。希望能该问题困扰的童鞋们,提供...
参考文章 http://blog.csdn.net/handyhuang/article/details/7421553
Cygwin 64-bit 安装程序,安装hadoop前必要的操作
exe程序,可直接运行下载组件进行安装,安装过程中最好选择网易源http://mirrors.163.com/cygwin/ 自己添加后选择
由于Nutch运行是基于Unix/Linux环境的,请自行准备Unix/Linux系统或Cygwin运行环境。 git clone整个工程代码后,进行本地git下载目录: cd nutch-htmlunit/runtime/local bin/crawl urls crawl false 1 ...
Windows下cygwin+MyEclipse 8.5+Nutch1.2+Tomcat 6.0 Windows下cygwin+MyEclipse 8.5+Nutch1.2+Tomcat 6.0 Windows下cygwin+MyEclipse 8.5+Nutch1.2+Tomcat 6.0
最新Cygwin离线安装包
参考网贴:百思论坛的Cygwin+ns2.27+leach协议 安装笔记,按其步骤安装时出现别的问题,故根据自己安装过程有改动。 首先,leach协议一定要装ns-2.27版本,否则会有很多问题。好,开始! 一、准备工作 删除所有...
介绍了cygwin详细下载过程,以及在windows下运行sleuth模型
下载并运行cygwin-rsyncd-3.2.3.0_installer.exe,以将rsyncd安装在WinXX客户端上以进行BackupPC备份。 如果要自定义和构建自己的cygwin-rsyncd可执行文件(例如:为站点预设一些配置参数),请在克隆git存储库。 ...
Cygwin是一个在windows平台上运行的类UNIX模拟环境,是cygnus solutions公司开发的自由软件(该公司开发的著名工具还有eCos,不过现已被Redhat收购)。它对于学习UNIX/Linux操作环境,或者从UNIX到Windows的应用程序...
nutch不用安装,是个应用程序,下载后为nutch-1.6.tar.gz,双击桌面上的cygwin快捷方式;执行以下命令: $ cd D:/Downloads/Soft $ tar zxvf nutch-1.0.tar.gz 在e盘下面出现nutch-0.9文件夹说明解压成功了.然后环境...
修正了cygwin下启动tasktracker时总提示failed to set permission [path] to 0755 重新编译得到的jar包
It consists of a DLL (cygwin1.dll), which acts as an emulation layer providing substantial POSIX (Portable Operating System Interface) system call functionality, and a collection of tools, which ...
cygwin可以编译生成windows下供调用的dllcygwin可以编译生成windows下供调用的dllcygwin可以编译生成windows下供调用的dll
cygwin 交叉编译的 coturn 服务器可以在windows 下运行,包含运行脚本可以直接运行。
cygwin是一个在windows环境下运行linux软件的程序,比虚拟机更方便,更小巧,包含了linux的常用命令,也可以直接在其中运行linux软件