博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
eclipse连接远程hadoop集群开发时0700问题解决方案
阅读量:4967 次
发布时间:2019-06-12

本文共 1314 字,大约阅读时间需要 4 分钟。

eclipse连接远程hadoop集群开发时报错
错误信息:
Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
解决方案(经笔者在hadoop1.2.0+jdk1.7下验证通过):
0.安装jdk,ant,并且配置好环境变量
安装配置jdk不再多说,ant参考我的文章:
http://blog.csdn.net/shan9liang/article/details/8948646
1.首先到官网上把该版本hadoop的tar包下载下来,并解压到$HADOOP_HOME目录下
2.修改hadoop-1.2.0\src\core\org\apache\hadoop\fs下的FileUtil类
private static void checkReturnValue(boolean rv, File p, 
                                       FsPermission permission
                                       ) throws IOException {
    if (!rv) {
      throw new IOException("Failed to set permissions of path: " + p + 
                            " to " + 
                            String.format("%04o", permission.toShort()));
    }
  }
将这个抛异常操作注释掉或者
throw new IOException
改为
LOG.warn
3.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVersion.sh生成的package-info.java有问题。更正内容为:
user=`whoami` #此处修改成固定值,如user=jialin
3、修改$HADOOP_HOME\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf" 
          dir="${c++.task-controller.src}"
          searchpath="yes" failοnerrοr="yes">
      <arg value="-i"/>
    </exec>
    
   共有6处,将该语言块删除
4、 修改hadoop安装目录下的\build.xml   指定java版本<property name="javac.version" value="1.6"/>   如是1.7就改为1.7
5、在命令行切换到$HADOOP_HOME,执行ant
6、用新生成的$HADOOP_HOME\build\hadoop-core-1.*.*-SNAPSHOT.jar替换nutch的hadoop-core-*.*.*.jar

转载于:https://www.cnblogs.com/jiangu66/p/3237060.html

你可能感兴趣的文章
群硕又打电话给我了
查看>>
request模块
查看>>
struts2视频学习笔记 29-30(Struts 2常用标签,防止表单重复提交)
查看>>
Android 启动APP黑屏解决方案
查看>>
《数据结构》C++代码 Splay
查看>>
搭建samba服务,实现局域网文件共享
查看>>
数组求和方法汇总
查看>>
linux/centos elasticsearch 环境搭建 安装 运行 使用
查看>>
042_提示用户输入年份后测试判断是否为闰年
查看>>
Vue探索历程(一)
查看>>
struts2 jar包详解
查看>>
数据结构实验:连通分量个数 分类: 图论 20...
查看>>
Minimum Inversion Number
查看>>
s7day2
查看>>
[LeetCode] 146. LRU Cache_Hard tag: Hash, Linked List
查看>>
【CSON原创】javascript椭圆旋转相册发布
查看>>
nginx的安装 傻瓜式
查看>>
MySQL 5.7开启二进制日志注意事项
查看>>
SQL Server中通用数据库角色权限处理
查看>>
Alpha 冲刺 (9/10)
查看>>