博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop mysql
阅读量:7221 次
发布时间:2019-06-29

本文共 876 字,大约阅读时间需要 2 分钟。

hot3.png

今天经大侠指点终于算是完成了这一部分,算是去了我心里一块石头,不会做之前觉得很难,但是出来之后就觉得不是多难的,只是不知道步骤而已,趁还没到吃饭时间,先记录这一过程,以后免得忘记。

  以下针对Hadoop1而言,首先程序得现在Eclipse中运行通过,然后在myeclipse中创建一个project ,然后将代码写到工程中,这个和在Eclipse中是一样的。

第一步:在myeclipse中需要做的就是指定jobtracker和namenode,用以下代码,举例如下:

Configuration conf = new Configuration(),

conf.set("mapred.job.tracker", "10.10.166.103:9001");   //IP是jobtracker的IP

conf.set("fs.default.name", "10.10.166.103:9000");//IP是namenode的IP

第二块就是将这个工程打包,具体做法是:右击项目或者工程,export,,jar文件,然后resource和class都打勾,jar文件名是setjarbyclass中的名字,将jar文件保存到Hadoop_home/lib中,然后修改jar文件的权限和所属用户,权限改成777,,然后将这个jar包分发到每一个节点的hadoop_home/lib中。这一步是必须的,然后重启hadoop集群。这下就可以在myeclipse中运行了。

这下全部设置就完成了,剩下的就是排错了。其中遇到有两个大的问题,第一个就是权限问题,在上一篇blog中写过,第二个就是classnotfound的异常,这个错误可以说在上面的配置中已经解决了,就是将工程用export打包,然后改权限,发给其他的节点,重启集群。这样就可完成了,期间出现的WARN:不能加载本地包,这个不用管。

 这下就可实现myeclipse调用MapReduce的程序了.

转载于:https://my.oschina.net/fivewang/blog/783767

你可能感兴趣的文章
C# 图片处理(压缩、剪裁,转换,优化)
查看>>
Linux bridge-utils tunctl 使用
查看>>
Leetcode Pascal's Triangle II
查看>>
运行shell脚本报错 '\357\273\277': command not found 解决的方法
查看>>
android studio 0.8.1使用和遇到问题解决
查看>>
云服务器ECS选购集锦之六区域选择帮助
查看>>
云虚机选购指南之二云虚拟主机试用帮助文档
查看>>
女友眼中的IT男
查看>>
Excel连接
查看>>
java基础-多线程学习
查看>>
WPF打印原理,自定义打印
查看>>
HTML5 5
查看>>
箭头css
查看>>
Python入门,以及简单爬取网页文本内容
查看>>
顺丰科技笔试回忆
查看>>
excel技巧
查看>>
通用防SQL注入漏洞程序(Global.asax方式)
查看>>
服务器进程为何通常fork()两次
查看>>
python中的logger模块
查看>>
9.3、理解作用域与全局变量
查看>>