eclipse-mapreduce-hadoop
hadoop三节点配置方案
pass
eclipse配置mapreduce
配置前的准备
下载相关文件
注意：箭头所指的ppt可下载下来进行对照配置，方框所指的文件为后续所需要的文件。
启动eclipse并添加mapreduce插件
1.在Windows中解压eclipse-java-2019-03-R-linux-gtk-x86_64.tar.gz
并确定文件内容是否完整
2.将eclipse文件夹拖入centos中（最好放在桌面）并确认文件夹内容是否完整
注意：之所以.eclipseproduct没看到，是因为以.开头的文件为隐藏文件
3.将事先下载好的hadoop-eclipse-plugin-2.6.0.jar文件拖入eclipse文件夹的dropins文件夹中
4.运行eclipse
1 | [root@master eclipse]# ./eclipse |
注意：箭头所指的地方，用默认已出现的路径就ok
5.添加mapreduce插件
并添加hadoop的路径
注意：/usr/local/src/hadoop为个人hadoop路径
6.添加mapreduce项目
双击下方图像中箭头所指的插件名称
下方箭头所指的文件名可以随便取
7.打开mapreduce的窗口
可以看到mapreduce窗口
8.启动master节点（一个就好）
注意：记得用root账户执行该命令
jps查看运行结果
9.使用eclipse连接节点
1：随便写的名字
2：主机的名字，也可以写127.0.0.1
3：固定写50070
4：参考hadoop目录下etc/hadoop/目录下的core-site.xml文件中的<value>hdfs://master:9000</value>
5：user name为hadoop运行时的权限用户
10.加载完后，my hadoop会加载出之前创建的input、output文件夹
如果没有，建议打开终端执行以下两条命令（记得用root执行命令）
1 | [root@master hadoop]# hdfs dfs -mkdir /input |
之所以这里报错，是因为我已经创建了这个文件夹
创建wordcount项目
前提：Windows中的文件能够直接复制粘贴到centos中
点击WordCount.java，右击复制
返回centos中，进入eclipse，进行粘贴
修改WordCount.java
1.删除该串代码
2.修改该串代码
修改后：
上传dream.txt
将事先下载到windows中的dream.txt复制到centos桌面
使用终端上传至hadoop中
1 | [root@master Desktop]# hdfs dfs -put dream.txt /input/dream.txt |
刷新eclipse的my Hadoop节点，查看文件
运行WordCount.java
点击进入WordCount.java，并进行下图操作
配置输入输出文件
将log4j.properties复制到src中
完成
复制hadoop路径下的etc/hadoop路径下的core-site.xml、hdfs-site.xml到src中
运行WordCount.java
完成
