博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
关于Tool接口--------hadoop接口:extends Configured implements Tool 和 ToolRunner.run
阅读量:6721 次
发布时间:2019-06-25

本文共 1117 字,大约阅读时间需要 3 分钟。

  我们在写--map/reduce程序时,遇到使用按文件url来分析文件----------多表连接的DistributedCache方式,看不懂使用extends Configured implements Tool的方式,就查了一下http://hadoop.apache.org      上面对该Tool接口及其使用做了说明:

 

 

  1. @InterfaceAudience.Public  
  2. @InterfaceStability.Stable  
  3. public interface Tool       //Tool接口继承了Configurable  
  4. extends Configurable  
  5. //Tool接口可以支持处理通用的命令行选项,它是所有Map-Reduce程序的都可用的一个标准接口,下面是一个典型用例:  
  6.   
  7.          public class MyApp extends Configured implements Tool {  
  8.            
  9.            public int run(String[] args) throws Exception {  
  10.              //ToolRunner要处理的Configuration,Tool通过ToolRunner调用ToolRunner.run时,传入参数Configuration  
  11.              Configuration conf = getConf();  
  12.                
  13.              JobConf job = new JobConf(conf, MyApp.class);  
  14.                
  15.              Path in = new Path(args[1]);  
  16.              Path out = new Path(args[2]);  
  17.                
  18.              // 设置job的各种详细参数      
  19.              job.setJobName("my-app");  
  20.              job.setInputPath(in);  
  21.              job.setOutputPath(out);  
  22.              job.setMapperClass(MyMapper.class);  
  23.              job.setReducerClass(MyReducer.class);  
  24.   
  25.              //提交job  
  26.              JobClient.runJob(job);  
  27.              return 0;  
  28.            }  
  29.              
  30.            public static void main(String[] args) throws Exception {  
  31.              // 让ToolRunner执行   
  32.              int res = ToolRunner.run(new Configuration(), new MyApp(), args);  
  33.                
  34.              System.exit(res);  
  35.            }  
  36.          }  

 

 

 

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6431833.html,如需转载请自行联系原作者

你可能感兴趣的文章
利用php的序列化和反序列化来做简单的数据本地存储
查看>>
将生成logo图片导入到Altium Designer中
查看>>
初入前端5
查看>>
数据库性能优化之冗余字段的作用
查看>>
[NHibernate]视图处理
查看>>
用jquery获取A标签href参数
查看>>
UVA548
查看>>
gitlab的ssh key有2个
查看>>
Linq 中的Select事例
查看>>
dubbo+zookeeper
查看>>
【转】如何理解c和c++的复杂类型声明
查看>>
贪心法经典问题总结
查看>>
使用百分比固定的table大小中td内容自动换行问题
查看>>
如何给系统升级
查看>>
《Red Dog》——流浪、阳光和那些让人缅怀的画面
查看>>
jquey动画效果
查看>>
陶教授,我记不住定理的证明该怎么办?(我看到陶哲轩在博客上与学生一则有意思的互动,就翻译过来了)...
查看>>
计算 $s=1+(1+2)+(1+2+3)+\cdots+(1+2+3+\cdots+n)$
查看>>
《解析几何》吕林根,徐子道第四版 习题 1.4.7,1.4.8,1.4.9
查看>>
ruby Logger日志
查看>>