时间:2021-07-01 10:21:17 帮助过:24人阅读
2.3 Configurable接口 Configurable是一个很简单的接口,也位于org.apache.hadoop.conf包中,其类图如图2-3所示。 从字面理解,Configurable的含义是可配置的,如果一个类实现了Configurable接口,意味着这个类是可配置的。也就是说,可以通过为这个类的对象
2.3 Configurable接口
Configurable是一个很简单的接口,也位于org.apache.hadoop.conf包中,其类图如图2-3所示。
从字面理解,Configurable的含义是可配置的,如果一个类实现了Configurable接口,意味着这个类是可配置的。也就是说,可以通过为这个类的对象传入一个Configuration实例,提供对象工作需要的一些配置信息。Hadoop的代码中有大量的类实现了Configurable接口,如org.apache.hadoop.mapred.SequenceFileInputFilter.RegexFilter。RegexFilter对象工作时,需要提供一个正则表达式,用于过滤读取的记录。由于RegexFilter的父类Filter中实现的Configurable接口,RegexFilter可以在它的setConf()方法中,使用Configuration.get()方法获取以字符串传入的正则表达式,并初始化成员变量p。相关代码如下:
- public void setConf(Configuration conf) {
- //在conf中获取键为"sequencefile.filter.regex"(FILTER_REGEX)的配置项
- String regex = conf.get(FILTER_REGEX);
- if (regex==null)
- throw new RuntimeException(FILTER_REGEX + "not set");
- this.p = Pattern.compile(regex);
- this.conf = conf;
- }
Configurable.setConf()方法何时被调用呢?一般来说,对象创建以后,就应该使用setConf()方法,为对象提供进一步的初始化工作。为了简化对象创建和调用setConf()方法这两个连续的步骤,org.apache.hadoop.util.ReflectionUtils中提供了静态方法newInstance(),代码如下:
- public static <T> T newInstance(Class<T>theClass, Configuration conf)
方法newInstance()利用Java反射机制,根据对象类型信息(参数theClass),创建一个新的相应类型的对象,然后调用ReflectionUtils中的另一个静态方法setConf()配置对象,代码如下:
- public static void setConf(Object theObject, Configuration conf) {
- if(conf != null) {
- //传入的对象实现了Configurable接口
- if(theObject instanceof Configurable) {
- //调用对象的setConf方法,传入Configuration对象
- ((Configurable) theObject).setConf(conf);
- }
- setJobConf(theObject, conf);
- }
- }
在setConf()中,如果对象实现了Configurable接口,那么对象的setConf()方法会被调用,并根据Configuration类的实例conf进一步初始化对象。