如何远程读取CDH的hadoop上的HDFS数据

2024-12-29 13:41:04
推荐回答(1个)
回答1:

需要在实例化出来的Configuration中加入HDFS的端口路径即可,其他的除了hadoop的jar包外,任何配置文件都不需要,核心代码如下:

static Configuration conf=new Configuration();
static FileSystem fs=null;
static{
try {
//默认的hadoop的fs.defaultFS的端口号为8020,这里需要跟集群里面的配置一致
conf.set("fs.defaultFS","hdfs://dnode1:8020/");
fs=FileSystem.get(conf);
} catch (IOException e) {
log.error("初始化FileSystem失败!",e);
}
}

OK,只需要这简单的一行,我们就可以读取HDFS上的数据了