从HDFS和MapReduce两方面了解Hadoop

发布时间：2019-03-22 16:57:20 所属栏目：教程来源：佚名

导读：副标题#e# 简介 Hadoop 是一个能够对大量数据进行分布式处理的软件框架，框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数据提供了存储，而 MapReduce 则为海量的数据提供了计算。这篇文章就主要从 HDFS 和 MapReuce 两个大的方面展开对 Hadoop

文件创建好后，可以通过 append()方法在文件末尾添加内容。

清单 11. JavaApi 追加文件内容

@Test 
public void append() throws IOException { 
FSDataOutputStream out = null; 
try { 
out = fs.append(new Path("/test/api/test.txt")); 
out.writeChars("hello hdfs."); 
} finally { 
out.close(); 
} 
}

从本地上传文件到 HDFS。

清单 12. JavaApi 上传文件至 HDFS

@Test 
public void copyFromLocal() throws IOException { 
fs.copyFromLocalFile(new Path("d:/local.txt"), new Path("/test/api")); 
}

从 HDFS 上下载文件。

清单 13. JavaApi 从 HDFS 下载文件

@Test 
public void copyToLocal() throws IOException { 
  fs.copyToLocalFile(new Path("/test/api/local.txt"), new Path("E:/")); 
}

MapReduce 实战

什么是 MapReduce

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

4/8

首页

尾页