加入收藏 | 设为首页 | 会员中心 | 我要投稿 惠州站长网 (https://www.0752zz.com.cn/)- 办公协同、云通信、物联设备、操作系统、高性能计算!
当前位置: 首页 > 教程 > 正文

从HDFS和MapReduce两方面了解Hadoop

发布时间:2019-03-22 16:57:20 所属栏目:教程 来源:佚名
导读:副标题#e# 简介 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,框架最核心的设计就是:HDFS 和 MapReduce。HDFS 为海量的数据提供了存储,而 MapReduce 则为海量的数据提供了计算。这篇文章就主要从 HDFS 和 MapReuce 两个大的方面展开对 Hadoop

文件创建好后,可以通过 append()方法在文件末尾添加内容。

  • 清单 11. JavaApi 追加文件内容
  1. @Test 
  2. public void append() throws IOException { 
  3. FSDataOutputStream out = null; 
  4. try { 
  5. out = fs.append(new Path("/test/api/test.txt")); 
  6. out.writeChars("hello hdfs."); 
  7. } finally { 
  8. out.close(); 

从本地上传文件到 HDFS。

  • 清单 12. JavaApi 上传文件至 HDFS
  1. @Test 
  2. public void copyFromLocal() throws IOException { 
  3. fs.copyFromLocalFile(new Path("d:/local.txt"), new Path("/test/api")); 

从 HDFS 上下载文件。

  • 清单 13. JavaApi 从 HDFS 下载文件
  1. @Test 
  2. public void copyToLocal() throws IOException { 
  3.   fs.copyToLocalFile(new Path("/test/api/local.txt"), new Path("E:/")); 

MapReduce 实战

什么是 MapReduce

(编辑:惠州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读