首页 » 大数据 » Hadoop » Hadoop学习笔记(1)--HDFS

Hadoop学习笔记(1)--HDFS

 

HDFS的特性

  • 对于整个集群有单一的命名空间;

  • 具有数据一致性,都适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的;

  • 文件会被分割成多个文件块,每个文件块被分配存储到数据节点上,而且会根据配置由复制文件块来保证数据的安全性。

HDFS角色

NameNode、DataNode和Client。

  1. NameNode可以看做是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。也就是管理Metadata。
  2. DataNode是文件存储的基本单元,它将文件块(Block)存储在本地文件系统中,保存了所有Block的Metadata,同时周期性地将所有存在的Block信息发送给NameNode。
  3. Client就是需要获取分布式文件系统文件的应用程序。

HDFS其它功能

  1. 文件块(Block)的放置:为了数据安全,一个Block会有三份备份。
  2. 心跳检测:心跳检测DataNode健康状况。
  3. 数据复制:平衡存储利用率和数据交互压力。
  4. 数据校验:采用CRC32做数据校验。
  5. 数据管道性写入:每个Block都写入了(多个备份)才传入下一个Block进行写入。
  6. 安全模式:安全模式下无法修改删除,系统启动的时候可以检测各DataNode的有效性。。


原文链接:Hadoop学习笔记(1)--HDFS,转载请注明来源!

0