首页 » 2016 » 5月 » 15

Hadoop学习笔记(3)--Hive

 

Hive是建立在Hadoop上的数据仓库基础构架。 它提供了一系列的工具,用来进行数据提取、转化、加载,这是一种可以存储 、查询和分析存储在Hadoop中的大规模数据的机制。 根据管理层次 (1)元数据存储 Hive将元数据存储在RDBMS中,有三种模式可以连 … 阅读全文

Hadoop学习笔记(2)--Hbase

 

HBase是一个类似Bigtable的分布式数据库,大部分特性和Bigtable一样; 是一个稀疏的、长期存储的(存在硬盘上)、多维度的排序映射表; 表的索引是行关键字、列关键字和时间戳; 表中的每个值是一个纯字符数组,数据都是字符串,没有类型; 用户在表格中 … 阅读全文

Hadoop学习笔记(1)--HDFS

 

HDFS的特性 对于整个集群有单一的命名空间; 具有数据一致性,都适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的; 文件会被分割成多个文件块,每个文件块被分配存储到数据节点上,而且会根据配置由复制文件块来保证数据的安全性。 HD … 阅读全文