原 Hive,Pig,Hbase总结
Hive Hive用SQL的方式去描述MapReduce。 会写SQL基本就能够写出MapReduce出来了，解放了数据分析人员。 Hive在Hadoop中是数据仓库的角色。建立在Hadoop集群的最顶层，面向行存储。 ，对存储在Hadoop群上的数据提供类S … 阅读全文
首页 » 标签存档: Pig
Tag Archives: Pig
原 Hadoop学习笔记(14)--Pig使用
以下使用PIG来做一个最简单的统计。 统计网站服务某一个nginx日志，在一天之内，存在哪些频繁访问的IP。 以前曾使用awk来做过类似的统计，具体可参看以前的文章。 首先，nginx日志格式如下： 121.42.0.88 - - [10/May/2016:0 … 阅读全文
原 Hadoop学习笔记(13)--Pig安装
安装配置Pig mkdir -p /opt/hadoop/pig wget http://mirror.bit.edu.cn/apache/pig/pig-0.16.0/pig-0.16.0.tar.gz tar -zxvf pig-0.16.0.tar.gz … 阅读全文