首页 » 2016 ( 第 3 页 )

Tomcat开启Jpda支持(远程调试)

 

遇到运行态的bug错误,本地的话可以debug,远程的话通常可以通过日志等来观察和测试运行态中的环境。 但是如果程序运行在远程环境上,根本无法修改程序、又或者想减少相关日志代码频繁修改等等情况? 可以尝试JPDA. 启动tomcat的jpda支持 默认情况下t … 阅读全文

自动删除Linux过期日志

 

Nginx Access日志越来越多,磁盘堆积的也越来越多。 前面写过脚本备份过日志,这里写一个自动删除过期日志的脚本。 #!/bin/bash #扫描的base路径 p_prefix='/opt/deploy/' #日志后缀路径 p_suffix='/log … 阅读全文

Hive,Pig,Hbase总结

 

Hive Hive用SQL的方式去描述MapReduce。 会写SQL基本就能够写出MapReduce出来了,解放了数据分析人员。 Hive在Hadoop中是数据仓库的角色。建立在Hadoop集群的最顶层,面向行存储。 ,对存储在Hadoop群上的数据提供类S … 阅读全文

Hadoop学习笔记(14)--Pig使用

 

以下使用PIG来做一个最简单的统计。 统计网站服务某一个nginx日志,在一天之内,存在哪些频繁访问的IP。 以前曾使用awk来做过类似的统计,具体可参看以前的文章。 首先,nginx日志格式如下: 121.42.0.88 - - [10/May/2016:0 … 阅读全文

Hbase常用命令

 

进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令), 认证成功之后再使用hbase shell进入可以使用whoami … 阅读全文

Hadoop学习笔记(12)--Hbase安装

 

安装配置 Hbase需要zookeeper的支持,本博客有专门写zookeeper安装教程的可参看。 单机安装的话可以用Hbase自带的,伪分布安装的话自己安装一个Zookeeper即可。 下面HBASE_MANAGES_ZK=false: false使用自带 … 阅读全文