首页 » 2016 ( 第 5 页 )

Hadoop学习笔记(3)--Hive

 

Hive是建立在Hadoop上的数据仓库基础构架。 它提供了一系列的工具,用来进行数据提取、转化、加载,这是一种可以存储 、查询和分析存储在Hadoop中的大规模数据的机制。 根据管理层次 (1)元数据存储 Hive将元数据存储在RDBMS中,有三种模式可以连 … 阅读全文

Hadoop学习笔记(2)--Hbase

 

HBase是一个类似Bigtable的分布式数据库,大部分特性和Bigtable一样; 是一个稀疏的、长期存储的(存在硬盘上)、多维度的排序映射表; 表的索引是行关键字、列关键字和时间戳; 表中的每个值是一个纯字符数组,数据都是字符串,没有类型; 用户在表格中 … 阅读全文

Hadoop学习笔记(1)--HDFS

 

HDFS的特性 对于整个集群有单一的命名空间; 具有数据一致性,都适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的; 文件会被分割成多个文件块,每个文件块被分配存储到数据节点上,而且会根据配置由复制文件块来保证数据的安全性。 HD … 阅读全文

强大的日志分析工具GoAccess

 

前面使用过简单的脚本屏蔽过一些访问过多的ip。 其实还有很多工具,可以来分析这些日志。比如GoAccess. GoAccess 是一款用于Apache或者Nginx的命令行日志分析器和交互式查看器。 官方网站:https://goaccess.io/,目前最新 … 阅读全文

Nginx自动屏蔽频繁访问的IP

 

生产环境如果存在IP过于频繁的访问,可能会频繁查询数据库,从而导致机器负载很高, 所以需要屏蔽掉相关访问频繁的IP。 取得IP之后通过nginx进行屏蔽 原理 nginx配置中allow,deny ip来进行权限屏蔽。 可创建一个blockip.conf,将屏 … 阅读全文

JDK命令行工具相关整理(3)

 
jmx-jvisualvm

jstatd 启动jvm监控服务。它是一个基于rmi的应用,向远程机器提供本机jvm应用程序的信息。默认端口1099。 一个监控守护进程而已,需要配合其他命令行工具发挥功效。 <br />#创建一个policy文件,提供权限 cd /tmp/ to … 阅读全文

JDK命令行工具相关整理(2)

 

接上一篇blog。 jinfo 用于查询当前运行这的JVM属性和参数的值。 常用的参数为: 参数名 解释 -flag 显示未被显示指定的参数的系统默认值 -flag [+|-]name或-flag name=value 修改部分参数 -sysprop … 阅读全文