首页 » 作者存档: zuobin ( 第 6 页 )

Author Archives: zuobin

Hadoop学习笔记(9)--Yarn

 

MapReduce V1 版本中,JobTracker单点瓶颈问题是影响Hadoop稳定性(可扩展性,内存消耗,线程模型,可靠性和性能上的缺陷)的重要因素。需要处理所有的资源分配,管理所有的心跳信息等。容易造成作业分配不均,作业延迟严重等等问题。 MapRed … 阅读全文

Leiningen中文教程

 

Leiningen教程 英文原文 原文链接 Leiningen是什么 Leiningen是一个用于自动化(构建)clojure项目的工具,使你免于心急火燎的窘境。 它处理各种各样项目相关的任务,可以做到: 创建新项目 管理你的项目的依赖关系 运行测试 运行一个 … 阅读全文

Hadoop学习笔记(8)--MapReduce工作机制

 

任务执行流程 代码编写→作业配置→作业提交→Map任务的分配和执行→处理中间结果→Reduce任务的分配和执行→作业完成, 每个任务的执行过程中,又包含输入准备→任务执行→输出结果。 各角色分工 1.客户端(Client):编写MapReduce代码,配置作业 … 阅读全文