Hadoop技术内幕(YARN)第6章问题讨论

于2017-03-29由小牛君创建

分享到:



《Hadoop技术内幕:深入解析YARN架构设计与实现原理》一书中,“第6章 资源调度器”最后的问题讨论。大家可在此讨论这几个问题。

(1)   问题1:Capacity Scheduler和Fair Scheduler对每个队列的资源使用有最小量和最大量的限制,其中最大量限制是“hard limit”,即队列中的应用程序资源使用总量永不能超过该值,但最小量限制是“soft limit”,即如果队列中的应用程序资源使用量达不到该值,调度器也不会为它预留剩下的资源,而是自动共享给其它队列。试着将Capacity Scheduler和Fair Scheduler的最小资源量限制改为“hard limit”。

(2)   问题2:修改ResourceManager和资源调度器相关实现,使其支持以下容错机制:当一个应用程序的ApplicationMaster运行失败时,先尝试在原节点重启它,如果重启失败,再将其重新调度到其他节点上。

(3)   问题3:计算Capacity Scheduler和Fair Scheduler两个调度器采用的调度算法的时间复杂度。