大数据任务调度平台

最近一直在做组内原有的大数据任务平台的优化，同时也学习和了解了业界一些应用较广的开源任务调度平台。我还是总结一下吧。


整个平台的框架是这样的，没有考虑到Spark任务的执行，也没有做分布式部署的考虑，这次比较大的遗憾




















实际上，这种任务调度要考虑两个方面的策略，一个是作业的调度优化，一个是资源的调度优化。资源的调度优化虽然可以采用yarn来实现资源调度平衡，但基于业务的侧重和使用用户，效果并不太理想。而在作业端的高度调度优化，更多的需要在资源的使用基础上做各种灵活的应用。

我把我做的Demo截图一下，大概的功能需求从图中应该可以看得出来

上一篇: 凡善怕者，必身有所正，言有所规，行有所止。
下一篇: 2017.11.26 2017 东莞国际马拉松
文章来自: 本站原创
引用通告: 查看所有引用 | 我要引用此文章
Tags:
相关日志: