大数据任务调度平台

最近一直在做组内原有的大数据任务平台的优化,同时也学习和了解了业界一些应用较广的开源任务调度平台。我还是总结一下吧。


整个平台的框架是这样的,没有考虑到Spark任务的执行,也没有做分布式部署的考虑,这次比较大的遗憾




















实际上,这种任务调度要考虑两个方面的策略,一个是作业的调度优化,一个是资源的调度优化。资源的调度优化虽然可以采用yarn来实现资源调度平衡,但基于业务的侧重和使用用户,效果并不太理想。而在作业端的高度调度优化,更多的需要在资源的使用基础上做各种灵活的应用。

我把我做的Demo截图一下,大概的功能需求从图中应该可以看得出来
















[本日志由 admin 于 2017-11-28 06:10 PM 更新]
上一篇: 凡善怕者,必身有所正,言有所规,行有所止。
下一篇: 2017.11.26 2017 东莞国际马拉松
文章来自: 本站原创
引用通告: 查看所有引用 | 我要引用此文章
Tags:
相关日志:
评论: 0 | 引用: 0 | 查看次数: 47
发表评论
昵 称:
密 码: 游客发言不需要密码.
邮 箱: 邮件地址支持Gravatar头像,邮箱地址不会公开.
网 址: 输入网址便于回访.
内 容:
验证码:
选 项:
虽然发表评论不用注册,但是为了保护您的发言权,建议您注册帐号.
字数限制 80 字 | UBB代码 关闭 | [img]标签 关闭