预览模式: 普通 | 列表

大数据任务调度平台

最近一直在做组内原有的大数据任务平台的优化,同时也学习和了解了业界一些应用较广的开源任务调度平台。我还是总结一下吧。


整个平台的框架是这样的,没有考虑到Spark任务的执行,也没有做分布式部署的考虑,这次比较大的遗憾
















查看更多...

分类:大数据 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 46


凡善怕者,必身有所正,言有所规,行有所止。

查看更多...

分类:想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 42
很多看起来无比艰难的事情,最难的是做出决定的那一刻

查看更多...

分类:想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 55
我坐在窗前
望着窗外回忆满天
生命是华丽错觉
时间是贼偷走一切




查看更多...

分类:想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 61
少年们总是幻想有一天仗剑走天涯
看一看世界的繁华
可总有一天
他起床发现手里没有剑
哪里也去不了
生活就像一个泥坑
想拔出脚
却动弹不得
那时有的人索性坐下痛哭
有的人抬头看到了星辰
你我都在泥坑
只是有人看到了星辰。



查看更多...

分类:想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 58


美好的东西总是稀少,如果这美好还是属于自己的,那就更难。


查看更多...

分类:想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 72

《拆掉思维里的墙》读书笔记




我找这本书纯粹是看了古典老师在 造就的一个演讲,通过百度方才找到他的书。花了一个星期左右的时间,在晚上睡觉前翻着看,有点感觉不太适合我这种中老年成年男子看了,当然不是说内容不好,可能对刚从大学出来涉世的大学生生们会更加有用一点。对于我这种混迹职坛十载的老年人来说,好像有为时过晚的感觉。我一开始看觉得有点鸡汤的感觉,后面还是觉得偏职业规划方面的内容多一点。还有一点就是这本书有很多很多小故事,也许看起来让人浅显易懂,但感觉还是少了点深度,整本书也缺乏一个连贯的框架和体不。总之,给我的感觉就是一本不太适合我现在年龄段的书。里面有一些观点还是有待斟酌,因人而异。



我喜欢书中的那些小漫画,我也把它找出来了。当然,观点不一定正确。感谢原作者。其它的我就不写了。












查看更多...

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 78

《活着》读后感



我其实有很几年的时间没有买过一本小说,花时间认真看一本小说。购买这本小说说起来也很偶然,京东购书全场打五折,为够凑数也就顺手挑了这本。花了晚上三个小时看完这本并不是很厚的书,只想感叹一声:人生路上,说不尽幸苦,道不尽心酸。各有各的活法,只要你有信念,再苦的日子你也能熬着过下去。

我之后有搜索了一下电影,又花了二个小时看了葛爷和巩爷主演的《活着》,感觉还是没有看书的感觉这么深刻跟残酷。很难想像一个男人的一生岁月,在如此痛苦不堪的日子里度过。那得需要多大的毅力和勇力,能让自己活下去,支撑福贵活下去的信念是什么呢?

福贵的命硬得把自己的爹妈,把老婆,把两个可爱的娃都给克死了,自己还能活着。论什么不幸悲惨命运多舛也诉不尽这样的劫难吧 家破人亡九死一生 跌跌撞撞一路到最后失去了一切 唯剩一头老牛做伴 还就是那样活着 孤独 凄惨 就等着阎王爷来。可是感觉他又是平常的,大多数的我们,虽命运不至如此悲惨,但其实都是老老实实地生活着,随波逐流。星爷有句台词:做人没有梦想,跟咸鱼有什么区别。梦想是有,但不是每一个人都能实现自己的梦想,光靠努力是不行的。天时,地利,人和。也许这就是命吧。

很长时间没有看这类书,看完虽有所感,却又不知所言,感觉就是苦涩,如同生活中的某些岁月。富贵的人生未必一生都富贵。贫穷的日子未必找不到瞬间的幸福。人生路上有人相伴至老,如影随行,也许才是开心的。我们的大多数都是平平凡凡过一生,大多数人的人生都是一个轮回,结婚生子,育女养老。


顺便反醒了一下,我的知识面还不够宽,以后的读书域,需要更拓展至文学方面,而不能仅局限于传记 经济 管理 技术类。

最后用作者的一句话来表达最近的感慨吧。


查看更多...

Tags: 活着

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 67

《推荐系统实践》读书笔记



这本书我看了几次,一直听到推荐系统这个词,没有很好地了解,通过看了这本书终于明白了其运行的机制和大致的构建思路,只是更进一步的算法还没认真去理解和参透。


基于注册信息的个性化推荐流程基本如下:
(1) 获取用户的注册信息;
(2) 根据用户的注册信息对用户分类;
(3) 给用户推荐他所属分类中用户喜欢的物品。


推荐系统实验方法

离线实验

1通过日志系统获得用户行为数据,并按照一定格式生成一个标准的数据集;

2将数据集按照一定的规则分成训练集和测试集;

3在训练集上训练用户兴趣模型,在测试集上进行预测;

查看更多...

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 92

2017.11.05 2017 杭州马拉松



跑崩了,不想说话

















查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 95

《索罗斯传》读后笔记



在索罗斯眼中,追求哲学就是追求人类的智慧。索罗斯是金融界的怪才鬼才奇才,他在国际金融界掀起的索罗斯旋风几乎席卷世界各地,所引起的金融危机令各国金融界闻之色变。从古老的英格兰银行,南美洲的墨西哥,到东南亚新兴的工业国,甚至连经济巨兽日本,都未能幸免在索罗斯旋风中败北。索罗斯管理的对冲基金,投资使用的金融工具,以及使用的资金数量是一般投资者难以望其项背的,但他的投资秘诀对一般投资者还是有借鉴启迪作用的。

⒈ 突破扭曲的观念
索罗斯通过早期哲学研究发现人类的认识存在缺陷,对真实的看法有所扭曲,而金融投资的核心就是要对人类存有缺漏和扭曲的认识作文章。

⒉ 关注市场预期
索罗斯对传统经济学理论建立的完全自由竞争模式不以为然,他认为供需关系的发展会受市场操纵,从而导致价格波动,而不是趋于均衡。此外,未来价格的走势却又是由当前的买入或卖出行为所决定的。因此要依靠自已的认识对市场进行预期。

⒊ 市场的无效性
古典经济学的有效市场理论假定金融市场最终会走向均衡,而依据索罗斯的观点,金融市场的运作方式注定其是无效市场,即非理性。依靠有效市场理论对行情的判断依据也是靠不住的,利用和把握了无效市场所提供的投资机会,使索罗斯的基金发展状大。

⒋ 寻找偏差
金融市场在不均衡中运转造成市场参与者的市场预期与客观事物出现不可避免的偏差,寻找市场可能出现过度非均衡的倾向是发现投资机会的捷径。

⒌ 发现联系
市场参与者带着偏见操作,而偏见本身也能影响事件的推展。索罗斯认为市场参与者的偏见和现实事态的进程存在反作用联系,未来的事件被期望所塑造。

⒍ 揭示市场偏见
根据反射理论,市场天生就不稳定,偏见和认知缺陷将进一步导致市场波动,又将再次影响了投资人的期望——认知和现实间出现双向的回馈,这种不稳定将对投机者极为有利。

查看更多...

Tags: 索罗斯传

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 193



新零售是2017年最热的词汇之一,老是听到这个词汇。却没花心去了解它到底的涵义,买本书来看看。看完这本书感觉没有讲到真正的本质,缺乏一些实践做辅助,或许本身这种业态或新东西就处于一个摸索状态吧。

什么是新零售
新零售就是基于大数据,云计算等新兴科技,以数据为驱动,以满足个性化需求为目的,借助体验式服务完成的点对点商业行为。

新零售新在哪里
.利用新技术提升用户体验和运营效率,改变用户的消费场景。
.通过云计算完成数据收集分析,总结用户的购买行为,优化营销方安要,进行精准的商品信息推送和关联
.运用新技术对供应链进行管理和控制 ,降低成本提高效率,同时提升产品品质。

顶层设计公开化:平台化的公司将供应商,渠道商,店家都拉进来,从上下游关系变成平行关系,变被动为主动。
实体店资产证券化:通过结构化设计进行信用增级,在此基础上发行资产支持证券,用以保证 现金流充足 ,提升资金周转率,实现资金收益最大化。
双轨制管理经营模式:将实体店的投资和经营管理分离,将投资收益与经营分开结算,规避经营风险,形成利益共同体。
产供销为一体:利用线上线下资源建立快速反馈机制,实现小批量短周期的生产,缩短业务周期。


新零售
未来的零售应该是制造商根据消费者的需求,通过协调供应商把产品生产出来,统一制定零售价格,然后通过各种渠道卖给消费者,再根据供应链上的各个环节的关系分摊成本、分摊利润。

查看更多...

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 296

记录一下 破5K升5钻



不容易,提前完成目标。没有一个信用是炒来的.

记录一下。



争取2年内升冠

查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 265

35岁



35岁 要学会去面对自己的过去,也要懂得去挑战自己的未来




一夜秋风秋叶落,
两处秋霜明镜悲。
豆蔻年华轻狂在,
何妨秋月白发催。

查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 288

《读书与旅行》笔记



有多长时间 耐心去看一本这样的"闲书"了。

自己好像都没什么心思 认认真真从头到尾一页页看进去了。原以为是本鸡汤书,是本游记的书。那心境也许就如同每次在大山狂跑时才能体会到。



每次去越野,我总是如同工作般认真对待,却是少了些许自由与散漫。只有在过程当中,方能体会到如画般的风景和自由奔放的心情。

查看更多...

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 321