预览模式: 普通 | 列表

Hive的某字段去重导入

作者:admin  日期:2017-05-17




需求：
1从源数据导入的数据按日期递增分区存储
2.在实际业务使用时只取最早录入的记录即入库里
3.定时过滤并存储到另一张表内。

关键：
每天从源数据导入的业务数据是全量更新 但存储的时候是增量更新 务必会存在某字段数据重复 需要处理

查询源数据


要得到的数据



要使用到的Hive 函数 row_number()   not in

查询所有最早时间录入的源数据

查看更多...

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 6321

2017.04.22 深圳磨房100公里

作者:admin  日期:2017-04-24



一直听说这个很有来头，今年尝试了一下。以走的方式参与，走下来一点不比越野累。







其实是为了奖牌去的....


查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2247

大数据架构之消息队列应用

作者:admin  日期:2017-04-19

2017 03.05  2017东莞森林马拉松

作者:admin  日期:2017-03-07



这是迄今为止跑得最虐的一个马拉松 一是赛道 二是大半个月没跑就直接就去参赛了











查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1989

大数据架构之Storm流式处理框架

作者:admin  日期:2017-03-06



















查看更多...

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1949

《以奋斗者为本》读书笔记

作者:admin  日期:2017-02-24



不是很喜欢这样语录式的结构 感觉就是任总的话语摘抄 但里面的话又都说得很实在很清楚

















查看更多...

分类:读书&想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2093

大数据应用之电商运营数据分析指标

作者:admin  日期:2017-02-20








查看更多...

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1891

2017 02.12  2017香港渣打马拉松

作者:admin  日期:2017-02-13



马拉松一组53名 杠杠的











这是第一次去HK 顺便去了一下维多利亚港





查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1860

大数据架构之Spark内存计算框架

作者:admin  日期:2017-02-08





















查看更多...

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1880

大数据架构之Haddop离线应用框架

作者:admin  日期:2017-02-06



大数据学习之离线应用框架组件简介

















查看更多...

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1826

2017 01.27 年夜饭

作者:admin  日期:2017-01-30



好长时间没有晒咱家的年夜饭了

















查看更多...

分类:摄影 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1953

大数据应用之APP产品数据分析指标

作者:admin  日期:2017-01-22



花了点时间了解和搜寻了一下相关的知识,感觉在用户体验这块的指标体系较难量化。








这里还有一份友盟的,可供参考





查看更多...

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2008

重命名文件夹或文件提交SVN报错：both sides of the move must be co

作者:admin  日期:2017-01-11

重命名文件夹或文件提交SVN报错：

both sides of the move must be committed together

环境:java+idea+svn

解决办法:

把要提交的文件所在的整个文件夹的文件复制一份出来暂时放在一个地方

删除当前的文件夹,提交svn commit changes

在Project里新增一个跟原来文件夹名一样的文件夹 提交svn commit changes

再把原来的文件粘贴回来 提交svn  commint changes

OK 了

查看更多...

分类:编程技术 | 固定链接 | 评论: 1 | 引用: 0 | 查看次数: 12762

2017 01.08 厚街半程马拉松

作者:admin  日期:2017-01-09



新年前的最后一赛,权当拉练.





奖牌




成绩






纪念

查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1954

《自控力》读书笔记

作者:admin  日期:2017-01-06



这是今年看的第一本书。

人到中年，确实需要一些改变,当然，自己也在改变着。

不过这本书看起来名气大，感觉是本鸡汤书。













查看更多...

分类:读书&想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1806

2017 01.02 厦门马拉松

作者:admin  日期:2017-01-03



新年的第一个马，也是三大国际金标赛的最后一马。成绩还行。


远方寄来的参赛包




提前预订好的高铁票



出发


我来了！厦门马拉松！


明天我就要冲过这个门了

查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1948

2016 述职

作者:admin  日期:2017-01-03



新的部门 一切都在新的熟悉当中 希望来年有好的发展

















查看更多...

分类:成长 | 固定链接 | 禁止评论 | 引用: 0 | 查看次数: 1826

2016 12.25 同沙半马

作者:admin  日期:2016-12-26



同沙是我的跑马开始的地方,也是今年跑的唯一一个半马




奖牌还是很不错












东莞高手太多....

查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1828

2016 12.11 广州马拉松

作者:admin  日期:2016-12-13



第二次广马，今年最好成绩。一始既往地热情地广州市民。














查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1919

2016.10.22 韩国首尔游.南怡岛

作者:admin  日期:2016-12-06





















查看更多...

分类:摄影 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1961