预览模式: 普通 | 列表

《腾讯传》读后感




花了几天时间把《腾讯传》看完,感觉是一本流水账。众所周知,腾讯的产品研发 用户体验 产品运营方面一直是业界的标杆跟向导,本想可以从中获得一点腾讯在产品研发 用户体验方面上的一点经验,似乎也没有很有很深入的阐述,不过对于一个想较为完整了解腾讯发展史的外人来说,还是可以收获一点的,这是一本传记,企业的编年史+江湖故事。

1。江湖传说中与腾讯的故事基本上都在书中有描述:初期贱卖无果 360大战  狗日的腾讯风波 熟悉的结果和故事,稍微多了一点点中途的曲折描述

2。从模仿对手到发现对手不足最后到超越对手,腾讯的每一次新产品新业务无不体现出这一条致胜的法则。

3。腾讯的领导层逐步由封闭走向开放,尤如其产品,是一个不断自我反思的过程。

4。善于发现对手或产品中一些不起眼的问题或机会,从而快速迭代和上线,然而一招致胜之。

5。核心业务围绕核心产品,核心产品实现核心利益 没有利益的业务宁可不做,要做就做NO.1

6。腾讯的领导层都比较低调务实 潮汕人做事的风格一向如此




查看更多...

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 410

5000公里 记念一下







2017



2016


2015



2014


查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 372

2017.08.26 张掖.肃南.吃

分类:摄影 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 379

2017.08.26 张掖.肃南.寺庙

分类:摄影 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 341

2017.08.26 张掖.肃南.一花一世界

分类:摄影 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 358

Hive 杀进程 删除分区数据

杀进程

yarn application -kill  application_1499216480539_24828





删除分区数据

Alter TABLE 库名.表名 Drop PARTITION (分区字段='分区');


查看更多...

分类:大数据 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 318

2017.08.26 张掖.肃南.博物馆

一个人去肃南博物馆逛了一下













查看更多...

分类:摄影 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 277


没有刻意准备,要猛黑练的计划也打折了一半,既然是今年的计划目标,那就上吧。从华南到西北,从兰州到肃南,旅途就花了一天的时间.

东莞=打车=》深圳=飞机=》兰州=飞机=》张掖=打车》肃南





张掖机场很小,一次只能来一架



终于到了起点,肃南



休整了一天,从尧哥那拿到了参赛包,整装待发

查看更多...

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 269

《在线》读书笔记

分类:读书 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 368

Hive 自动生成建表语句



搜索了很多文章,感觉这个最实在实用,写个脚本批量执行就可以了。



#!/bin/bash
hive -e "use hive_dbname;show tables;" > tables.txt
cat tables.txt | while read eachline
do
hive -e "use hive_dbname;show create table $eachline" >>tablesDDL.txt
done



执行如下




查看更多...

分类:大数据 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 369

大数据应用之应用场景



随着大数据的应用越来越广泛,应用的行业也越来越低,我们每天都可以看到大数据的一些新奇的应用,从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据的分析影响,但是大数据是如何帮助人们挖掘出有价值的信息呢

















查看更多...

分类:大数据 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 432


全量导入比较容易,关键在于增量导入


Sqoop导入数据顺序




其实可以把导入的代码固定成脚本,然后只要把库名跟表名换掉就可以了


Sqoop的增量导入要与sqoop的Job关联在一起

全量导入MS-SQL数据至HIVE

#Set the RDBMS connection params
rbms_driver='com.microsoft.sqlserver.jdbc.SQLServerDriver'
rdbms_connstr="jdbc:sqlserver://MSSQL数据库主机;username=用户名;password=密码;database=库名"
rdbms_username="MSSQL数据库用户名"

查看更多...

分类:大数据 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 679

Hive 的字符串UrlDecode 中文解码



真没想到,原来HIVE自己有Urldecode,原本以为要写一个UDF,结果不然。

业务场景: 某字段基本为中文字符,采集时做了urlEncode处理,入到库中没有解码。



要解决的问题:将encode的数据做urldecode处理

方案一:自构建一个UDF函数,需要继承UDF,实现其evaluate()方法

@Description(name = "decoder_url", value = "_FUNC_(url [,code][,count]) - decoder a URL from a String for count times using code as encoding scheme ", extended = ""  
    + "if count is not given ,the url will be decoderd for 2 time,"  
    + "if code is not given ,GBK is used")  
public class UDFDecoderUrl extends UDF {  
  private String url = null;  
  private int times = 2;  
  private String code = "GBK";  
  
  public UDFDecoderUrl() {  

查看更多...

分类:大数据 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 858

2017.05.14. 2017凯乐石广州龙洞越野



没有准备好的比赛 成绩就是好不了 这次跑得累 每个点都要上楼梯 导致整体都慢下来了

这样是搞不了100公里的 还是要多跑多上山















查看更多...

Tags: 广州 龙洞越野

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 625

Hive的某字段去重导入




需求:
1从源数据导入的数据按日期递增分区存储
2.在实际业务使用时只取最早录入的记录即入库里
3.定时过滤并存储到另一张表内。

关键:
每天从源数据导入的业务数据是全量更新 但存储的时候是增量更新 务必会存在某字段数据重复 需要处理

查询源数据


要得到的数据



要使用到的Hive 函数 row_number()   not in

查询所有最早时间录入的源数据

查看更多...

分类:大数据 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 707