2017.08.26 张掖.肃南.博物馆

作者:admin 日期:2017-08-30

一个人去肃南博物馆逛了一下

分类:摄影 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2048

2017.08.26 2017 Garmin张掖祁连山百公里越野赛

作者:admin 日期:2017-08-29

没有刻意准备,要猛黑练的计划也打折了一半,既然是今年的计划目标,那就上吧。从华南到西北,从兰州到肃南，旅途就花了一天的时间.

东莞=打车=》深圳=飞机=》兰州=飞机=》张掖=打车》肃南

张掖机场很小,一次只能来一架

终于到了起点,肃南

休整了一天,从尧哥那拿到了参赛包,整装待发

分类:成长 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2236

《在线》读书笔记

作者:admin 日期:2017-07-25

分类:读书&想法 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1913

Hive 自动生成建表语句

作者:admin 日期:2017-07-25

搜索了很多文章,感觉这个最实在实用,写个脚本批量执行就可以了。

复制内容到剪贴板

程序代码

#!/bin/bash
hive -e "use hive_dbname;show tables;" > tables.txt
cat tables.txt | while read eachline
do
hive -e "use hive_dbname;show create table $eachline" >>tablesDDL.txt
done

执行如下

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2612

大数据应用之应用场景

作者:admin 日期:2017-06-21

随着大数据的应用越来越广泛，应用的行业也越来越低，我们每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据的分析影响，但是大数据是如何帮助人们挖掘出有价值的信息呢

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2357

Hive应用sqoop从MS-SQL 和Oracle 全量增量导入至HIVE

作者:admin 日期:2017-05-25

全量导入比较容易，关键在于增量导入

Sqoop导入数据顺序

其实可以把导入的代码固定成脚本，然后只要把库名跟表名换掉就可以了

Sqoop的增量导入要与sqoop的Job关联在一起

全量导入MS-SQL数据至HIVE

复制内容到剪贴板

程序代码

#Set the RDBMS connection params
rbms_driver='com.microsoft.sqlserver.jdbc.SQLServerDriver'
rdbms_connstr="jdbc:sqlserver://MSSQL数据库主机;username=用户名;password=密码;database=库名"
rdbms_username="MSSQL数据库用户名"

分类:编程技术 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 4029

Hive 的字符串UrlDecode 中文解码

作者:admin 日期:2017-05-23

真没想到,原来HIVE自己有Urldecode,原本以为要写一个UDF，结果不然。

业务场景: 某字段基本为中文字符，采集时做了urlEncode处理，入到库中没有解码。

要解决的问题：将encode的数据做urldecode处理

方案一：自构建一个UDF函数，需要继承UDF,实现其evaluate()方法

复制内容到剪贴板

程序代码

@Description(name = "decoder_url", value = "_FUNC_(url [,code][,count]) - decoder a URL from a String for count times using code as encoding scheme ", extended = ""
    + "if count is not given ,the url will be decoderd for 2 time,"
    + "if code is not given ,GBK is used")
public class UDFDecoderUrl extends UDF {
  private String url = null;
  private int times = 2;
  private String code = "GBK";

  public UDFDecoderUrl() {

分类:编程技术 | 固定链接 | 评论: 1 | 引用: 0 | 查看次数: 23122