Big Data – geoseis

hive load本地csv新建表

作为分析师，经常遇到建临时表的需求，比如从另外一个系统（比如神策）导出用户数据到csv，然后导入hive表：

use temp;
create table if not exists temp.fast_entrance (dt int, user_id string) row format delimited fields terminated by ',';
hdfs dfs -put 极速处理入口点击但未处理的用户.csv /user/xuzhen.chen/
LOAD DATA INPATH '/user/xuzhen.chen/极速处理入口点击但未处理的用户.csv' OVERWRITE INTO TABLE fast_entrance;

这种需求非常常见，神策圈定具备某些行为特征的用户，然后看这部分用户的属性（hive表）。需要注意的是，考虑到磁盘空间和数据传输效率，这里不能是太大的csv文件

hive去重性能比较

hive sql去重有很多种写法，需要注意性能。下面的比较没有很大参考意义，因为被去重的字段并没有重复值。

select count(distinct deliver_id) from dwd.dwd_evt_c_jd_deliver_hour where dt=20210525
29m, 11s
select count(deliver_id) from dwd.dwd_evt_c_jd_deliver_hour where dt=20210525
29m, 3s
select count( deliver_id) from 
(
select deliver_id 
from dwd.dwd_evt_c_jd_deliver_hour 
where dt=20210525
group by deliver_id) a
2h,46m,12s

-- 在支持窗口函数的 sql 中使用
select count(case when rn=1 then deliver_id else null end) task_num
from (select deliver_id
	      , row_number() over (partition by deliver_id order by deliver_time) rn
	  from dwd.dwd_evt_c_jd_deliver_hour 
	  where dt=20210525) tmp;
2h,36m,9s

注意：这里去重的字段deliver_id是没有重复值的，所以group by会和distinct差不多；这两天系统查询明细变慢，本来想看下去重效率问题，结果发现确实是系统变慢了很多。