hive去重性能比较

hive sql去重有很多种写法,需要注意性能。下面的比较没有很大参考意义,因为被去重的字段并没有重复值。

select count(distinct deliver_id) from dwd.dwd_evt_c_jd_deliver_hour where dt=20210525
29m, 11s
select count(deliver_id) from dwd.dwd_evt_c_jd_deliver_hour where dt=20210525
29m, 3s
select count( deliver_id) from 
(
select deliver_id 
from dwd.dwd_evt_c_jd_deliver_hour 
where dt=20210525
group by deliver_id) a
2h,46m,12s

-- 在支持窗口函数的 sql 中使用
select count(case when rn=1 then deliver_id else null end) task_num
from (select deliver_id
	      , row_number() over (partition by deliver_id order by deliver_time) rn
	  from dwd.dwd_evt_c_jd_deliver_hour 
	  where dt=20210525) tmp;
2h,36m,9s

注意:这里去重的字段deliver_id是没有重复值的,所以group by会和distinct差不多;这两天系统查询明细变慢,本来想看下去重效率问题,结果发现确实是系统变慢了很多。

hive sql去重性能优化

2021年3月3日加入智联,进入全新的行业很有挑战性,所以最近两个月没有写过博客。今天周末,过来加班+学习,记录下吧。

这篇博客主要讲下hive中groupby和distinct区别以及性能比较,用distinct去重,很容易数据量大的时候的数据倾斜。

都会在map阶段count,但reduce阶段,distinct只有一个, group by 可以有多个进行并行聚合,所以group by会快
-- 搜索单投android_iOS

SELECT dt, count(distinct user_id) application_count_by_day
FROM dwd.dwd_evt_c_jd_deliver_hour
WHERE dt BETWEEN ${date1} AND ${date2} AND deliver_source_page_type_cd='5019'  -- 5019 search;5020 recommend
AND deliver_type_cd= 2                                                           -- 2:单个投递3:批量投递
AND (deliver_termn_cd='210'  or deliver_termn_cd='220')                                                -- 210:IOS; 220:Android
GROUP BY dt
ORDER BY dt
-- 8min40s
-- 搜索单投android_iOS

SELECT dt, count(table1.user_id) application_count_by_day
FROM 
(SELECT  dt, user_id FROM  dwd.dwd_evt_c_jd_deliver_hour
WHERE dt BETWEEN ${date1} AND ${date2} AND deliver_source_page_type_cd='5019'  -- 5019 search;5020 recommend
AND deliver_type_cd= 2                                                           -- 2:单个投递3:批量投递
AND (deliver_termn_cd='210'  or deliver_termn_cd='220')
GROUP BY dt, user_id
) table1                                              -- 210:IOS; 220:Android
GROUP BY dt
ORDER BY dt
-- 4min58s

查询时间基本上为原来的一半儿!要知道今天是周末,工作日这个差距更明显些。