hive sql去重性能优化

2021年3月3日加入智联,进入全新的行业很有挑战性,所以最近两个月没有写过博客。今天周末,过来加班+学习,记录下吧。

这篇博客主要讲下hive中groupby和distinct区别以及性能比较,用distinct去重,很容易数据量大的时候的数据倾斜。

都会在map阶段count,但reduce阶段,distinct只有一个, group by 可以有多个进行并行聚合,所以group by会快
-- 搜索单投android_iOS

SELECT dt, count(distinct user_id) application_count_by_day
FROM dwd.dwd_evt_c_jd_deliver_hour
WHERE dt BETWEEN ${date1} AND ${date2} AND deliver_source_page_type_cd='5019'  -- 5019 search;5020 recommend
AND deliver_type_cd= 2                                                           -- 2:单个投递3:批量投递
AND (deliver_termn_cd='210'  or deliver_termn_cd='220')                                                -- 210:IOS; 220:Android
GROUP BY dt
ORDER BY dt
-- 8min40s
-- 搜索单投android_iOS

SELECT dt, count(table1.user_id) application_count_by_day
FROM 
(SELECT  dt, user_id FROM  dwd.dwd_evt_c_jd_deliver_hour
WHERE dt BETWEEN ${date1} AND ${date2} AND deliver_source_page_type_cd='5019'  -- 5019 search;5020 recommend
AND deliver_type_cd= 2                                                           -- 2:单个投递3:批量投递
AND (deliver_termn_cd='210'  or deliver_termn_cd='220')
GROUP BY dt, user_id
) table1                                              -- 210:IOS; 220:Android
GROUP BY dt
ORDER BY dt
-- 4min58s

查询时间基本上为原来的一半儿!要知道今天是周末,工作日这个差距更明显些。

发表评论

邮箱地址不会被公开。 必填项已用*标注