注册用户享全站资源 并成为粉丝 不定时福利发放
 

记一次sql server 性能调优,查询从20秒至2秒

22
发表时间:2018-05-15 18:54

记一次sql server 性能调优,查询从20秒至2秒

一、需求

需求很简单,就是需要查询一个报表,只有1个表,数据量大约60万左右,但是中间有些逻辑。

先说明一下服务器配置情况:1核CPU、2GB内存、机械硬盘、Sqlserver 2008 R2、Windows Server2008 R2 SP1和阿里云的服务器,简单说就是阿里云最差的服务器。

1、原始表结构

非常简单的一张表,这次不讨论数据冗余和表字段的设计,如是否可以把Project和Baojian提出成一个表等等,这个是原始表结构,这个目前是没有办法改变的。

2、查询的sql语句为


select*

from(

select *,ROW_NUMBER()


OVER (ORDER BY sc desc) as rank  

from(

select *,

case when ( 40-(a.p*(

case when a.p > 0 then 1

else -0.5 end)))<=30then 30

else ( 40-(a.p*(

case when a.p > 0 then 1

else -0.5 end)))end as sc  

from (

select * from (

select a.ProjectNumber, a.ProjectName,

a.BaojianNumber, a.BaojianName, a.ToubiaoPerson,

sum(UnitPrice) as sumPrice,

b.price as avgPrice,

((sum(UnitPrice)-b.price)/nullif(b.price,0)*100) as p,

sum(case when UnitPrice>b.price then b.price

else UnitPrice end )as pprice,

sum(case when UnitPrice>MaxPrice then 1

else 0 end ) as countChao

from ToubiaoDetailTest1 a

join (

select ProjectNumber, ProjectName,

BaojianNumber, BaojianName, avg(price) as price

from(

select * from(

select ProjectNumber, ProjectName,

BaojianNumber, BaojianName, ToubiaoPerson,

SUM(UnitPrice) as price,

SUM(case when UnitPrice>MaxPrice then 1

else 0 end ) as countChao

from ToubiaoDetailTest1  

group BY ProjectNumber, ProjectName, BaojianNumber,

BaojianName, ToubiaoPerson

) tt where tt.countChao = 0

) t group by ProjectNumber, ProjectName,

BaojianNumber, BaojianName

) b on a.ProjectNumber=b.ProjectNumber and

a.ProjectName=b.ProjectName and

a.BaojianNumber=b.BaojianNumber and

a.BaojianName=b.BaojianName

group by a.BaojianNumber, a.BaojianName,

a.ProjectNumber, a.ProjectName, a.ToubiaoPerson, b.price    

) tt where tt.countChao=0

) a  

) b

) t  

order by rank

}

此段sql语句主要的功能是:

1、根据ProjectNumber, ProjectName, BaojianNumber, BaojianName, ToubiaoPerson分组,查询所有数据的sum(UnitPrice)
  其中UnitPrice>MaxPrice的判断是为了逻辑,如果有一条数据满足,则此分组所有的数据不查询。

2、根据ProjectNumber, ProjectName, BaojianNumber, BaojianName 分组,查询所有数据的avg(price),以上两步主要就是为了查询根据ProjectNumber, ProjectName, BaojianNumber, BaojianName分组的avg(price)值。

3、然后根据逻辑获取相应的值、分数和按照分数排序分页等等操作。


二、性能调优

在未做任何优化之前,查询一次的时间大约为20秒左右。

1、建立索引

根据sql语句我们可以知道,会根据5个字段(ProjectNumber, ProjectName, BaojianNumber, BaojianName, ToubiaoPerson)进行分组聚合,所以尝试添加非聚集索引idx_calc。

在索引键列添加ProjectNumber, ProjectName, BaojianNumber, BaojianName, ToubiaoPerson。如图:


然后执行查询sql语句,发现执行时间已经减半了,只要10610毫秒


2、索引包含列

分析查询sql可以得知,我们需要计算的值只有UnitPrice和MaxPrice,所以想到把UnitPrice和MaxPrice添加到idx_calc的包含列中。如图


然后执行查询sql语句,发现执行时间再次减半,只要6313毫秒,现在已经从之前的20多秒优化成6秒多。


3、再次优化查询Sql

再次分析sql语句可以把计算所有数据的avg(price)语句暂时放置临时表(#temp_table)中,再计算其他值的时候直接从临时表中(#temp_table)获取数据。


然后执行查询sql语句,执行时间只有2323毫秒。

在硬件、表数据量和查询稍复杂的情况下,这样已经可以基本上满足查询需求了。


三、总结

经过三步:1、建立索引,2、添加包含列,3、用临时表。用三步可以把查询时间从20秒优化至2秒


会员登录

会员登录

登录免费下载全站资源

获取验证码
登录
登录
开发简历

开发简历

简历模板网站自取

入坑需谨慎

入坑需谨慎

高薪完全靠自己

微信赞助-Java帮帮社区

微信赞助-Java帮帮社区

非盈利性学习社区

支付宝赞助-Java帮帮社区

支付宝赞助-Java帮帮社区

将分享做到极致

大公司资讯
文章附图

近日,在美国推出满一年的Facebook视频服务Watch,宣布正式向全球推广,这预示着视频领域中,YouTube...

文章附图

据彭博社北京时间9月19日报道,科技行业最引人注目的法律大战可能正在进入尾声。据高通CEO史蒂夫·莫伦科夫(Ste...

Java帮帮公众号生态

Java帮帮公众号生态

总有一款适合你

Java帮帮-微信公众号

Java帮帮-微信公众号

将分享做到极致

Python帮帮-公众号

Python帮帮-公众号

人工智能,爬虫,学习教程

大数据驿站-微信公众号

大数据驿站-微信公众号

一起在数据中成长

九点编程-公众号

九点编程-公众号

深夜九点学编程

程序员服务区-公众号

程序员服务区-公众号

吃喝玩乐,听学吐画

Java帮帮学习群生态

Java帮帮学习群生态

总有一款能帮到你

Java学习群

Java学习群

与大牛一起交流

大数据学习群

大数据学习群

在数据中成长

九点编程学习群

九点编程学习群

深夜九点学编程

python学习群

python学习群

人工智能,爬虫

测试学习群

测试学习群

感受测试的魅力

Java帮帮生态承诺

Java帮帮生态承诺

一直坚守,不负重望

初心
勤俭
诚信
正义
分享
合作品牌 非盈利生态-优质内容分享传播者
关于我们
友链申请
友链交换:加帮主QQ2524138991 留言即可 24小时内答复  
全站内容非商业用途,内容来源于网友,并遵循 CC BY-NC 4.0 许可,如有异议请联系客服。
会员登录
获取验证码
登录
登录
我的资料
留言
回到顶部