喜悦国际村 专业PHP开发者社区's Archiver

dzjzmj 发表于 2010-4-17 07:51 PM

哥优化的不是代码,是思路—–分页计数的优化

可能我讲是是小儿科,高手可以跳过,但我想对很多新手一定有帮助。
在web应用中最常见的信息列表,我们都会用到分页,但怎么样的方式才是最优化的呢?
通过为了分页我们查列表前要计算总行数,这样才能知道分几页。
比如说一个列表结果是126行,如果一页20行的话那么分7页,对吧。
我们的代码经理是这样的:
计算总行数:select count(*) from tablename where …..
查询列表select * from tablename where … limit…
我们看这种方式再没有任何优化的方式下这样第个列表都是再次查询。
首先我们假设数据更新频率不是很高的情况下,我们点第1页,第2页 。。。第n页 其实第一句sql得到的都是同一个结果,这样是不是后面都在做重复工作呢。那我们第1页得到结果数后是不是可以将结果一下传递下去就行了。
例如我们分页链接第2页是这样的 list.php?page=2&count=126
在程序上加一个判断:
if ($_GET['count']) {
$count = $_GET['count'];
} else {
$count =select count(*) from tablename where …..
}
这样优化以后如果我们只有第一页才计算总数,后面的页数都不用了,这样是不是就可以提升了效率。
还有这么种情况,也就是在模糊查询的情况下,我们有一个应用,我估计大部分查询结果数小于20,也就是都只有一页结果,那么如果都去计算总数是没有必要的,而且模糊查询效率也比较低。所以我突然想到跳出原来的思维,为什么一定要先计算总行数,再取列表呢?
其实完全可以先查询列表,如果列表结果数=20,那么我们再查询总行数,因为小于20的话,其实只有一页。总行数就等于查出来的列表结果数。
伪代码为:
if ($_GET['page']<2) {
$list = select * from tablename where … limit 0,20  [color=#ff0000]第一页时直接查询前20条[/color]
if (count($list)=20) {
$count =select count(*) from tablename where …..
} else {
$count =count($list);
}
} else {
$count = $_GET['count'];
$list = select * from tablename where … limit page-1*20,page-1*20+20
}
以上代码可能比较难看懂,主要明白思路,自己去写就行了。当然还有一种可以直接不才计算总行数,通过当前列表结果是否=20来决定是否显示下一页链接。其实方向有很多种,我说的只是一种思路。其实很多时候关键看思路,并不是优化一定要用什么很厉害的技术。多思考才有益进步。
[align=left]Tags: [url=http://www.coderhome.net/zifa/archives/tag/%e4%bc%98%e5%8c%96]优化[/url], [url=http://www.coderhome.net/zifa/archives/tag/%e5%88%97%e8%a1%a8%e9%a1%b5%e4%bc%98%e5%8c%96]列表页优化[/url][/align]
[align=left]原文:[url=http://www.coderhome.net/zifa/archives/630]http://www.coderhome.net/zifa/archives/630[/url]
[/align]

bugkiller 发表于 2010-4-18 11:32 AM

如果是论坛呢?

dzjzmj 发表于 2010-4-18 12:28 PM

当然看具体应用

sanders_yao 发表于 2010-4-19 08:54 AM

挺好

只爱一个人 发表于 2010-4-19 07:03 PM

挺好 很明显的说明,程序是死的,人是活的,针对不同的运用,思想和实现处理的经验,有时候可以比算法更实用

light2000 发表于 2010-4-27 02:26 PM

不错,学习了~

Roast Duck 发表于 2010-4-28 04:41 PM

打破常规的思维模式的想法,很好.

lxq73061 发表于 2010-5-8 10:42 PM

哎,不敢学太深,否则可能陷进去了.

电脑民工 发表于 2010-5-18 02:48 PM

[url]http://www.percona.com/ppc2009/PPC2009_mysql_pagination.pdf[/url]
建议看看这个

select * from tablename where … limit page-1*20,page-1*20+20 性能很差的


select * from $table_name where id > $start_id  order by id asc limit $limit_count 替代

newmewo 发表于 2010-5-19 11:37 PM

[b] [url=http://www.phpx.com/redirect.php?goto=findpost&pid=1150987&ptid=260617]9#[/url] [i]电脑民工[/i] [/b]

c1a1o1 发表于 2010-5-20 04:49 PM

也来看看 学习一下

zm6931 发表于 2010-5-24 10:48 AM

不错,代码是要根据情况具体应用的,支持楼主

kuye3131 发表于 2010-6-7 05:23 PM

恩,挺好,我只想到了把count传下去,没想到判断是不是需要count(*)

greenoldman 发表于 2010-6-30 03:41 PM

if ($_GET['count']) {
$count = $_GET['count'];
} else {
$count =select count(*) from tablename where …..
}

安全是个事

电脑民工 发表于 2010-7-27 11:17 AM

[quote]if ($_GET['count']) {
$count = $_GET['count'];
} else {
$count =select count(*) from tablename where …..
}

安全是个事
[size=2][color=#999999]greenoldman 发表于 2010-6-30 03:41 PM[/color] [url=http://www.phpx.com/redirect.php?goto=findpost&pid=1153422&ptid=260617][img]http://www.phpx.com/images/common/back.gif[/img][/url][/size][/quote]

应该isset且判断下是否是数字

电脑民工 发表于 2010-7-27 11:19 AM

[quote]对于数据基本上不变化的列表可以这样做,但如果数据经常性变化,甚至每秒都在变化的话,这样的做法是不合适的。。
主要原因是你的count这个变量旦设置了就没有办法清除掉。这样总页数就不正确了。
不知道有没有好的 ...
[size=2][color=#999999]shmiya 发表于 2010-7-27 10:46 AM[/color] [url=http://www.phpx.com/redirect.php?goto=findpost&pid=1154910&ptid=260617][img]http://www.phpx.com/images/common/back.gif[/img][/url][/size][/quote]

可以在数据库外面放计数器,每当插入删除数据更新其值
但是实际上,count并非数据库性能瓶颈所在, 危害大的是limit m,n
看我推荐的那个pdf啊

moo 发表于 2010-7-27 06:11 PM

我的框架支持sql完全缓存,只要数据没有修改,全部走memecache
就没有上面的问题了

moo 发表于 2010-7-28 10:32 AM

[quote]cache和优化是不冲突的
你如何判断数据被修改了?
比如说我新添加了一个文章,你把所有的文件列表缓存全清空。。是这样吗。。这样造成的大量的内存(memcache)操作是否值得呢?
程序的复杂度也增加了。
[size=2][color=#999999]shmiya 发表于 2010-7-28 09:28 AM[/color] [url=http://www.phpx.com/redirect.php?goto=findpost&pid=1154955&ptid=260617][img]http://www.phpx.com/images/common/back.gif[/img][/url][/size][/quote]

请看这篇文章
http://www.phpx.com/thread-261450-1-1.html
我把缓存作为数据库中间件,而不是常规的缓存对待

电脑民工 发表于 2010-7-28 12:04 PM

[quote]cache和优化是不冲突的
你如何判断数据被修改了?
比如说我新添加了一个文章,你把所有的文件列表缓存全清空。。是这样吗。。这样造成的大量的内存(memcache)操作是否值得呢?
程序的复杂度也增加了。
[size=2][color=#999999]shmiya 发表于 2010-7-28 09:28 AM[/color] [url=http://www.phpx.com/redirect.php?goto=findpost&pid=1154955&ptid=260617][img]http://www.phpx.com/images/common/back.gif[/img][/url][/size][/quote]

触发器

tianfing 发表于 2010-7-28 12:58 PM

[quote]
建议看看这个
select * from tablename where … limit page-1*20,page-1*20+20 性能很差的

select * from $table_name where id > $start_id  order by id asc limit $limit_count 替代
[size=2][color=#999999]电脑民工 发表于 2010-5-18 02:48 PM[/color] [url=http://www.phpx.com/redirect.php?goto=findpost&pid=1150987&ptid=260617][img]http://www.phpx.com/images/common/back.gif[/img][/url][/size][/quote]
如果ID是不连续的话,用后面的sql得到的结果跟上面的sql得到的结果是不一样的
不知道有什么好的办法能得到准确的起始 $start_id

页: [1] 2

Powered by Discuz! Archiver 7.0.0  © 2001-2009 Comsenz Inc.