喜悦国际村 
» 游客:  注册 | 登录 | 搜索 | 统计 | 喜悦证交所 | 帮助

 喜悦国际村 » PHP高级编程 » 如何提高抓取效率 RSS 订阅当前论坛  

$5.95 Web Hosting     

上一主题 下一主题
 18  1/2  1  2  > 
      
标题: [问题] 如何提高抓取效率  
 
double2
新手上路
Rank: 1
初级会员



UID 18768
精华 0
积分 9
帖子 7
金钱 9 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2003-3-7
状态 离线
[广告]: 代充Paypal帐号美元
如何提高抓取效率

我需要连续抓取大量网页内容。
目前抓取页面解析都没有任何问题。
但是连续抓取的效率实在低下，请问如何能够提高效率呢？

目前使用的curl来抓取的。

先谢过大家了



http://www.udaily.cn
2007-11-24 10:35 PM#1
查看资料  访问主页  发短消息  顶部
 
LuckLrj (中国php中的爱因斯坦)
版主
Rank: 7Rank: 7Rank: 7
老会员


UID 64836
精华 0
积分 2323
帖子 3118
金钱 2323 喜悦币
威望 0
人脉 0
阅读权限 100
注册 2005-6-19
状态 离线
[广告]: Enom域名自助付费 自助注册 自助PUSH 主流域名COM等一律57.99元年
加快网速。多并发几个你的抓取程序



学习,工作累了，请访问我的小站，娱乐一下。http://www.52sunny.net
2007-11-27 11:48 AM#2
查看资料  Blog  发短消息  顶部
 
暗黑斯纳达
新手上路
Rank: 1



UID 102191
精华 0
积分 10
帖子 21
金钱 10 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2007-11-27
状态 离线
[推荐阅读] 老大，把我的Zend封盘了，退给我资金啊！
你要多快啊
2007-11-28 01:46 PM#3
查看资料  发短消息  顶部
 
小木头
金牌会员
Rank: 6Rank: 6



UID 101302
精华 0
积分 2136
帖子 77
金钱 2136 喜悦币
威望 0
人脉 0
阅读权限 70
注册 2007-11-14
状态 离线
[推荐阅读] adodb+smarty+mysql+php的分页实例
多造几只抓了出来....抓
2007-11-28 03:22 PM#4
查看资料  发短消息  顶部
 
osdn
禁止发言

初级会员



UID 66985
精华 0
积分 -37
帖子 353
金钱 -37 喜悦币
威望 0
人脉 0
阅读权限 0
注册 2005-9-28
来自 红色主机
状态 离线
[推荐阅读] 求一 SQL语句 在线等！！谢谢！！
*** 作者被禁止或删除 内容自动屏蔽 ***
2007-11-29 10:52 AM#5
查看资料  访问主页  发短消息  顶部
 
songlv (超级版主)
金牌会员
Rank: 6Rank: 6


UID 73828
精华 0
积分 2933
帖子 689
金钱 2929 喜悦币
威望 0
人脉 4
阅读权限 70
注册 2006-5-22
状态 离线
[推荐阅读] 有没有开源的php类库，实现数据库的负载均衡？
curl多费事啊，filegetcontent()吧，多开几个页面 并行，只要你带宽够 就行



不要跑  
2007-11-30 11:47 AM#6
查看资料  访问主页  Blog  发短消息  顶部
 
老衲受不了
乞丐




UID 102601
精华 0
积分 -14
帖子 12
金钱 -14 喜悦币
威望 0
人脉 0
阅读权限 1
注册 2007-12-3
状态 离线
[推荐阅读] 老大 每天晚上8点到家 股市也关门了 不如我们时间弄到晚上把
PHP不适合干这种事....执行页面的时间有限制....
2007-12-3 03:48 PM#7
查看资料  发短消息  顶部
 
g9394
新手上路
Rank: 1



UID 81189
精华 0
积分 17
帖子 33
金钱 17 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2006-10-8
状态 离线
[推荐阅读] PHP问题，有问必答
ＪＡＶＡ，多线程，嘻嘻
2007-12-14 04:56 PM#8
查看资料  发短消息  顶部
 
mudone
新手上路
Rank: 1



UID 85631
精华 0
积分 13
帖子 11
金钱 13 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2007-1-6
状态 离线
[推荐阅读] 谁用过ffmpeg,win32下的哦
我做过采集。。
跟网速有很大关系。还有网络状况。

把php的执行时间设置不限制。然后把curl弄个超时吧。。
2007-12-17 12:51 AM#9
查看资料  发短消息  顶部
 
nombx
注册会员
Rank: 2



UID 75455
精华 0
积分 100
帖子 68
金钱 100 喜悦币
威望 0
人脉 0
阅读权限 20
注册 2006-6-24
状态 离线
[推荐阅读] 兄弟们快去呀，有钱的主.
写一个线程类，让它模拟java的线程。
然后给他的并发多点就行了。
我也在做类似的事情，想把php搜索作为自己的毕业设计。（慢慢摸索中.....）
       php绝对可搞定的抓取的工作。不是凭直觉哦

[ 本帖最后由 nombx 于 2007-12-23 07:57 PM 编辑 ]
2007-12-23 07:55 PM#10
查看资料  访问主页  发短消息  QQ  顶部
 18  1/2  1  2  > 
      


  可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题 | 开通个人空间  


 




Powered by Discuz! 6.1.0  © 2001-2010 Comsenz Inc.
Processed in 0.021910 second(s), 6 queries

(冀ICP备05009913号) 管理员:sadly 邮箱/MSN: sadly@phpx.com QQ:824008(长隐) 清除 Cookies - - Archiver - WAP