喜悦国际村 
» 游客:  注册 | 登录 | 搜索 | 统计 | 喜悦证交所 | 帮助

 喜悦国际村 » php基础编程 » 大家有没有好办法遍历一个网站的所有URL链接? RSS 订阅当前论坛  

$5.95 Web Hosting     

上一主题 下一主题
 13  1/2  1  2  > 
      
标题: [问题] 大家有没有好办法遍历一个网站的所有URL链接?  
 
skyfox (skyfox)
注册会员
Rank: 2
初级会员


UID 62742
精华 0
积分 179
帖子 125
金钱 179 喜悦币
威望 0
人脉 0
阅读权限 20
注册 2004-12-27
状态 离线
[广告]: 代充Paypal帐号美元
大家有没有好办法遍历一个网站的所有URL链接?

就是获取一个网站的所有url链接,存储在数据库里面,对于已经存取过的url就不再存取了,分析其它页面中没有存取的url?

求一个效率高一点的方法,谢谢.
2007-10-12 09:55 AM#1
查看资料  Blog  发短消息  顶部
 
喜悦村支书
中级会员
Rank: 3Rank: 3


UID 82061
精华 0
积分 210
帖子 258
金钱 210 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2006-10-23
状态 离线
[广告]: 代充Paypal帐号美元
你要实现搜索引擎?


你说的问题我不会,建议研究一下phpdig吧.
2007-10-12 10:24 AM#2
查看资料  发短消息  顶部
 
奶瓶 (NP博士)
版主
Rank: 7Rank: 7Rank: 7
老仙


UID 52707
精华 4
积分 5558
帖子 6228
金钱 5508 喜悦币
威望 50
人脉 0
阅读权限 100
注册 2004-11-22
来自 北大中文系
状态 离线
[推荐阅读] 怎么让用户点击广告挣分
http://www.baidu.com/s?wd=site%3Awww.phpx.com&cl=3

这样算不




图片包子，注册送100包子！
2007-10-12 11:54 AM#3
查看资料  访问主页  Blog  发短消息  QQ  ICQ 状态  Yahoo!  顶部
 
风在芯中
金牌会员
Rank: 6Rank: 6
kuliu.com



UID 25808
精华 0
积分 2543
帖子 713
金钱 2543 喜悦币
威望 0
人脉 0
阅读权限 70
注册 2004-1-19
来自 福建 福州
状态 离线
[推荐阅读] PHP 探针怎么写？
NP的办法挺不错



酷溜网
2007-10-12 12:22 PM#4
查看资料  访问主页  Blog  发短消息  顶部
 
thexie
新手上路
Rank: 1



UID 91680
精华 0
积分 26
帖子 25
金钱 26 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2007-4-20
状态 离线
[推荐阅读] 真正“100M独享”电信服务器、“百M独享”网通服务器促销.
采集？

同问。
2007-10-12 01:15 PM#5
查看资料  发短消息  顶部
 
skyfox (skyfox)
注册会员
Rank: 2
初级会员


UID 62742
精华 0
积分 179
帖子 125
金钱 179 喜悦币
威望 0
人脉 0
阅读权限 20
注册 2004-12-27
状态 离线
[推荐阅读] 关于数组的排序问题


QUOTE:
原帖由 奶瓶 于 2007-10-12 11:54 AM 发表
http://www.baidu.com/s?wd=site%3Awww.phpx.com&cl=3

这样算不
早想到过,最多只能760,还不如采集.
2007-10-12 04:05 PM#6
查看资料  Blog  发短消息  顶部
 
luke00000
新手上路
Rank: 1



UID 99028
精华 0
积分 7
帖子 5
金钱 7 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2007-9-25
状态 离线
[推荐阅读] 数据是放在同一个文件好，还是分开方好
linux 下 lynx 看看 好像还有什么参数。
注册一个帐号真不容易和啊 。163 sina 都不行，而且我只有这两个帐号
2007-10-12 05:10 PM#7
查看资料  发短消息  顶部
 
游戏人间
版主
Rank: 7Rank: 7Rank: 7
☞风云山庄大少爷☜


UID 62639
精华 2
积分 14538
帖子 7531
金钱 14389 喜悦币
威望 20
人脉 129
阅读权限 100
注册 2004-12-21
来自 广西人在北京
状态 离线
[推荐阅读] 重庆phper 承接外包业务
再造百度与沟狗？



　
群号：6025396/6025252/19520091(广西PHP交流/PHP高级编程/算法交流)　寧可在嘗試中失敗,也不在保守中成功!　不為失敗找理由,只為成功找方法!　饿踢Blog
　
2007-10-13 04:28 AM#8
查看资料  访问主页  Blog  发短消息  顶部
 
bxhcsz
新手上路
Rank: 1



UID 92095
精华 0
积分 49
帖子 47
金钱 49 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2007-4-27
状态 离线
[推荐阅读] 我的时间我做主
貌似比较地复杂~~o(∩_∩)o..
偶以前做过一个百度空间的爬行，倍数递增，不停的递归，貌似差不太多，用的curl，不过效率比较地差劲



<?php新人，幻想在坛子里学到各位大牛的精髓，某天李彦宏请我出山，可我就不去.......
2007-10-15 03:21 PM#9
查看资料  Blog  发短消息  顶部
 
millken
高级会员
Rank: 4


UID 73040
精华 0
积分 740
帖子 493
金钱 740 喜悦币
威望 0
人脉 0
阅读权限 50
注册 2006-5-9
来自 REFERER
状态 离线
[推荐阅读] Warning: Smarty error: unable to read resource问题,请大家帮忙!!!!!!!!!!!!!!!!
可以的
站内搜索Snoopy



Blogger 免费搭建的个人BLOG
2007-10-15 04:00 PM#10
查看资料  Blog  发短消息  顶部
 13  1/2  1  2  > 
      


  可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题 | 开通个人空间  


 




Powered by Discuz! 6.1.0  © 2001-2010 Comsenz Inc.
Processed in 0.031781 second(s), 6 queries

(冀ICP备05009913号) 管理员:sadly 邮箱/MSN: sadly@phpx.com QQ:824008(长隐) 清除 Cookies - - Archiver - WAP