喜悦国际村 
» 游客:  注册 | 登录 | 搜索 | 统计 | 帮助

RSS 订阅当前论坛  

喜悦证交所已经关闭

上一主题 下一主题
     
标题: [求助]关于自动抓取网页的问题  
 
feiwen (feiwen)
中级会员
Rank: 3Rank: 3
老会员



UID 22716
精华 0
积分 407
帖子 406
金钱 407 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2003-8-25
状态 离线
[求助]关于自动抓取网页的问题

如果我定时自动抓取网页该怎么做
如果用cgi(或c)可以在系统定时运行一个程序
用php改怎样做到定时抓取那?
2003-11-11 02:30 AM#1
查看资料  发短消息  顶部
 
开心果
论坛元老
Rank: 8Rank: 8
有种你就全部删光



UID 22257
精华 5
积分 3661
帖子 3560
金钱 3611 喜悦币
威望 50
人脉 0
阅读权限 90
注册 2003-8-5
状态 离线
[推荐阅读] 各位,哪里有PHP生成word文件的例程?
网络机器人?JAVA有这方面的冬冬,不过我想网管不会让一个脚本程序那么长时间的执行的

最可行的方案就是用一个频繁时间来触发“抓取网页”的模块,比如说浏览者的点击或操作者的登陆等,你觉得了?




不删光,藐视你
2003-11-11 02:45 AM#2
查看资料  Blog  发短消息  顶部
 
feiwen (feiwen)
中级会员
Rank: 3Rank: 3
老会员



UID 22716
精华 0
积分 407
帖子 406
金钱 407 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2003-8-25
状态 离线
[推荐阅读] 用php如何把图片存入mysql数据库中


QUOTE:
最初由 开心果 发布
[B]网络机器人?JAVA有这方面的冬冬,不过我想网管不会让一个脚本程序那么长时间的执行的

最可行的方案就是用一个频繁时间来触发“抓取网页”的模块,比如说浏览者的点击或操作者的登陆等,你觉得了? [/B]
你应该知道用cgi或者java怎么来实现吧就是在系统的定时运行里加入你作的程序就是到了规定时间运行程序运行完推出,php由于自身限制不能像cgi或者java写一个可执行文件来定时运行如果定时运行网页的话好像不好吧
但如果用时间触发,那么当第一个人浏览的时候会很慢.而且存在一个问题,如果恰好那段时间你如抓取的那个网站不能连接就会出现问题了
如果你用一个隐常的页去抓取也许可行(比如<img src=xx.php height=0 width=0>)
总之这些方法都不够理想,不知道有没有更好的办法不需要用户来触发而是系统来触发
2003-11-11 02:58 AM#3
查看资料  发短消息  顶部
 
开心果
论坛元老
Rank: 8Rank: 8
有种你就全部删光



UID 22257
精华 5
积分 3661
帖子 3560
金钱 3611 喜悦币
威望 50
人脉 0
阅读权限 90
注册 2003-8-5
状态 离线
[推荐阅读] Qq有病毒
好像以前都是通过客户端事件出发服务端服务,让服务端自己DIY确实少见,可能是技巧问题吧,需要一个巧妙的构思或更先进的技术支持。

以前大部分人都是通过任务管理器或者是网络机器人做的,期待高手传道ing。。。




不删光,藐视你
2003-11-11 03:23 AM#4
查看资料  Blog  发短消息  顶部
 
feiwen (feiwen)
中级会员
Rank: 3Rank: 3
老会员



UID 22716
精华 0
积分 407
帖子 406
金钱 407 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2003-8-25
状态 离线
[推荐阅读] 求助!!!!我的Linux登陆不了,谁会解决??
2003-11-11 12:48 PM#5
查看资料  发短消息  顶部
 
rcymonkey (rcymonkey)
注册会员
Rank: 2
一般会员



UID 21266
精华 0
积分 101
帖子 99
金钱 101 喜悦币
威望 0
人脉 0
阅读权限 20
注册 2003-7-2
状态 离线
[推荐阅读] 怎样解决php生成word文件时出现的错误?
php脚本的执行时间可能没有那么长
要是用PHP-GTK的话还有可能
但是那到不如用VC
2003-11-11 03:04 PM#6
查看资料  访问主页  发短消息  QQ . .   顶部
 
feiwen (feiwen)
中级会员
Rank: 3Rank: 3
老会员



UID 22716
精华 0
积分 407
帖子 406
金钱 407 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2003-8-25
状态 离线
[推荐阅读] 求助:关于显示的颜色


QUOTE:
最初由 rcymonkey 发布
[B]php脚本的执行时间可能没有那么长
要是用PHP-GTK的话还有可能
但是那到不如用VC [/B]
用其他工具开发一个小程序应该可行,但现在想用php来实现
php执行时间是可以自己设定的可以很长时间,但这不是我需要,需要的是定时运行
2003-11-11 03:25 PM#7
查看资料  发短消息  顶部
     


  可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题 | 开通个人空间  


 




Powered by Discuz! 6.1.0  © 2001-2010 Comsenz Inc.
Processed in 0.023747 second(s), 6 queries

(冀ICP备05009913号) 管理员:sadly 邮箱/MSN: sadly@phpx.com QQ:824008(长隐) 清除 Cookies - - Archiver - WAP