- PHP高级编程 - 请问怎样获取互联网上网站的信息? - 喜悦国际村

喜悦国际村 » PHP高级编程 » 请问怎样获取互联网上网站的信息?

喜悦证交所已经关闭

上一主题

下一主题

phpqingang
注册会员
Rank: 2

冷月

UID 23517
精华 0
积分 180
帖子 1514
金钱 180 喜悦币
威望 0
人脉 0
阅读权限 20
注册 2003-9-28
来自水星
状态离线

请问怎样获取互联网上网站的信息?

就像百度,google之类的搜索引擎,是怎样搜索互联网上的内容的?

2006-6-16 09:16 AM

duketang (duketang)
版主
Rank: 7

无聊的老亮

UID 18398
精华 3
积分 84
帖子 1646
金钱 54 喜悦币
威望 30
人脉 0
阅读权限 100
注册 2003-2-17
来自沈阳->北京->沈阳-> ...
状态离线

[推荐阅读] 遍历目录内所有图片，删除所有为0kb的文件

想跟你说不过不知道如何跟你说

2006-6-16 02:38 PM

. .

sanders_yao
版主
Rank: 7

or2 =333

UID 30286
精华 0
积分 11763
帖子 4942
金钱 11760 喜悦币
威望 0
人脉 3
阅读权限 100
注册 2004-7-23
来自北京菜户营
状态离线

[推荐阅读] 问个php和javascript的问题

我只知道从访问我们网站的客户端信息中总是出现如下的东西：
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Baiduspider+(+http://www.baidu.com/search/spider.htm)
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
目前google访问的次数排名第一
其次是baidu

最近写的一些代码都会在以下地址发布，有兴趣的来批：
http://www.phpx.com/happy/thread-131368-1-1.html

2006-6-16 03:23 PM

liyaping
注册会员
Rank: 2

UID 73907
精华 0
积分 98
帖子 97
金钱 98 喜悦币
威望 0
人脉 0
阅读权限 20
注册 2006-5-24
状态离线

[推荐阅读] 使用fopen()出现的问题?

这就是spider的基础，可以使用：
<?php

$ch = curl_init("http://www.example.com/");
$fp = fopen("example_homepage.txt", "w");

curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_HEADER, 0);

curl_exec($ch);
curl_close($ch);
fclose($fp);
?>
比较好，可以处理cookie

2006-6-29 02:36 PM

可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题 | 开通个人空间

(冀ICP备05009913号)	管理员:sadly 邮箱/MSN: sadly@phpx.com QQ:824008(长隐)	清除 Cookies - - Archiver - WAP