感谢zhiwei http://bbs.xmu.edu.cn/bbsqry?userid=zhiwei 的帮忙(zhiwei是厦大asp牛人,Beta http://beta.xmu.edu.cn 也是哈,有asp的问题就找他们:)),终于把asp抓取网页这个技术难题解决了。

这 http://bbs.xmu.edu.cn/bbscon?board=webapp&file=M.1054382093.A&num=1342 是在鼓浪听涛上讨论的主题,在sunlxy http://bbs.xmu.edu.cn/bbsqry?userid=sunlxy 的建议下我最先试用了W3.Socket,还写了一个函数 http://bbs.xmu.edu.cn/bbscon?board=webapp&file=M.1054374678.A&num=1340 封装了请求的代码。可惜在最后使用时发现速度太慢,经过在各步跟踪
Response.Write “xxx begin” & Now & “”
后发现是
socket.WaitForDisconnect
的问题,这个Wait至少要等15秒。ft。黄花菜都凉了。

接着又试用了MSXML2.XMLHTTP,readyState永远都是1,不成功。

再试用InetCtls.Inet,这个类在MSINET.OCX里面,可惜运行时发生“类未授权使用”的未知问题。

期间也试用了AspHTTP3.5 http://www.serverobjects.com/products.htm ,这个是要注册的,虽然找到了一个破解文件,但是只针对3.01,最新的是3.5的,所以放弃了(后来知道破解文件是正确的,只是我自己类型选错了。)。不死心,又找到一个网友自己写的AspHTTP,其实就是封装MSINET.OCX。可惜速度还是太慢。最后在zhiwei的帮助下找到了新的AspHTTP3.5的破解文件,这个zip文件是把程序和crack打包在一起的,开始注册还是不成功,后来我想,这肯定是能用的,否则人家也不会打包了。在这个指导思想下再仔细寻找注册类型,发现有2个,一个是AspHTTP,一个是AspHTTP3.0,原先我都是选AspHTTP3.0,所以无法注册。测试选择AspHTTP,果然就可以了哈。注册数据写在注册表的HKEY_LOCAL_MACHINE\SOFTWARE\SteveG\HTTP下。这个组件抓取速度飞快,一般在1秒以内。如果你有需要,点击这里下载。

评论


纣王2010-06-02 13:11:23 说: 用AspHTTP 采集回来有时是乱码,怎么处理呢


匿名2005-01-19 09:53:08 说: 太棒了,谢谢


匿名2004-10-27 10:37:08 说: 感谢老大的东东!一切很顺利!very good!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!


匿名2004-09-29 19:40:33 说: 抱歉,浪费了一个贴子。上边的错误是因为没有执行cr-soasp.exe造成的。 终于成功了。 谢谢郑海山同志。 bicyle@126.com


匿名2004-09-29 19:31:37 说: 我点击下载了网友编写这个组件。可是现在不能用。 错误是:

AspHTTP.Conn 错误 ‘8000ffff’

This evaluation component has expired.

是不是过期了。请给于指点


郑海山2004-04-11 11:46:16 说: 按我所知的,我觉得要自动获取某些需要人眼睛判断的信息是不可能的。

我不知道你为什么会有对成千上万个网站进行商品价格的搜索这个需求,如果能做到,那肯定也是非常混乱而且可能有大量错误。目前我想到的办法只能是:选取特定的某些网站,比如eachnet,8848等等,针对这些网站,仔细观察,找出他们的共性,对他们进行归类,然后写一个引擎,创建一个自己的脚本语言,在数据库保存各个网站的链接和搜索他们网站商品价格的脚本语言。运气好的话,很多网站的脚本语言一样,运气差的话,每个网站都必须有一个独立的脚本语言。

但是这样你的引擎是可重用的,增加一个网站或者修改一个网站将变得比以前硬编码方便。

不知道是否对你有帮助。


匿名2004-04-11 00:01:44 说: 我在google中迷茫的寻找着问题的答案,但发现犹如大海捞针般的艰难,我知道这样的问题在搜索引擎中是找不到的,不觉中再次来到这里,是缘分吧,以前好多个问题在不知道如何解答的时候在此处找到答案,真的很感谢你。希望你帮我``谢谢你。

问题开始: 现在已能够实现站内特定信息抓取的问题,例如一个网页中一个商品的价格等,对与50个以下的网站找寻关键词和维护等还能应付过来,但现在因工作量太大要对10000多网站来说我应该怎样做到呢,不可能对每一个网站都写出一个特定的关键词吧。我很迷茫。说实话当听说要对10000多个网站进行搜索时,我都有点晕``呵呵。 我看了很多这样的网站如:

……… 如果对搜索引擎进行反搜索得到结果也可以,但搜索次数超过一定数量是他们就会封我的ip地址。 他们又是如何得到这么多的商品信息的呢,而且是成千上万个网站。

mp3歌曲,图片。或视频等他们都有共同的地方所以在成千上万个网站里搜索只要了解html和视频的一些常用格式就可以得到。但对于一个经常变化的信息如“”“一个商品的价格”“”怎么能顺利得到呢。 我很迷茫,请帮我好吗?

========================================================== 写的很乱,希望您能明白我的意思,我应该如何去做,给我指条路好吗?

我的qq:122214018

==========================================================


匿名2004-03-05 14:35:05 说: 谢谢老大,不是没加引号,昨天用户把错误报告发给我了,原来是服务器老了点,执行页面超时了,把时间改大了点就好了,我现在的任务就是简化代码。

这里很不错,可是怎么不能注册新用户,只有神经病才能炫耀阿?:)你是个牛人,称呼你老大好了,再次感谢老大!!


郑海山2004-03-05 11:14:04 说: 把你的代码发给我,把用户获得的代码发给我。。。随便猜测一下,是不是没有加”“,比如《input type=text name=xx value=xx》,如果你没有在value=xx前加“”,如果xx中间有空格,比如123 445,则input内只会显示123了。

《input type=text name=xx value=123 456》和《input type=text name=xx value=“123 456”》


匿名2004-03-03 16:22:21 说: asphttp组件的问题解决了,非常感谢,想不到这个主题的人气很旺阿。 还想请教您一个问题,我做了一个系统,其中数据录入的页面有点问题,在<td>中使用的是<input>输入框,其中加了几个javascript事件代码和class,测试和使用的时候都没有问题,但是有两个用户的这个页面有问题,提交的时候(提交并刷新录入页面)在<td>中出现的不是输入框,而是<input>一串代码,我找不出什么原因,非常紧急,向您请教,非常感谢!!

不好意思重发一遍:)


匿名2004-03-03 16:20:41 说: asphttp组件的问题解决了,非常感谢,想不到这个主题的人气很旺阿。 还想请教您一个问题,我做了一个系统,其中数据录入的页面有点问题,在<td>中使用的是<input>输入框,其中加了几个javascript事件代码和class,测试和使用的时候都没有问题,但是有两个用户的这个页面有问题,提交的时候(提交并刷新录入页面)在<td>中出现的不是输入框,而是<input>一串代码,我找不出什么原因,非常紧急,向您请教,非常感谢!!


匿名2004-02-24 12:08:36 说: 为什么我下载了你的asphttp35.zip,解开后,将asphttp.dll 拷到 winnt\system32 目录下,然后 regsvr32 asphtt.dll ,然后运行cr-soasp.exe, 然后选第6项asphttp, 调用测试还是显示过期? 不知何故,我去年在三台电脑上都装过asphttp35.zip 都能行啊,今年装就不行了(2004-2)


匿名2004-02-24 10:20:59 说: 为什么我下载了你的asphttp 组件,解开后,将asphttp.dll 拷到 winnt\system32 目录下,然后 regsvr32 asphtt.dll ,然后运行cr-soasp.exe, 然后选第6项asphttp, 调用测试还是显示过期?


匿名2004-02-24 10:18:16 说: 为什么我下载了你的asphttp 组件,解开后,将asphttp.dll 拷到 winnt\system32 目录下,然后用 你提供的破解程序选第6项asphttp,然后关闭,组件还是运行不了呢?


匿名2004-02-19 17:15:07 说: 对楼上的补充。

错误提示应该是:

This evaluation component hoas expired.

请海山同志帮忙将解决办法发送到jizhiguo@netease.com邮箱。拜谢


匿名2004-02-19 17:00:05 说: asp使用中的一个问题,请郑海山 同志指教。

下载解压之后,拷贝asphttp.dll到c:/winnt/system32/目录下,运行regsrv32 asphttp.dll成功。

在使用中提示: The evaluealbe compenent has expiered.

我如何解决?


郑海山2004-02-18 16:56:08 说: 下载我提供的程序。你应该是下载了。

这个zip里面还有一个zip,应该叫asphttp3.zip,里面asphtt3.htm教你如何安装。其实就是regsrv32一下就好了。

其他文件是教你如何使用。

外面还有core.nfo,core99.exe,cr-soasp.exe等其他文件,nfo是破解者的个人信息文件,core99.exe是读取nfo的,对你有用的应该就是cr-soasp.exe,双击他,在左边选择ASPHTTP,应该在第6个。选完关掉就好了。会自动写入的。写在注册表内,你可以自己去查看查看。 HKEY_LOCAL_MACHINE\SOFTWARE\SteveG\HTTP


匿名2004-02-17 11:54:37 说: 非常感谢您这么快给我回复,可是除了其中的asphttp3.zip是评估版,其余的几个文件CORE.NFO、CORE99.EXE、cr-soasp.exe、equality.nfo、FILE_ID.DIZ、releases.cr、Valhalla.nfo、Vikings2000.jpg好像跟asphttp没什么关系,我找了半天也没有找到另外一个,是不是因为你说的“程序和crack打包在一起”,所以我找不到?请大虾明示,万分感谢!!


郑海山2004-02-12 19:36:06 说: 有2个,选一个可以用的。多试试。


匿名2004-02-12 10:37:42 说: 你好,我下了你提供的这个组件,只找到asphttp3.0,无法注册,还一大堆别的程序,请求大虾指点!!! 我的email:sundaycheer@sohu.com