抓取时ip被封禁有关问题

抓取时ip被封禁问题
本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑

最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？ snoopy 抓取 封ip

分享到： 更多

------解决方案--------------------
应该是访问太频繁了。
------解决方案--------------------
并且用snoopy进行了伪造了ip

这个是忽悠你的..
------解决方案--------------------
能伪造ip？这。。。
------解决方案--------------------
抓太快管你是谁啊，照封