使用curl抓取一个网页出现瓶颈解决办法
时间:2021-07-01 10:21:17
帮助过:5人阅读
使用curl抓取一个网页出现瓶颈
http://www.sgs.gov.cn/lz/etpsInfo.do?method=index
这个网站
输入上海科波勒之后查询后可以得到
点击查看详情后他发送了一个post到http://www.sgs.gov.cn/lz/etpsInfo.do?method=viewDetail
$etpsId = 290000032004051700672
用curl总是返回非法的访问方式,
我设置了refer,设置了setcookie都还是不成。哪位大神能解决吗
------解决方案--------------------跳转打开
模拟浏览器参数加上
所有的参数都要提交清楚
如果目标页面有对提交的IP做判断,那就直接死心吧.
------解决方案--------------------