当前位置:Gxlcms >
html代码 >
Python爬虫如何处理html中的延迟加载部分(delayload_url)_html/css_WEB-ITnose
Python爬虫如何处理html中的延迟加载部分(delayload_url)_html/css_WEB-ITnose
时间:2021-07-01 10:21:17
帮助过:194人阅读
下载链接“http://s.1688.com/selloffer/industry_offer_search.htm?mixWholesale=true&industryFlag=food&categoryId=1032913&from=industrySearch&n=y&filt=y#_fb_top”的源码,结果只包含了页面的一部分内容;该页面共60个商品,但源码中只能解析出20个,且无法找到翻页链接;
应该是以上一段源码实现的延迟加载,在该页面滑轮下拉到底时,才载入新的部分;求教如何解析该页面,获取完整的页面源码,解析全部60个商品和翻页链接。
回复讨论(解决方案)
审核元素找到数据源链接直接用那个链接获取数据
额。。。不知道现在回答还来不来得及!这个可以通过火狐捕捉到延迟加载的url地址,然后就可以找到规律了。我刚好也在爬1688的数据也遇到了延迟加载这个问题,然后通过火狐浏览器捕捉url,发现其实只要把sw-delayload-url这个div里面的url取出来然后在最后面加上&callback=任意字符串,然后每次改变&startIndex=这个就可以了(依次为startIndex=20,startIndex=40),这样就会返回一个json的数据
我试过你贴出来的那个url不知道为什么没数据返回,可能是商品下架了。。。你可以按我说的试试
,如果你已经解决了并有更好的方法的话希望能交流一下,谢谢