时间:2021-07-01 10:21:17 帮助过:156人阅读
本文实现cookie的自动获取,及cookie过期自动更新。
社交网站中的很多信息需要登录才能获取到,以微博为例,不登录账号,只能看到大V的前十条微博。保持登录状态,必须要用到Cookie。以登录www.weibo.cn 为例:
在chrome中输入:http://login.weibo.cn/login/
分析控制台的Headers的请求返回,会看到weibo.cn有几组返回的cookie。
实现步骤:
1,采用selenium自动登录获取cookie,保存到文件;
2,读取cookie,比较cookie的有效期,若过期则再次执行步骤1;
3,在请求其他网页时,填入cookie,实现登录状态的保持。
1,在线获取cookie
采用selenium + PhantomJS 模拟浏览器登录,获取cookie;
cookies一般会有多个,逐个将cookie存入以.weibo后缀的文件。
2,从文件中获取cookie
从当前目录中遍历以.weibo结尾的文件,即cookie文件。采用pickle解包成dict,比较expiry值与当前时间,若过期则返回为空;
3,若缓存cookie过期,则再次从网络获取cookie
4,带cookie请求微博其他主页
上面是我整理给大家的,希望今后会对大家有帮助。
相关文章:
使用vue中的v-for遍历二维数组的方法
Vue中v-for的数据分组实例
vue2.0 computed 计算list循环后累加值的实例
以上就是通过网页爬虫中cookie自动获取及过期自动更新(详细教程)的详细内容,更多请关注Gxl网其它相关文章!