这种防爬虫机制怎么过？

这个网站freeget.co/ 带了防爬机制,但不知道这是何种防爬这么厉害的。

不带header头返回的是

还有下面的的带了header头的

回复内容：

这个网站freeget.co/ 带了防爬机制,但不知道这是何种防爬这么厉害的。

不带header头返回的是

还有下面的的带了header头的

如果你搜搜Incapsula，你就会知道答案。

和CloudFlare一样，对访客进行分析，判断好坏。

如果你想知道怎么过，那么最简单的方法就是模拟一次真实访问。

一样的IP一样的UA以及自己先访问一次获取到所有COOKIE并使用在爬虫上。