node实现的爬虫功能

本文实例讲述了node实现的爬虫功能。分享给大家供大家参考，具体如下：

node是服务器端的语言，所以可以像python一样对网站进行爬取，下面就使用node对博客园进行爬取，得到其中所有的章节信息。

第一步： 建立crawl文件，然后npm init。

第二步： 建立crawl.js文件，一个简单的爬取整个页面的代码如下所示：

即引入http模块，然后利用http对象的get请求，即一旦运行，相当于node服务器端发送了一个get请求请求这个页面，然后通过res返回，其中on绑定data事件用来不断地接受数据，最后end时我们就在后台打印出来。

这只是整个页面的一部分，我们可以在此页面审查元素，发现确实是一样的

我们只需要将其中的章节title和每一小节的信息爬到即可。

第三步： 引入cheerio模块，如下：（在gitbash中安装即可，cmd总是出问题）

这个模块的引入，就是为了方便我们操作dom，就像jQuery一样。

第四步： 操作dom，获取有用信息。

即上面的过程就是在爬取博客的题目和作者。

最终后台输出如下：

这和博客园首页的内容是一致的：

相关推荐：

Node实现静态资源服务器

node实现基于token的身份验证

以上就是node实现的爬虫功能的详细内容，更多请关注Gxl网其它相关文章！