时间:2021-07-01 10:21:17 帮助过:18人阅读
参考资料:汪海:Python网络爬虫W3School HTML教程《计算机网络第二版》 谢希仁
网络爬虫,是一中按照一定的规则,自动地抓取万维网信息的程序或脚本。爬虫通过网页的链接地址来寻找网页并获取网页内容,再根据网页中其他链接不断循环爬取。
浏览网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。
URL是用来表示从因特网上得到的资源位置和访问这些资源的方法。URL给资源的位置提供一种抽象的识别方法,并用这种方法给资源定位。只要能够对资源定位,系统就可以对资源进行各种操作,如存取、更新、替换和查找其属性。URL相当于一个文件名在网络范围的扩展。因此,URL是与因特网相连的机器上的任何可访问对象的指针。由于访问不同对象使用的协议不同,URL还能之处读取某个对象时所使用的协议。URL的一般形式为:
<协议>://<主机>:<端口>/<路径>
协议是指用哪种协议获取该万维网文档,如http,ftp;主机是指该网络文档所在主机的域名;端口和路径有时可以省略。对万维网的网点访问使用HTTP协议,HTTP的默认端口号是80,通常可省略。若在省略文件的路径,则URL就指到因特网上的某个主页。如: www.baidu.com。
HTTP协议定义了浏览器怎样向万维网服务器请求万维网文档,以及服务器怎样把文档传送给浏览器。下图给出了万维网的大致工作过程。
万维网工作过程
HTTP规定在HTTP客户与HTTP服务器之间的每次交互,都由一个ASCII码穿构成的请求和一个“MIME-like”的响应组成,HTTP报文通常都使用TCP连接传送。
HTTP有两类报文:请求报文(从客户向服务器发送请求报文)和响应报文(从服务器到客户的回答)。HTTP请求报文和响应报文都是由三部分组成,两种报文格式的区别就是开始行不同。
请求行只有三个内容,即方法、请求资源URL和HTTP的版本。下表给出了请求报文中常用的几种方法。
方法 | 意义 |
---|---|
GET | 请求读取URL标志的信息 |
OPTION | 请求一些选项的信息 |
HEAD | 请求读取URL标志信息的首部 |
POST | 给服务器添加信息,如注释 |
PUT | 在致命的URL下存储一个文档 |
DELETE | 删除致命的URL所标志的资源 |
CONNECT | 用于代理服务器 |
GET http://www.bilibili.com/video/douga.html HTTP/1.1
下面是一个请求报文的例子
请求报文
HTML指的是超文本标记语言,是使用标记标签来描述网页的。
HTML标签是由尖括号包围的关键词,比如。HTML标签通常是成对出现的,标签对中的第一个标签是开始标签,第二个是结束标签,比如和。
HTML文档包含HTML标签和纯文本,也称为网页。Web 浏览器的作用是读取 HTML 文档,并以网页的形式显示出它们。浏览器不会显示 HTML 标签,而是使用标签来解释页面的内容。
四个基本的标签
:定义HTML 段落。
This is a heading
This is a heading
This is a heading
This is a paragraph.
This is another paragraph.
This is a link
HTML 元素指的是从开始标签(start tag)到结束标签(end tag)的所有代码。元素的内容是开始标签与结束标签之间的内容。大多数 HTML 元素可以嵌套(可以包含其他 HTML 元素),HTML 文档由嵌套的 HTML 元素构成。如下例包含3个HTML元素。
This is my first paragraph.
HTML 属性:HTML 标签可以拥有属性,属性提供了有关 HTML 元素的更多的信息,属性总是以名称/值对的形式出现,比如:name="value",属性总是在 HTML 元素的开始标签中规定;属性值应该始终被包括在引号内,双引号是最常用的,不过使用单引号也没有问题。
HTML 链接由标签定义,链接的地址在 href 属性中指定:This is a link