一学爬虫前,你需要知道的爬虫常识

#Python爬虫#

1、HTML

HTML被称为超文本标记语言，有着一系列的标签，这些标签的组合可以显示出文字，图片，视频等内容。我们平时访问的网页，就是通过html编写的。但是想要像我们看到的网页那样漂亮，我们需要为文档添加css样式。如果想要漂亮的动画效果，想要图片能够自动播放，想要点击出现一些反馈，就需要JavaScript来编写脚本啦。

2、CSS

css能够对网页中的各种元素（这种元素即我们提到的HTML标签），我们可以通过它来设置背景颜色，设置元素的大小位置，设置字体的排版等等。

3、JavaScript

我们简称它为js，js的运行需要靠浏览器来运行。它是一种脚本语言，具有即时编译的特点。js可以做一些动态的操作，比如添加一个元素，改变元素的内容，改变css样式。

4、HTML标签

下面我写了一些常用的HTML标签

body

!--格式化内容标签--

br/换行

hr/水平线

strong加粗字体/strong

del删除字体/del

big大号字体/big!--HTML5已经删除--

small小号字体/small

sub下标字体/sub

sup上标字体/sup

ins插入字体/ins

em斜体着重/em

i斜体/i

nbsp;空格copy;版权符quot;引号gt;大于号lt;小于号

!--图片标签，当图片加载有问题时，显示alt内容--

imgsrc=img/eyes.pngalt=图像代替文字title=鼠标悬停文字width=40pxheight=20px/

!--超链接标签，target跳转方式，_blank新的页面，_slef当前页面--

ahref=#target=_blank内容/a

!--锚链接使用方法：跳转当前页添加name或者id属性，不同页面跳转需要添加地址--

aname=markerA位置/a

ahref=#marker回到A位置/a

ahref=2.html#hhh回到新的页面/a

!--表格属性：border边框，cellpadding表格内容与边框的距离，cellspacing单元格之间的距离

表格合并单元格：colspan合并行，rowspan合并列

--

tableborder=1cellpadding=0cellspacing=0

tr

tdcolspan=21/td

/tr

tr

tdrowspan=23/td

td4/td

td6/td

/table

!--无序列表，无数字--

ul

li1/li

li2/li

/ul

!--有序列表，带数字--

ol

/ol

!--定义列表，自定义标题和内容--

dl标题1/dl

dd内容1/dd

dd内容2/dd

dl标题2/dl

/body

想了解更多的看我下面这篇

一、前端必须掌握HTML的基础知识

5、选择器

在CSS中，我们使用CSS选择器来定位节点。例如，下图中div节点的id为asideProfile，那么就可以表示为#asideProfile，其中#开头代表选择id，其后紧跟id的名称。

另外，如果我们想选择class为aside-box的节点，便可以使用.aside-box，这里以点“.”开头代表选择class，其后紧跟class的名称。

6、爬虫原理

互联网就是一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。如果把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系。

爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。

提取信息后，我们可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，还可保存至远程服务器。

7、JavaScript渲染页面

现在网页越来越多地采用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，也就是说原始的HTML代码就是一个空壳。

网页请求这个js文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其添加内容，最后得到完整的页面。

对于，可以通过selenium或者找到Ajax的请求地址就可以解决。

8、加密

爬取网站的时候，经常会遇到各种各样类似加密的情形，比如：字体加密，构造参数加密，想要抓取就必须要懂得找到对应的js文件，研究这些参数是怎么构造的，现在对于更多更全的信息都是通过App来展示的。一些App在内部实现的时候对代理加了一些校验，如绕过系统代理直接连接或者检测到了使用了代理，直接拒绝连接。这需要考虑使用Wireshark、Tcpdump在更底层的协议上抓包。

之后将以前的文章全部整理，反复巩固。