一篇文章带你入门爬虫并编写自己的第一个爬虫程序

一、引言

        目前我们处在一个信息快速迭代更新的时代，海量的数据以大爆炸的形式出现在网络之中，相比起过去那个通过广播无线电、书籍报刊等传统媒介获取信息的方式，我们现在通过网络使用搜索引擎几乎可以获得任何我们需要的信息资源。

        但与此同时信息的大爆炸也带来了一定的问题——网络资源的纷繁复杂大大降低了我们获取信息的效率，我们所获取的数据中有很大一部分是无效的、多余的垃圾数据。在这样的数据大浪之中，我们如何简单地筛选、获取到自己所需要的信息并加以有序地整合呢？答案是——使用程序进行对数据进行爬取然后对所获得的数据进行规则地划分与整理，以供进一步使用与分析。

二、爬虫简介

        网络爬虫（也被称为网页蜘蛛，网络机器人），是一种模拟浏览器行为，向网页端发起请求(request)，接受网页端发回的响应(response)，自动抓取互联网信息的程序。网络爬虫的出现大大地方便了我们对网络上的信息进行高效的收集分析整合，降低了人力成本。

三、注意事项

        爬虫技术虽然强大，大大方便了我们对信息的获取。但需要注意的是，所有的技术都需要在法律允许的范围内行使。网上的一些数据比如公民的个人敏感信息或者一些明确标注了不可爬取的数据我们就不应该逾越界限进行爬取，同时爬虫程序频繁地向目标网站发送请求可能会使目标服务器承担过大的负载，我们在使用爬虫程序时应当遵守网站的爬虫协议与使用条款，避免侵犯网站权益。

四、环境准备(Requirements)

        一般我们使用Python编写爬虫程序，因为使用Python来进行爬虫程序的编写比较简单，Python有十分强大的库资源，支持我们进行各种各样的操作:

        Python==3.10.14 (选择一个适中的版本即可)

        requests (pip install requests)

        bs4 (pip install bs4)

五、爬虫基本流程介绍

        编写一个典型的爬虫程序一般需要经历三个步骤：

        ①模拟浏览器向目标网站发送请求，获取网站响应

        ②分析网站响应内容，定位所需数据位置

        ③爬取数据

六、实战训练：爬取豆瓣电影top250

        接下来我们将以爬取豆瓣电影top250作为案例，在爬虫实战中逐个具体讲解每一个步骤如何在python中利用代码进行实现。

        首先，我们先在python程序中导入我们预先下载好的库：

        第一步：模拟浏览器向目标网站发送请求，获取网站响应

        首先，我们需要明确所需要爬取网页的地址(url):https://movie.douban.com/top250

        然后我们需要向这个网站发送请求，这里就需要用到requests模块

        这行代码就表示向target_url发送请求，并把请求的结果赋给response变量，我们试着打印一下response

        发现返回的结果为：

        这实际上是一个HTTP响应状态码，HTTP响应状态码用来表明HTTP请求的状态，主要可以分为五个大类：

1. 信息响应类(100-199)
2. 成功响应类(200-299)
3. 重定向消息(300-399)
4. 客户端错误响应(400-499)
5. 服务器错误响应(500-599)

        所以HTTP响应状态码为418说明我们的HTTP请求被拒绝了。但不要灰心，这属于正常现象，因为我们没有对我们的爬虫程序做任何伪装，会被网站自动地识别为异常请求，所以我们的请求理所当然会被拒绝。

        那么我们如何对我们的爬虫程序做伪装呢？对于豆瓣top250这个网页，这种伪装很简单，只需要在发送请求时多加一个参数headers来把爬虫程序伪装成浏览器行为即可，具体操作如下：

        我们打开浏览器（笔者这里使用谷歌的Chrome浏览器）按下F12，或者右键鼠标，选择“检查”选项，进入Network面板（可能需要刷新一遍网页才能看到笔者如下的界面），这里记录和分析了网页加载过程中由我们向网站发出的网络请求，包括请求头、响应头等等关键的信息，而我们需要的正是给我们的爬虫程序加上一个请求头(Request Headers)，来把自己打扮得像浏览器一些，以此“萌”混过关。

        我们对豆瓣top250界面进行爬取，只需要在添加一个包含User-Agent的headers(如下图所示)，我们将具体内容直接复制即可。

        具体代码如下：

        接下来运行程序，得到输出：

        发现Response发生了改变，还记得我们之前说的HTTP响应状态码吗？加上了header的请求返回了200，这说明我们已经成功地向服务器发送了请求。

        接下来要获得页面的具体内容就很简单了：

        这样我们就可以直接获得网页的具体内容了，实际上我们得到的内容就是“网页源代码”，即源HTML文件，而如果想要了解HTML文件的相关信息，请移步笔者之前的一篇文章：初识HTML文件，创建自己的第一个网页！,了解HTML文件对理解爬虫程序会有很大的帮助！

        就这样，我们获得了页面的源代码，网页上所有的信息都被我们保存在了html_text这个变量里，那么接下来如何获取到我们所需要的电影排行数据呢？这样就来到了下一步。

        第二步+第三步：分析网站响应内容，定位所需数据位置+爬取数据

        我们得到的页面源代码信息量巨大，包含了许多不被我们所需要的数据，所以我们要进行一定的滤过操作，舍弃掉我们不需要的数据，获取我们需要的数据。

        在正式讲解获取目标数据的具体操作之前，我们不妨回顾一下笔者在先前一篇文章：一文讲透如何使用CSS美化HTML界面中介绍CSS样式表语言时提到的在CSS样式表中如何定位目标元素。HTML与CSS提供了一套简单易懂的定位语言，这也大大方便了我们在编写爬虫程序时使程序锁定目标数据。

        想象一下，现在你正面对着这样一个HTML文件，那么你该如何用CSS对“肖申克的救赎”这段文本进行定位呢？

        我们不难发现，我们所需要的信息，依次放在：<ol class=”grid_view”> => <li> => <span class=”title”>下。

        我们再观察一下别的标题是否也是如此：

        我们发现，“霸王别姬”也依次放在依次放在：<ol class=”grid_view”> => <li> => <span class=”title”>下。

        所以我们需要做的，首先是抓取<ol class=”grid_view”>，这一ol无序表包含的每一个<li>都包含了一部影片的信息，我们需要在每个<li>中再去找到<span class=”title”>，那么具体该如何实现呢？我们就需要请出一个专门用于解析HTML网页的python库——Beautifulsoup了，这个库可以使我们很方便地解析HTML界面元素。

        首先，使程序按HTML文件格式去解析方才得到的网页源代码文本：

        之后我们就可以进行元素的定位了：

        先定位到<ol class=”grid_view”>,使用find函数(返回第一个符合条件的元素)，其中attrs规定了元素的属性来辅助定位操作：

        得到输出如下，第一次定位成功！

        接着我们就需要定位到ol下的每一个<li>,由于存在很多<li>都是我们所需要的，我们使用findAll函数，表示获取所有满足我们定位要求的元素：

        得到输出如下，表明第二次定位成功！

        接下来就到了获取电影标题的环节，对于每一个<li>我们需要定位到<span class=”title”>，值得注意的是，每一个<li>对应的标题数量并不相同，但这并无大碍。

        我们可以直接用find，爬取每个<li>下的第一个标题:

        得到输出：

        我们发现，我们所爬取的title实际上是整个元素，那么我们如何只截取其中的文本内容呢？很简单，只需要取film_title.text即可。（python真方便TAT）

        但不要忘了我们实战的目标是什么。我们需要爬取的是豆瓣top250，这上面爬取的内容显然没有250个，那么我们只需要依次访问各个排行界面进行同样的爬取操作即可。我们来到榜单的第二页与第三页，发现网站的地址依次为：

https://movie.douban.com/top250?start=25&filter=

https://movie.douban.com/top250?start=50&filter=

        聪明如你一定发现了规律所在，那我们不妨把start=后面改为0，发现我们回到了熟悉的第一页。

        事实上，我们删掉末尾的&filter=，也可以访问相应的网页。

        那么事情就变得好办了，我们想要爬取top250，只需要写一个for循环来更新我们发送请求的target_url即可，https://movie.douban.com/top250?start=i,其中i取值为 range(0,250,25)

        具体代码实现如下：

        不妨把获取到的数据存储到一个本地文档中：

        检查文档，爬取成功！

        至此，我们的爬虫入门讲解与实战训练就结束了，恭喜您成功入门爬虫，也感谢您的浏览！

        最后，附上源代码：

import requests # requests库用于向目标网站发送请求
from bs4 import BeautifulSoup # 用于解析HTML界面

film_cnt = 0

with open("films_top250.txt","w",encoding='utf-8') as films_w:
    for i in range(0,250,25):

        target_url = f"https://movie.douban.com/top250?start={i}"

        headers_ = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'}

        response_header = requests.get(target_url,headers=headers_)

        html_text = response_header.text

        html_soup = BeautifulSoup(html_text,"html.parser") # 把获取的网页源代码文本数据按html去解析

        films_ol = html_soup.find("ol",attrs={"class":"grid_view"})

        film_li_list = films_ol.findAll("li")

        for film_li in film_li_list:
            # print(film_li)
            film_title = film_li.find("span",attrs={"class":"title"})

            print(film_title.text)

            film_cnt += 1

            films_w.write(f"{film_cnt}.{film_title.text}\n")