首页 > Python资料 博客日记
利用Python中selenium库爬虫实现中国裁判文书网自动登录批量下载功能——最新版详细教程!!———已更新高级检索功能
2024-03-15 13:00:05Python资料围观247次
目录
工具准备
Chrome浏览器
如果电脑上没有chrome浏览器或者当前chrome浏览器不是最新版,请先去chrome官网下载安装最新版chrome浏览器
https://www.google.cn/chrome/index.html
ChromeDriver驱动
什么是ChromeDriver
ChromeDriver是一种用于自动化和控制Google Chrome浏览器的工具。它是一个开源的项目,由Google维护,并提供给开发者使用。ChromeDriver充当一个桥梁,允许自动化测试工具或脚本与Chrome浏览器进行交互。
具体来说,ChromeDriver通过与Chrome浏览器通信,执行各种操作,如打开网页、模拟用户输入、获取页面元素等。这对于自动化测试、网页抓取、自动化任务等场景非常有用。
一般来说,如果你想使用Selenium(一个用于自动化测试的工具)来自动化Chrome浏览器,你需要下载并配置ChromeDriver。Selenium将通过ChromeDriver与Chrome浏览器进行通信,从而实现自动化测试脚本的执行。
下载安装
首先,需要检查Chrome浏览器的版本。请按照以下步骤进行:
打开Chrome浏览器后,如下图所示进行操作
然后就可以看到我们Chrome浏览器的版本了:
注意:如果你的Chrome浏览器是最新版,一般就不用看了,ChromeDriver也安装最新版即可!!
请记下这个版本号,因为需要确保下载与Chrome浏览器版本相匹配的ChromeDriver
相同版本号只需第一位数字相同即可,比如Chrome版本号是122.0.6261.129,所以ChromeDriver下载版本号122开头的即可
ChromeDriver最新版本链接:https://googlechromelabs.github.io/chrome-for-testing/
打开链接后如下图所示:
按照自己电脑的系统选择url进行下载
(像我是windows系统,电脑64位的下载win64就行)
实现细节
ChromeDriver下载完成后解压缩,打开
- 我们需要把chromedriver.exe文件复制到chrome的安装路径
如果不记得自己Chrome的安装路径的话,就找到Chrome浏览器的快捷方式,右键->打开文件所在的位置
- 如果此时显示的位置Chrome仍是快捷方式不是chrome.exe的话,继续执行右键->打开文件所在的位置
- 然后找到了chrome安装位置,将chromedriver.exe拷贝进来,如下图
4. 完成复制后,不要急着关闭文件夹,复制一下当前文件路径,也就是chrome.exe的所在路径,后面会用到,比如:C:\Program Files (x86)\Google\Chrome\Application(系统默认安装位置)
环境变量配置
这一步非常关键!!
- 在桌面找到此电脑图标,右键–>属性,然后找到高级系统设置
- 然后点击环境变量
- 在用户变量中找到Path变量,选中path变量后点击编辑
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/034d915fb8134065ba6703dfd34fdcab.png - 点击新建按钮,然后把刚才复制的chrome.exe的路径位置粘贴到此处,如下图所示:
. - 然后切记:退出时有确定键一直选择”确定“键才能使保存生效
Python库安装
- 将代码拷贝到Pycharm编辑器中,选择好自己的Python环境(关于如何配置Python环境如果大家不会的话就自行百度一下,网上很多教程)
- 如果看到如下图所示的selenium爆红
- 在编辑器中左下角找到Terminal(终端),
- 输入命令安装selenium库
pip install selenium
- 如果time库爆红,同样的命令安装time库
pip install time
完整代码
现在前面的准备工作已全部就绪,先贴完整python代码
from selenium import webdriver
from selenium
标签:
相关文章
最新发布
- 【Python系列】 Python 中的枚举使用
- 【python爬虫案例】利用python爬取豆瓣读书评分TOP250排行数据
- 【Python】Tkinter + Pandas实现窗口表格显示
- 【Python系列】SQLAlchemy 基本介绍
- 【Python】selenium 的EC.presence_of_element_located 和 EC.element_to_be_clickable 的区别
- 从零到一!超详细Pycharm安装教程(图解+详细步骤)
- python json jsonl 的用法
- 【Python篇】深度探索NumPy(下篇):从科学计算到机器学习的高效实战技巧
- boto3:Python连接S3对象存储并进行文件操作(上传、下载、删除)
- 全网最适合入门的面向对象编程教程:50 Python函数方法与接口-接口和抽象基类
点击排行
- 版本匹配指南:Numpy版本和Python版本的对应关系
- Python 可视化 web 神器:streamlit、Gradio、dash、nicegui;低代码 Python Web 框架:PyWebIO
- 版本匹配指南:PyTorch版本、torchvision 版本和Python版本的对应关系
- 相关性分析——Pearson相关系数+热力图(附data和Python完整代码)
- Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based proj
- Python pyinstaller打包exe最完整教程
- Anaconda版本和Python版本对应关系(持续更新...)
- Python与PyTorch的版本对应