首页 > Python资料 博客日记
Python京东商品评论爬取及可视化
2024-06-30 05:00:03Python资料围观12次
文章Python京东商品评论爬取及可视化分享给大家,欢迎收藏Python资料网,专注分享技术知识
目录
前言
临近毕业季,很多同学正在为毕业设计而发愁,无非就是一些爬虫及可视化、情感分析等等。今天就给大家带来一篇python京东商品评论爬取及可视化教程,希望大家可以顺利毕业!!!
环境使用
Python 3.8
Pycharm专业版
Jupyter notebook
模块使用
requests
csv
数据来源分析
1.明确需求
此次爬取的是欧莱雅洗面奶的商品评论信息
2.抓包分析
按F12,打开开发者工具,点击搜索,输入你想要的数据
找到评论数据链接
代码实现
导入模块
import requests
import csv
请求数据
模拟浏览器: <可以直接复制>
response.text 获取响应文本数据
response.json() 获取响应json字典数据
response.content 获取响应二进制数据
我们使用requests.get()方法向指定的url发送get请求,并获取到响应的内容
url = 'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_productPageComments&client=pc&clientVersion=1.0.0&t=1701082580619&loginType=3&uuid=122270672.1926033728.1699957817.1699962051.1701081801.3&productId=100019781894&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1&bbtf=&shield='
header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36',}
response = requests.get(url=url, headers=headers).json()
解析数据
使用json键值对获取需要的评论信息,包括评论内容,评论时间等。
comments = response['comments']
for comment in comments:
content = (comment['content']).replace('\n', '')
creationTime = comment['creationTime']
productColor = comment['productColor']
location = comment['location']
referenceName = comment['referenceName']
print(content, creationTime, productColor, location, referenceName)
保存数据
f = open(f'洗面奶.csv', mode='a', encoding='gbk', newline='')
csv_write = csv.DictWriter(f, fieldnames=['评论', '评论时间', '商品', 'IP', '参考名称'])
csv_write.writeheader()
数据可视化
import pandas as pd
import numpy as np
df = pd.read_csv('洗面奶.csv')
df.fillna('未知', inplace=True) # 填充空值
df.head()
词云图
商品购买情况
购买人数TOP10省份
评论时间折线图
总结
本文获取了京东上欧莱雅洗面奶的评论数据,对数据进行各个维度的分析,并用Python进行可视化。需要完整项目代码的点此链接获取。
版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!
标签:
相关文章
最新发布
- day33-Django3.2(二)
- Python 异常处理:try、except、else 和 finally 的使用指南
- 【Python】利用代理IP爬取当当网数据做数据分析
- python经典百题之static定义静态变量的方法
- 华为OD机试C卷-- 计算疫情扩散时间(Java & JS & Python & C)
- 已经在python中安装库(如numpy、requests等)但仍无法在pycharm中使用的问题
- 【Python datetime模块精讲】:时间旅行者的日志,精准操控日期与时间
- python -- NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+
- 华为OD机试C卷-- 高效货运(Java & JS & Python & C)
- 【python】PyQt5信号与槽原理剖析与应用实战
点击排行
- 版本匹配指南:Numpy版本和Python版本的对应关系
- 相关性分析——Pearson相关系数+热力图(附data和Python完整代码)
- 在Java中使用XxlCrawler时防止被反爬的几种方式
- Python 可视化 web 神器:streamlit、Gradio、dash、nicegui;低代码 Python Web 框架:PyWebIO
- PyPy JIT编译器背后的奥秘(揭开PyPy高性能Python的编译优化技术)
- 版本匹配指南:PyTorch版本、torchvision 版本和Python版本的对应关系
- Python分析程序性能指南 - 3种内存和CPU诊断方法助你优化代码(掌握Python内存和CPU分析技巧)
- PyCharm:提升Python开发效率的强大IDE工具