Python爬虫实战之爬取京东商品数据并实实现数据可视化
一、开发工具
Python版本：3.6.4
相关模块：
DecryptLogin模块；
argparse模块；
以及一些python自带的模块。
二、环境搭建
安装Python并添加到环境变量，pip安装需要的相关模块即可。
三、原理简介
原理其实挺简单的，首先，我们利用之前开源的DecryptLogin库来实现一下微博的模拟登录操作：
'''模拟登录京东'''
@staticmethod
def login():
lg = login.Login()
infos_return, session = lg.jingdong()
return session
然后写几行简单的代码来保存一下登录后的会话，省得每次运行程序都要先模拟登录京东：
if os.path.isfile('session.pkl'):
print('[INFO]: 检测到已有会话文件session.pkl, 将直接导入该文件...')
self.session = pickle.load(open('session.pkl', 'rb'))
self.session.headers.update({'Referer': ''})
else:
self.session = JDGoodsCrawler.login()
f = open('session.pkl', 'wb')
pickle.dump(self.session, f)
f.close()
接着去京东抓一波包，一样的套路，有种屡试不爽的感觉：
看看请求这个接口需要提交的参数：
我们可以简单分析一下每个参数的含义：
area: 不用管，可以看作一个固定值 enc: 指定编码, 可以看作固定值"utf-8" keyword: 搜索的关键词 adType: 不用管，可以看作一个固定值 page: 当前的页码 ad_ids: 不用管，可以看作一个固定值 xtest: 不用管，可以看作一个固定值 _: 时间戳
也就是说我们需要提交的params的内容大概是这样子的：
params = {
'area': '15',
'enc': 'utf-8',
'keyword': goods_name,
'adType': '7',
'page': str(page_count),
'ad_ids': '291:19',
'xtest': 'new_search',
'_': str(int(time.time()*1000))
}
构造好需要提交的params之后，只需要利用登录后的session去请求我们抓包得到的接口：
response = self.session.get(search_url, params=params)
然后从返回的数据里解析并提取我们需要的数据就可以啦：
response_json = response.json()
all_items = response_json.get('291', [])
for item in all_items:
goods_infos_dict.update({len(goods_infos_dict)+1:
{
'image_url': item.get('image_url', ''),
'price': item.get('pc_price', ''),
'shop_name': item.get('shop_link', {}).get('shop_name', ''),
'num_comments': item.get('comment_num', ''),
'link_url': item.get('link_url', ''),
'color': item.get('color', ''),
'title': item.get('ad_title', ''),
'self_run': item.get('self_run', ''),
'good_rate': item.get('good_rate', '')
}
})
四、数据可视化
老规矩，可视化一波我们爬取到的数据呗。以我们爬取到的无人机商品数据为例。首先，我们来看看京东里卖无人机的自营店和非自营店比例吧：
咦，竟然是非自营店占多。我一直以为京东基本都是自营店，虽然我基本不用京东。真是个天大的误解T_T。
接着，我们再来看看京东自己给的商品排名前10的那几家店的商品评论数量呗：
对比一下评论最多的店铺：
看来评论数量和京东给的商品排名并没有直接联系T_T，竟然没有一家店是重复的。
再来看看无人机相关商品的价格分布呗：
到此这篇关于Python爬虫实战之爬取京东商品数据并实实现数据可视化的文章就介绍到这了,更多相关Python可视化京东商品数据 内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章将通过使用Python、Openpyxl模块以及wxPython库，实现创建一个GUI界面来输入元数据，然后将这些元数据与Excel文件一起保存，感兴趣的可以了解一下2023-04-04
这篇文章主要介绍了Python爬虫番外篇之Cookie和Session详解，具有一定借鉴价值,需要的朋友可以参考下2017-12-12
这篇文章主要介绍了python 包之 multiprocessing 多进程，首先创建一个进程。实例化 Process 类创建一个进程对象、然后调用它的 start 方法即可生成一个子进程，下文更多相关资料,需要的朋友可以参考一下2022-04-04
这篇文章主要介绍了python 正则表达式的使用，Python 中正则表达式应用非常广泛,如数据挖掘、数据分析、网络爬虫、输入有效性验证等,Python 也提供了利用正则表达式实现文本的匹配、查找和替换等操作的 re 模块，下面和小编一起进入文章了解具体内容吧2021-10-10
这篇文章主要介绍了Python机器学习之决策树,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-04-04
使用Python将Exception异常错误堆栈信息写入日志文件
这篇文章主要介绍了使用Python将Exception异常错误堆栈信息写入日志文件，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
这篇文章主要给大家介绍了关于Python处理数据之匹配两个Excel文件数据的实现方法,可以使用Python的Pandas库来实现两层循环匹配两个Excel文件,需要的朋友可以参考下2023-09-09
python中join与os.path.join()函数实例详解
os.path.join()函数用于路径拼接文件路径,下面这篇文章主要给大家介绍了关于python中join与os.path.join()函数的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-03-03
池化层是CNN中关键组件,主要功能包括降维、特征提取、抑制噪声和防止过拟合,常见类型有最大池化和平均池化,全局池化则用于简化模型结构和提高泛化能力,本文详细介绍了池化层的作用、种类和实现,以及与卷积层的区别2024-09-09
python自动化测试selenium核心技术三种等待方式详解
这篇文章主要为大家介绍了python自动化测试selenium的核心技术三种等待方式示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪2021-11-11
最新评论