Python爬虫实战之爬取京东商品数据并实实现数据可视化

 更新时间:2021年06月06日 16:38:33   作者:weixin_43649691  
今天再带大家简单爬一波京东的商品数据呗,废话不多说,文中有非常详细的代码示例,需要的朋友可以参考下

一、开发工具

Python版本:3.6.4

相关模块:

DecryptLogin模块;

argparse模块;

以及一些python自带的模块。

二、环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

三、原理简介

原理其实挺简单的,首先,我们利用之前开源的DecryptLogin库来实现一下微博的模拟登录操作:

'''模拟登录京东'''
@staticmethod
def login():
    lg = login.Login()
    infos_return, session = lg.jingdong()
    return session

然后写几行简单的代码来保存一下登录后的会话,省得每次运行程序都要先模拟登录京东:

if os.path.isfile('session.pkl'):
    print('[INFO]: 检测到已有会话文件session.pkl, 将直接导入该文件...')
    self.session = pickle.load(open('session.pkl', 'rb'))
    self.session.headers.update({'Referer': ''})
else:
    self.session = JDGoodsCrawler.login()
    f = open('session.pkl', 'wb')
    pickle.dump(self.session, f)
    f.close()

接着去京东抓一波包,一样的套路,有种屡试不爽的感觉:

图片

看看请求这个接口需要提交的参数:

图片

我们可以简单分析一下每个参数的含义:

area: 不用管,可以看作一个固定值
enc: 指定编码, 可以看作固定值"utf-8"
keyword: 搜索的关键词
adType: 不用管,可以看作一个固定值
page: 当前的页码
ad_ids: 不用管,可以看作一个固定值
xtest: 不用管,可以看作一个固定值
_: 时间戳

也就是说我们需要提交的params的内容大概是这样子的:

params = {
            'area': '15',
            'enc': 'utf-8',
            'keyword': goods_name,
            'adType': '7',
            'page': str(page_count),
            'ad_ids': '291:19',
            'xtest': 'new_search',
            '_': str(int(time.time()*1000))
        }

构造好需要提交的params之后,只需要利用登录后的session去请求我们抓包得到的接口:

response = self.session.get(search_url, params=params)

然后从返回的数据里解析并提取我们需要的数据就可以啦:

response_json = response.json()
all_items = response_json.get('291', [])
for item in all_items:
    goods_infos_dict.update({len(goods_infos_dict)+1: 
                                {
                                    'image_url': item.get('image_url', ''),
                                    'price': item.get('pc_price', ''),
                                    'shop_name': item.get('shop_link', {}).get('shop_name', ''),
                                    'num_comments': item.get('comment_num', ''),
                                    'link_url': item.get('link_url', ''),
                                    'color': item.get('color', ''),
                                    'title': item.get('ad_title', ''),
                                    'self_run': item.get('self_run', ''),
                                    'good_rate': item.get('good_rate', '')
                                }
                            })

四、数据可视化

老规矩,可视化一波我们爬取到的数据呗。以我们爬取到的无人机商品数据为例。首先,我们来看看京东里卖无人机的自营店和非自营店比例吧:

图片

咦,竟然是非自营店占多。我一直以为京东基本都是自营店,虽然我基本不用京东。真是个天大的误解T_T。

接着,我们再来看看京东自己给的商品排名前10的那几家店的商品评论数量呗:

图片

对比一下评论最多的店铺:

图片

看来评论数量和京东给的商品排名并没有直接联系T_T,竟然没有一家店是重复的。

再来看看无人机相关商品的价格分布呗:

图片

到此这篇关于Python爬虫实战之爬取京东商品数据并实实现数据可视化的文章就介绍到这了,更多相关Python可视化京东商品数据 内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python多线程semaphore实现线程数控制的示例

    python多线程semaphore实现线程数控制的示例

    这篇文章主要介绍了python多线程semaphore实现线程数控制的示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-08-08
  • Python爬取豆瓣视频信息代码实例

    Python爬取豆瓣视频信息代码实例

    这篇文章主要介绍了Python爬取豆瓣视频信息代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • python实现在遍历列表时,直接对dict元素增加字段的方法

    python实现在遍历列表时,直接对dict元素增加字段的方法

    今天小编就为大家分享一篇python实现在遍历列表时,直接对dict元素增加字段的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python 函数简单易理解版

    Python 函数简单易理解版

    本文将用简单易解的描述方法对Python 函数做一个详情介绍,感兴趣的朋友可以参考下文
    2021-08-08
  • python实现输出一个序列的所有子序列示例

    python实现输出一个序列的所有子序列示例

    今天小编就为大家分享一篇python实现输出一个序列的所有子序列示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • 如何在windows下安装配置python工具Ulipad

    如何在windows下安装配置python工具Ulipad

    这篇文章主要介绍了如何在windows下安装配置python工具Ulipad,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-10-10
  • LyScript寻找ROP漏洞指令片段的方法详解

    LyScript寻找ROP漏洞指令片段的方法详解

    ROP可以理解成一个可以关闭系统自身内存保护的一段机器指令。本文将利用LyScript寻找ROP漏洞指令片段,感兴趣的小伙伴可以了解一下
    2022-07-07
  • 使用 Python 破解压缩文件的密码的思路详解

    使用 Python 破解压缩文件的密码的思路详解

    这篇文章主要介绍了使用 Python 破解压缩文件的密码的思路详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • Python实现bilibili时间长度查询的示例代码

    Python实现bilibili时间长度查询的示例代码

    这篇文章主要介绍了Python实现bilibili时间长度查询的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • python selenium在打开的浏览器中动态调整User Agent

    python selenium在打开的浏览器中动态调整User Agent

    这篇文章主要介绍的是python selenium在打开的浏览器中动态调整User Agent,具体相关资料请需要的朋友参考下面文章详细内容,希望对你有所帮助
    2022-02-02

最新评论