Python爬取京东的商品分类与链接
更新时间：2016年08月26日 09:23:57 作者：Rookie_C
这篇文章主要介绍利用python爬取京东商品分类以及对应的连接，这个功能不是很复杂，没有爬取里面的隐藏的东西。算是给新手一个示例教程吧，有需要的可以参考借鉴。
前言
本文主要的知识点是使用Python的BeautifulSoup进行多层的遍历。
如图所示。只是一个简单的哈，不是爬取里面的隐藏的东西。
示例代码
from bs4 import BeautifulSoup as bs
import requests
headers = {
"host": "www.jd.com",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.933.400 QQBrowser/9.4.8699.400",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
}
session = requests.session()
def get_url():
renspned = bs(session.get('http://www.jd.com/',headers = headers).text,'html.parser')
for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"}):
print(i.get_text(),':',i.get('href'))
get_url()
运行这段代码以及达到了我们的目的。
我们来解读一下这段代码。
首先我们要访问到京东的首页。
然后通过BeautifulSoup对访问到的首页进行解析。
这个时候，我们就要定位元素，来获取我们需要的东西了。
在浏览器中通过F12，我们可以看到下图所示的东西：
我们来看看下面这句代码：
for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"})
这一行代码完全满足我们的需求，首先用find方法，定位到了class=“dd-inner”的div，然后使用find_all对该标签下所有的a标签。
最后，我想打印出所有的商品分类以及对应的链接，于是，我使用了i.get_text()和i.get('href')的方法终于获取到了商品分类和对应的链接。
总结
其实不是很难，主要是要用对方法。笔者因为是初学方法没有用对。花了差不多两天时间才搞定。这里也是告诉大家，可以使用find().find_all()的方法进行多层的遍历。以上就是我利用Python爬取京东的商品分类与链接的一些经验，希望对大家学习python能有所帮助。
相关文章
这篇文章主要介绍了20行Python代码实现一款永久免费PDF编辑工具的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
这篇文章主要为大家详细介绍了如何使用python来试试看看能不能读取到已连接过WIFI的密码,文中的示例代码讲解详细, 感兴趣的小伙伴可以了解下2023-11-11
这篇文章主要介绍了Python中使用Boolean操作符做真值测试实例,在Python中，任何类型的对象都可以做真值测试，并且保证返回True或者False,需要的朋友可以参考下2015-01-01
关于pyinstaller生成.exe程序报错:缺少.ini文件的分析
这篇文章主要介绍了关于pyinstaller生成.exe程序报错:缺少.ini文件的分析，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
这篇文章主要介绍了tkinter动态显示时间的两种实现方法，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-01-01
这篇文章主要介绍了python Flask 装饰器顺序问题解决，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
这篇文章主要介绍了django之自定义软删除Model的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
这篇文章主要介绍了Python 爬虫多线程详解及实例代码的相关资料,需要的朋友可以参考下2016-10-10
这篇文章主要介绍了 python 读写中文json的实例详解的相关资料,希望通过本文能帮助到大家，让大家掌握这样的内容，需要的朋友可以参考下2017-10-10
这篇文章主要介绍了Python中使用gflags实例及原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
最新评论