使用python BeautifulSoup库抓取58手机维修信息
直接上代码：
#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib
import os,datetime,string
import sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding('utf-8')
__BASEURL__ = 'http://bj.58.com/'
__INITURL__ = "http://bj.58.com/shoujiweixiu/"
soup = BeautifulSoup(urllib.urlopen(__INITURL__))
lvlELements = soup.html.body.find('div','selectbarTable').find('tr').find_next_sibling('tr')('a',href=True)
f = open('data1.txt','a')
for element in lvlELements[1:]:
f.write((element.get_text()+'\n\r' ))
url = __BASEURL__ + element.get('href')
print url
soup = BeautifulSoup(urllib.urlopen(url))
lv2ELements = soup.html.body.find('table','tblist').find_all('tr')
for item in lv2ELements:
addr = item.find('td','t').find('a').get_text()
phone = item.find('td','tdl').find('b','tele').get_text()
f.write('地址：'+addr +' 电话:'+ phone + '\r\n\r')
f.close()
直接执行后，存在 data1.txt中就会有商家的地址和电话等信息。
BeautifulSoup api 的地址为： http://www.crummy.com/software/BeautifulSoup/bs4/doc/
相关文章
collections 是 Python 的一个内置模块，所谓内置模块的意思是指 Python 内部封装好的模块，无需安装即可直接使用。本文将详解介绍Collections的使用方式，需要的可以参考一下2022-03-03
这篇文章主要介绍了numpy自动生成数组详解，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
因为之后的工作可能会经常用到excel,而且也不想荒废Python,出于为以后做准备以防不时之需,下面这篇文章主要给大家介绍了关于如何利用Python批量处理行、列和单元格的相关资料,需要的朋友可以参考下2021-09-09
我们知道,python脚本或者说python程序其实是一个包含了python代码的文件,通过运行python代码,我们可以验证脚本/程序是否按照我们的期望执行,在python中,有多种方式来运行脚本或程序,取决于小伙伴们的需求,接下来小编将介绍几种常见的 python 代码运行方式2023-10-10
Pytorch在训练时冻结某些层使其不参与训练问题(更新梯度)
这篇文章主要介绍了Pytorch在训练时冻结某些层使其不参与训练问题(更新梯度)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
解决python 未发现数据源名称并且未指定默认驱动程序的问题
今天小编就为大家分享一篇解决python 未发现数据源名称并且未指定默认驱动程序的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
文本过滤和清理所涵盖的范围非常广泛，涉及文本解析和数据处理方面的问题。这篇文章主要介绍了解决python 文本过滤和清理问题,需要的朋友可以参考下2019-08-08
我们在编写代码时总是遇到各种中文乱码的问题,所以本文就来为大家总结一下遇到的中文乱码问题和对应的解决方案,以及为什么会出现中文乱码的问题,希望对大家有所帮助2023-12-12
这篇文章主要介绍了使用pymysql写入中文的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-03-03
这篇文章主要以图文结合的方式详细介绍了WinPE下安装Python的具体实现步骤，文中安装步骤介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-05-05
最新评论