Python使用bs4获取58同城城市分类的方法
更新时间：2015年07月08日 12:05:50 作者：小刚1
这篇文章主要介绍了Python使用bs4获取58同城城市分类的方法,涉及Python使用BeautifulSoup库解析html页面的技巧,需要的朋友可以参考下
本文实例讲述了Python使用bs4获取58同城城市分类的方法。分享给大家供大家参考。具体如下：
# -*- coding:utf-8 -*-
#! /usr/bin/python
import urllib
import os, datetime, sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding( "utf-8" )
__BASEURL__ = "http://bj.58.com/"
__INITURL__ = "http://bj.58.com/hezu/"
soup=BeautifulSoup(urllib.urlopen(__INITURL__))
lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)
f=open('data.txt', 'w')
for element in lv1Elements[1:]:
f.write((element.get_text() + '\r\n'))
print element.get_text()
url = __BASEURL__ + element.get('href')
print url
soup=BeautifulSoup(urllib.urlopen(url))
lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a')
texts = [t.get_text() for t in lv2Elements]
f.write(' '.join(texts) + '\r\n\r\n')
f.close()
希望本文所述对大家的Python程序设计有所帮助。
相关文章
这篇文章主要介绍了python条件变量之生产者与消费者操作,结合具体实例形式分析了Python条件变量的概念、原理、及线程操作的相关技巧,需要的朋友可以参考下2017-03-03
这篇文章主要介绍了使用Python对Csv文件操作实例代码，非常具有实用价值，需要的朋友可以参考下2017-05-05
这篇文章主要介绍了python实现图像，视频人脸识别(dlib版)的相关资料，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2020-11-11
这篇文章主要介绍了关于jupyter代码自动补全设置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-06-06
这篇文章主要为大家详细介绍了python文件和文件夹复制函数的实现代码，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-02-02
本文主要介绍了exe反编译为.py文件的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
如何在Python中利用matplotlib.pyplot画出函数图详解
通过图像可以直观地学习函数变化、分布等规律,在学习函数、概率分布等方面效果显著,下面这篇文章主要给大家介绍了关于如何在Python中利用matplotlib.pyplot画出函数图的相关资料,需要的朋友可以参考下2022-08-08
这篇文章主要介绍了python 还原梯度下降算法实现一维线性回归，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-10-10
Python有一套很有用的标准库(standard library)。标准库会随着Python解释器，一起安装在你的电脑中的，所以下面这篇文章主要给大家介绍了关于python使用标准库根据进程名如何获取进程pid的相关资料，需要的朋友可以参考下。2017-10-10
在本篇文章里小编给大家整理了关于Python的缺点和劣势总结，有兴趣的朋友们可以学习下。2019-11-11
最新评论