Python爬虫必备技巧详细总结

更新时间：2021年10月22日 08:39:18 作者：小旺不正经

本篇文章介绍了我在爬虫过程中总结的几个必备技巧，都是经过实验的，通读本篇对大家的学习或工作具有一定的价值，需要的朋友可以参考下

自定义函数

import requests
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(company):
    url = 'https://www.baidu.com/s?rtt=4&tn=news&word=' + company
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.news-title_1YtI1 a')
    for i in title:
        print(i.text)
# 批量调用函数
companies = ['腾讯', '阿里巴巴', '百度集团']
for i in companies:
    baidu(i)

批量输出多个搜索结果的标题

结果保存为文本文件

import requests
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(company):
    url = 'https://www.baidu.com/s?rtt=4&tn=news&word=' + company
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.news-title_1YtI1 a')
    fl=open('test.text','a', encoding='utf-8')
    for i in title:
        fl.write(i.text + '\n')
# 批量调用函数
companies = ['腾讯', '阿里巴巴', '百度集团']
for i in companies:
    baidu(i)

写入代码

fl=open('test.text','a', encoding='utf-8')
for i in title:
	fl.write(i.text + '\n')

异常处理

for i in companies:
    try:
        baidu(i)
        print('运行成功')
    except:
        print('运行失败')

写在循环中不会让程序停止运行而会输出运行失败

休眠时间

import time
for i in companies:
    try:
        baidu(i)
        print('运行成功')
    except:
        print('运行失败')
time.sleep(5)

time.sleep(5)

括号里的单位是秒

放在什么位置则在什么位置休眠（暂停）

爬取多页内容

百度搜索腾讯

切换到第二页

去掉多多余的

https://www.baidu.com/s?wd=腾讯&pn=10

分析出

https://www.baidu.com/s?wd=腾讯&pn=0 为第一页
https://www.baidu.com/s?wd=腾讯&pn=10 为第二页
https://www.baidu.com/s?wd=腾讯&pn=20 为第三页
https://www.baidu.com/s?wd=腾讯&pn=30 为第四页
..........

代码

from bs4 import BeautifulSoup
import time
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(c):
    url = 'https://www.baidu.com/s?wd=腾讯&pn=' + str(c)+'0'
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.t a')
    for i in title:
        print(i.text)

for i in range(10):
    baidu(i)
    time.sleep(2)

到此这篇关于Python爬虫必备技巧详细总结的文章就介绍到这了,更多相关Python 爬虫技巧内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python猜解网站数据库管理员密码的脚本
这篇文章主要和大家分享一个Python脚本，可以实现猜解网站数据库管理员的密码。文中的示例代码讲解详细，需要的小伙伴可以参考一下
2022-02-02
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
这篇文章主要介绍了Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-06-06
Python餐饮AI机器人学习数据网络抓取
在餐饮行业,AI机器人可以通过学习大量的相关数据来提供更好的服务和体验,在文本中,我们将介绍如何使用python进行餐饮A I机器人学习数据的网络抓取,并提供代码的示例和最佳实践
2023-12-12
Python中eval带来的潜在风险代码分析
这篇文章主要介绍了Python中eval带来的潜在风险代码分析，具有一定借鉴价值，需要的朋友可以参考下。
2017-12-12
只用40行Python代码就能写出pdf转word小工具
今天咱们介绍一个pdf转word的免费小工具,满足这么一个不常见但是偶尔会出来烦人的需求文中有非常详细的代码示例,对小伙伴们很有帮助,需要的朋友可以参考下
2021-05-05
你还在@微信官方？聊聊Python生成你想要的微信头像
这篇文章主要介绍了你还在@微信官方？我来教你用Python生成你想要的微信头像功能，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-09-09
Python GUI编程详解
这篇文章主要介绍了Python GUI编程,结合完整示例形式分析了Python基于tkinter模块的GUI图形界面编程相关实现技巧,需要的朋友可以参考下
2021-10-10
Python让列表逆序排列的3种方式小结
这篇文章主要介绍了Python让列表逆序排列的3种方式小结，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-05-05
flask与数据库的交互操作示例
这篇文章主要为大家介绍了flask与数据库的交互操作示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2023-08-08
PyTorch实现图像识别实战指南
图像识别是从给定图像中提取有意义的信息(例如图像内容)的过程,下面这篇文章主要给大家介绍了关于PyTorch实现图像识别的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-02-02