脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python 爬虫技巧

Python爬虫必备技巧详细总结

 更新时间：2021年10月22日 08:39:18   作者：小旺不正经  
本篇文章介绍了我在爬虫过程中总结的几个必备技巧，都是经过实验的，通读本篇对大家的学习或工作具有一定的价值，需要的朋友可以参考下

自定义函数

import requests
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(company):
    url = 'https://www.baidu.com/s?rtt=4&tn=news&word=' + company
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.news-title_1YtI1 a')
    for i in title:
        print(i.text)
# 批量调用函数
companies = ['腾讯', '阿里巴巴', '百度集团']
for i in companies:
    baidu(i)

批量输出多个搜索结果的标题

image-20211021110056346

结果保存为文本文件

import requests
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(company):
    url = 'https://www.baidu.com/s?rtt=4&tn=news&word=' + company
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.news-title_1YtI1 a')
    fl=open('test.text','a', encoding='utf-8')
    for i in title:
        fl.write(i.text + '\n')
# 批量调用函数
companies = ['腾讯', '阿里巴巴', '百度集团']
for i in companies:
    baidu(i)

image-20211021111507772

写入代码

fl=open('test.text','a', encoding='utf-8')
for i in title:
	fl.write(i.text + '\n')

异常处理

for i in companies:
    try:
        baidu(i)
        print('运行成功')
    except:
        print('运行失败')

写在循环中 不会让程序停止运行 而会输出运行失败

休眠时间

import time
for i in companies:
    try:
        baidu(i)
        print('运行成功')
    except:
        print('运行失败')
time.sleep(5)

time.sleep(5)

括号里的单位是秒

放在什么位置 则在什么位置休眠（暂停）

爬取多页内容

百度搜索腾讯

image-20211021115808442

切换到第二页

image-20211021115857316

去掉多多余的

https://www.baidu.com/s?wd=腾讯&pn=10

分析出

https://www.baidu.com/s?wd=腾讯&pn=0 为第一页
https://www.baidu.com/s?wd=腾讯&pn=10 为第二页
https://www.baidu.com/s?wd=腾讯&pn=20 为第三页
https://www.baidu.com/s?wd=腾讯&pn=30 为第四页
..........

代码

from bs4 import BeautifulSoup
import time
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(c):
    url = 'https://www.baidu.com/s?wd=腾讯&pn=' + str(c)+'0'
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.t a')
    for i in title:
        print(i.text)

for i in range(10):
    baidu(i)
    time.sleep(2)

image-20211021130805642

到此这篇关于Python爬虫必备技巧详细总结的文章就介绍到这了,更多相关Python 爬虫技巧内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Python实现简单字典树的方法

    Python实现简单字典树的方法

    这篇文章主要介绍了Python实现简单字典树的方法,实例分析了Python字典树的定义、实现与使用技巧,需要的朋友可以参考下
    2016-04-04
  • Python代码实现找到列表中的奇偶异常项

    Python代码实现找到列表中的奇偶异常项

    这篇文章主要介绍了Python代码实现找到列表中的奇偶异常项，文章内容主要利用Python代码实现了从输入列表中寻找奇偶异常项,需要的朋友可以参考一下
    2021-11-11
  • Python测试WebService接口的实现示例

    Python测试WebService接口的实现示例

    webService接口是走soap协议通过http传输,请求报文和返回报文都是xml格式的,本文主要介绍了Python测试WebService接口,具有一定的参考价值,感兴趣的可以了解一下
    2024-03-03
  • 三大Python翻译神器再也不用担心学不好英语

    三大Python翻译神器再也不用担心学不好英语

    本文介绍了用python做一款属于自己的翻译词典软件,从此告别网页搜索,文中有非常详细的代码示例,小伙伴们快快行动吧,需要的朋友可以参考下
    2021-09-09
  • Python实现缓存的两个简单方法

    Python实现缓存的两个简单方法

    缓存是一种用于提高应用程序性能的技术,它通过临时存储程序获得的结果,以便在以后需要时重用它们,本文将学习Python中的不同缓存技术,感兴趣的可以了解下
    2024-11-11
  • Pytorch中torch.argmax()函数使用及说明

    Pytorch中torch.argmax()函数使用及说明

    这篇文章主要介绍了Pytorch中torch.argmax()函数使用及说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-01-01
  • Python分布式异步任务框架Celery使用教程

    Python分布式异步任务框架Celery使用教程

    Celery 是由Python 编写的简单，灵活，可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具
    2023-05-05
  • Python使用combinations实现排列组合的方法

    Python使用combinations实现排列组合的方法

    今天小编就为大家分享一篇Python使用combinations实现排列组合的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • python使用socket实现图像传输功能

    python使用socket实现图像传输功能

    这篇文章主要为大家详细介绍了python使用socket实现图像传输功能，linux服务器与win10主机间的图像传输，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-06-06
  • python实现定时发送邮件

    python实现定时发送邮件

    这篇文章主要为大家详细介绍了python实现定时发送邮件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2020-12-12

最新评论