python爬虫实现获取下一页代码
更新时间：2020年03月13日 14:43:19 作者：brady.wang
在本篇文章里小编给大家整理了关于python爬虫实现获取下一页代码内容，需要的朋友们可以参考学习下。
我们首先来看下实例代码：
from time import sleep
import faker
import requests
from lxml import etree
fake = faker.Faker()
base_url = "http://angelimg.spbeen.com"
def get_next_link(url):
content = downloadHtml(url)
html = etree.HTML(content)
next_url = html.xpath("//a[@class='ch next']/@href")
if next_url:
return base_url + next_url[0]
else:
return False
def downloadHtml(ur):
user_agent = fake.user_agent()
headers = {'User-Agent': user_agent,"Referer":"http://angelimg.spbeen.com/"}
response = requests.get(url, headers=headers)
return response.text
def getImgUrl(content):
html = etree.HTML(content)
img_url = html.xpath('//*[@id="content"]/a/img/@src')
title = html.xpath(".//div['@class=article']/h2/text()")
return img_url[0],title[0]
def saveImg(title,img_url):
if img_url is not None and title is not None:
with open("txt/"+str(title)+".jpg",'wb') as f:
user_agent = fake.user_agent()
headers = {'User-Agent': user_agent,"Referer":"http://angelimg.spbeen.com/"}
content = requests.get(img_url, headers=headers)
#request_view(content)
f.write(content.content)
f.close()
def request_view(response):
import webbrowser
request_url = response.url
base_url = '<head><base href="%s" rel="external nofollow" >' %(request_url)
base_url = base_url.encode()
content = response.content.replace(b"<head>",base_url)
tem_html = open('tmp.html','wb')
tem_html.write(content)
tem_html.close()
webbrowser.open_new_tab('tmp.html')
def crawl_img(url):
content = downloadHtml(url)
res = getImgUrl(content)
title = res[1]
img_url = res[0]
saveImg(title,img_url)
if __name__ == "__main__":
url = "http://angelimg.spbeen.com/ang/4968/1"
while url:
print(url)
crawl_img(url)
url = get_next_link(url)
python 爬虫如何执行自动下一页循环加载文字
from bs4 import BeautifulSoup
import requests
import time
from lxml import etree
import os
# 该demo执行的为如何利用bs去爬一些文字
def start():
# 发起网络请求
html=requests.get('http://www.baidu.com')
#编码
html.encoding=html.apparent_encoding
#创建sp
soup=BeautifulSoup(html.text,'html.parser')
print(type(soup))
print('打印元素')
print(soup.prettify())
#存储一下title 该方法没有提示直接展示
title=soup.head.title.string
print(title)
# 写入文本
with open(r'C:/Users/a/Desktop/a.txt','w') as f:
f.write(title)
print(time.localtime())
url_2 = 'http://news.gdzjdaily.com.cn/zjxw/politics/sz_4.shtml'
def get_html_from_bs4(url):
# response = requests.get(url,headers=data,proxies=ip).content.decode('utf-8')
response = requests.get(url).content.decode('utf-8')
soup = BeautifulSoup(response, 'html.parser')
next_page = soup.select('#displaypagenum a:nth-of-type(9)')[0].get('href')
# for i in nett
print(next_page)
next2='http://news.gdzjdaily.com.cn/zjxw/politics/'+next_page
def get_html_from_etree(url):
response = requests.get(url).content.decode('utf-8')
html= etree.HTML(response)
next_page = html.xpath('.//a[@class="PageNum"][8]/@href')[0]
print(next_page)
# next2='http://news.gdzjdaily.com.cn/zjxw/politics/'+next_page
get_html_from_etree(url_2)
if __name__ == '__main__':
start()
到此这篇关于python爬虫实现获取下一页代码的文章就介绍到这了,更多相关python爬虫获取下一页内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:
相关文章
matplotlib是基建立在python之上，适用于创建静态，动画和交互式可视化，通常与数据分析模块pandas搭配使用，用于数据的分析和展示，适用于主流的操作系统，如Linux、Win、Mac2022-11-11
今天给大家带来的是关于Python爬虫的相关知识,文章围绕着Python scrapy展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下2021-06-06
这篇文章主要介绍了Python input函数使用实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了python多线程实现同时执行两个while循环的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要介绍了Python字符串拼接的几种方法整理的相关资料,这里提供了五种方法及实现，需要的朋友可以参考下2017-08-08
这篇文章主要介绍了django API 中接口的互相调用实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
下面小编就为大家带来一篇浅谈python新手中常见的疑惑及解答。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-06-06
Python中Matplotlib的点、线形状、颜色以及绘制散点图
与线型图类似的是,散点图也是一个个点集构成的,下面这篇文章主要给大家介绍了关于Python中Matplotlib的点、线形状、颜色以及绘制散点图的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-04-04
这篇文章主要介绍了python中的字符串切割 maxsplit，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要介绍了安装Anaconda3及使用Jupyter的方法,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-10-10
最新评论