python爬虫爬取某图书网页实例讲解

import os.path  
import fake_useragent  
import requests  

import os.path  
import fake_useragent  
import requests  
# 判断是否是直接运行该脚本  
if __name__ == '__main__':  
    head = {"User-Agent": fake_useragent.UserAgent().random}  
    if not os.path.exists("./biqugePic"):  
        os.mkdir("./biqugePic")  
    f = open("./biquge.txt", 'w', encoding='utf8')  

 for i in range(1, 10):  
        url = f"https://www.bqgui.cc/json?sortid=1&page={i}"  
        resp = requests.get(url, headers=head)  

 for item in resp.json():  
	# 从每个JSON对象中提取所需的信息  
	img_url = item['url_img']  
	articlename = item['articlename']  
	author = item['author']  
	intro = item["intro"]  
	# 打印提取的信息到控制台  
	print(img_url, author, articlename, intro)  
	# 发送另一个GET请求到图片URL，以获取图片内容  
	img_rest = requests.get(img_url, headers=head)  

with open(f"./biqugePic/{articlename}.jpg", "wb") as fp:  
# 将图片内容写入文件  
fp.write(img_rest.content)  
# 将作者、文章名和简介信息写入到"./biquge.txt"文件中  
f.write(author + '#' + articlename + '#' + intro + "\n")

import os.path  
import fake_useragent  
import requests  
# 判断是否是直接运行该脚本  
if __name__ == '__main__':  
    # 创建一个包含随机User-Agent的HTTP请求头  
    head = {"User-Agent": fake_useragent.UserAgent().random}  
    # 检查是否存在名为"./biqugePic"的文件夹，如果不存在则创建它  
    if not os.path.exists("./biqugePic"):  
        os.mkdir("./biqugePic")  
    # 以写入模式打开（或创建）一个名为"./biquge.txt"的文件，用于保存数据  
    f = open("./biquge.txt", 'w', encoding='utf8')  
    # 循环从第1页到第9页（注意，range函数是左闭右开的，所以不包括10）  
    for i in range(1, 10):  
        # 构造请求URL，这里假设每个页面的数据都可以通过此URL以JSON格式获取  
        url = f"https://www.bqgui.cc/json?sortid=1&page={i}"  
        # 发送GET请求到URL，并带上之前创建的请求头  
        resp = requests.get(url, headers=head)  
        # 假设服务器返回的是JSON格式的数据，我们遍历这些数据  
        # 注意：这里有个潜在的问题，因为内部循环的变量也使用了'i'，这会覆盖外层循环的'i'  
        # 为了避免混淆，应该使用另一个变量名，比如'item'  
        for item in resp.json():  
            # 从每个JSON对象中提取所需的信息  
            img_url = item['url_img']  
            articlename = item['articlename']  
            author = item['author']  
            intro = item["intro"]  
            # 打印提取的信息到控制台  
            print(img_url, author, articlename, intro)  
            # 发送另一个GET请求到图片URL，以获取图片内容  
            img_rest = requests.get(img_url, headers=head)  
            # 打开（或创建）一个文件，用于保存图片，文件名基于文章名  
            with open(f"./biqugePic/{articlename}.jpg", "wb") as fp:  
                # 将图片内容写入文件  
                fp.write(img_rest.content)  
            # 将作者、文章名和简介信息写入到"./biquge.txt"文件中  
            f.write(author + '#' + articlename + '#' + intro + "\n")