python爬取网页内容转换为PDF文件
更新时间：2020年07月28日 15:32:53 作者：007与狼共舞
这篇文章主要为大家详细介绍了python爬取网页内容转换为PDF文件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
本文实例为大家分享了python爬取网页内容转换为PDF的具体代码，供大家参考，具体内容如下
将廖雪峰的学习教程转换成PDF文件，代码只适合该网站，如果需要其他网站的教程，可靠需要进行稍微的修改。
# coding=utf-8
import os
import re
import time
import pdfkit
import requests
from bs4 import BeautifulSoup
from PyPDF2 import PdfFileMerger
import sys
reload(sys)
sys.setdefaultencoding('utf8')
html_template = """
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
</head>
<body>
{content}
</body>
</html>
"""
#----------------------------------------------------------------------
def parse_url_to_html(url, name):
"""
解析URL，返回HTML内容
:param url:解析的url
:param name: 保存的html文件名
:return: html
"""
try:
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 正文
body = soup.find_all(class_="x-wiki-content")[0]
# 标题
title = soup.find('h4').get_text()
# 标题加入到正文的最前面，居中显示
center_tag = soup.new_tag("center")
title_tag = soup.new_tag('h1')
title_tag.string = title
center_tag.insert(1, title_tag)
body.insert(1, center_tag)
html = str(body)
# body中的img标签的src相对路径的改成绝对路径
pattern = "(<img .*?src=\")(.*?)(\")"
def func(m):
if not m.group(3).startswith("http"):
rtn = m.group(1) + "http://www.liaoxuefeng.com" + m.group(2) + m.group(3)
return rtn
else:
return m.group(1)+m.group(2)+m.group(3)
html = re.compile(pattern).sub(func, html)
html = html_template.format(content=html)
html = html.encode("utf-8")
with open(name, 'wb') as f:
f.write(html)
return name
except Exception as e:
print "解析错误！"
#----------------------------------------------------------------------
def get_url_list():
"""
获取所有URL目录列表
:return:
"""
response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
soup = BeautifulSoup(response.content, "html.parser")
menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
urls = []
for li in menu_tag.find_all("li"):
url = "http://www.liaoxuefeng.com" + li.a.get('href')
urls.append(url)
return urls
#----------------------------------------------------------------------
def save_pdf(htmls, file_name):
"""
把所有html文件保存到pdf文件
:param htmls: html文件列表
:param file_name: pdf文件名
:return:
"""
options = {
'page-size': 'Letter',
'margin-top': '0.75in',
'margin-right': '0.75in',
'margin-bottom': '0.75in',
'margin-left': '0.75in',
'encoding': "UTF-8",
'custom-header': [
('Accept-Encoding', 'gzip')
],
'cookie': [
('cookie-name1', 'cookie-value1'),
('cookie-name2', 'cookie-value2'),
],
'outline-depth': 10,
}
pdfkit.from_file(htmls, file_name, options=options)
#----------------------------------------------------------------------
def main():
start = time.time()
file_name = u"liaoxuefeng_Python3_tutorial"
urls = get_url_list()
for index, url in enumerate(urls):
parse_url_to_html(url, str(index) + ".html")
htmls =[]
pdfs =[]
for i in range(0,124):
htmls.append(str(i)+'.html')
pdfs.append(file_name+str(i)+'.pdf')
save_pdf(str(i)+'.html', file_name+str(i)+'.pdf')
print u"转换完成第"+str(i)+'个html'
merger = PdfFileMerger()
for pdf in pdfs:
merger.append(open(pdf,'rb'))
print u"合并完成第"+str(i)+'个pdf'+pdf
output = open(u"廖雪峰Python_all.pdf", "wb")
merger.write(output)
print u"输出PDF成功！"
for html in htmls:
os.remove(html)
print u"删除临时文件"+html
for pdf in pdfs:
os.remove(pdf)
print u"删除临时文件"+pdf
total_time = time.time() - start
print(u"总共耗时：%f 秒" % total_time)
#----------------------------------------------------------------------
def changeDir(dir_name):
"""
目录切换
"""
if not os.path.exists(dir_name):
os.mkdir(dir_name)
os.chdir(dir_name)
#----------------------------------------------------------------------
if __name__ == '__main__':
#存放文件的路径
dir_name = '/home/Python/Html'
changeDir(dir_name)
main()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
在本篇文章里小编给大家分享的是关于python连乘计算的代码，有兴趣的朋友们可以参考学习下。2020-05-05
这篇文章主要介绍了Python爬虫XPath解析出乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-05-05
这篇文章主要介绍了基于Python实现的ID3决策树功能,简单描述了ID3决策树的相关概念,并结合实例形式分析了Python实现ID3决策树的具体定义与使用技巧,需要的朋友可以参考下2018-01-01
在看了很多Python教程之后，觉得是时候做点什么小项目来练练手了，于是想来想去，用python写了一个小雪人，代码注释无比详细清楚，快来看看吧2021-09-09
这篇文章主要介绍了Python实现Sqlite将字段当做索引进行查询的方法,涉及Python针对sqlite数据库索引操作的相关技巧,需要的朋友可以参考下2016-07-07
这篇文章主要介绍了Python模拟登入的N种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-05-05
这篇文章主要给大家介绍了关于python实现身份证实名认证的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-11-11
这篇文章主要介绍了源码解析python中randint函数的效率缺陷，通过讨论 random 模块的实现，并讨论了一些更为快速的生成伪随机整数的替代方法展开主题，需要的盆友可以参考一下2022-06-06
这篇文章主要介绍了Python pandas常用函数详解，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
最近学习数据分析,感觉Python做数据分析真的好用,下面这篇文章主要给大家介绍了关于如何使用python把Excel中的数据在页面中可视化的相关资料,需要的朋友可以参考下2022-03-03
最新评论